一、前言说明

之前已经实现过获取不同的视音频轨道信息，然后指定索引进行播放，相当于已经实现了一部分功能，但是还不全，vlc播放器上面就可以看到直接切换节目，而不是切换视音频轨道索引，每个节目都有属于自己的视音频轨道，而且可能有多个，比如节目1可能有一个视频两个音轨，一个中文一个英文，之前就没有考虑到这块，导致有些文件播放的时候错乱，画面和声音对不上，其实就是画面是节目1，而声音确是节目2的。查阅资料得知，ffmpeg本身就有接口可以获取到节目的信息，包括中文的节目名称等，我说怎么之前获取流的信息的时候，有个nb_streams表示流的数量，当时就看到还有个nb_programs以及nb_chapters，一开始以为nb是牛逼的简写，原来是number的简写，nb_programs就是有多少个节目，然后再根据数量逐个取出对应的AVProgram对象，获取对应的信息即可。

这里需要注意的是，AVProgram对象有个stream_index对象数组，这里存放的当前节目中视音频索引在全局AVFormatContext对象的流中的索引，这里需要取出来判断是属于音频还是视频，而且还可能有其他的比如DATA数据的轨道，这些不需要的就去掉。有了每个节目的所属视音频索引信息，切换的时候，只需要设置当前需要解码的索引即可。AVFormatContext对象在通过av_read_frame读取的时候，其实所有视频流数据都会读取出来，用户按照需要选择那些去解码即可，所以只需要切换这个索引即可，判断packet的index是不是当前选中节目的视音频轨道索引即可。效果非常好，实时切换瞬间，非常ok。

二、效果图

三、相关地址

1. 国内站点：https://gitee.com/feiyangqingyun
2. 国际站点：https://github.com/feiyangqingyun
3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_demo

四、功能特点

1. 同时支持多种解码内核，包括qmedia内核（Qt4/Qt5/Qt6）、ffmpeg内核（ffmpeg2/ffmpeg3/ffmpeg4/ffmpeg5/ffmpeg6）、vlc内核（vlc2/vlc3）、mpv内核（mpv1/mp2）、mdk内核、海康sdk、easyplayer内核等。
2. 非常完善的多重基类设计，新增一种解码内核只需要实现极少的代码量，就可以应用整套机制，极易拓展。
3. 同时支持多种画面显示策略，自动调整（原始分辨率小于显示控件尺寸则按照原始分辨率大小显示，否则等比缩放）、等比缩放（永远等比缩放）、拉伸填充（永远拉伸填充）。所有内核和所有视频显示模式下都支持三种画面显示策略。
4. 同时支持多种视频显示模式，句柄模式（传入控件句柄交给对方绘制控制）、绘制模式（回调拿到数据后转成QImage用QPainter绘制）、GPU模式（回调拿到数据后转成yuv用QOpenglWidget绘制）。
5. 支持多种硬件加速类型，ffmpeg可选dxva2、d3d11va等，vlc可选any、dxva2、d3d11va，mpv可选auto、dxva2、d3d11va，mdk可选dxva2、d3d11va、cuda、mft等。不同的系统环境有不同的类型选择，比如linux系统有vaapi、vdpau，macos系统有videotoolbox。
6. 解码线程和显示窗体分离，可指定任意解码内核挂载到任意显示窗体，动态切换。
7. 支持共享解码线程，默认开启并且自动处理，当识别到相同的视频地址，共享一个解码线程，在网络视频环境中可以大大节约网络流量以及对方设备的推流压力。国内顶尖视频厂商均采用此策略。这样只要拉一路视频流就可以共享到几十个几百个通道展示。
8. 自动识别视频旋转角度并绘制，比如手机上拍摄的视频一般是旋转了90度的，播放的时候要自动旋转处理，不然默认是倒着的。
9. 自动识别视频流播放过程中分辨率的变化，在视频控件上自动调整尺寸。比如摄像机可以在使用过程中动态配置分辨率，当分辨率改动后对应视频控件也要做出同步反应。
10. 音视频文件无感知自动切换循环播放，不会出现切换期间黑屏等肉眼可见的切换痕迹。
11. 视频控件同时支持任意解码内核、任意画面显示策略、任意视频显示模式。
12. 视频控件悬浮条同时支持句柄、绘制、GPU三种模式，非绝对坐标移来移去。
13. 本地摄像头设备支持指定设备名称、分辨率、帧率进行播放。
14. 本地桌面采集支持设定采集区域、偏移值、指定桌面索引、帧率、多个桌面同时采集等。还支持指定窗口标题采集固定窗口。
15. 录像文件同时支持打开的视频文件、本地摄像头、本地桌面、网络视频流等。
16. 瞬间响应打开和关闭，无论是打开不存在的视频或者网络流，探测设备是否存在，读取中的超时等待，收到关闭指令立即中断之前的操作并响应。
17. 支持打开各种图片文件，支持本地音视频文件拖曳播放。
18. 视频流通信方式可选tcp/udp，有些设备可能只提供了某一种协议通信比如tcp，需要指定该种协议方式打开。
19. 可设置连接超时时间（视频流探测用的超时时间）、读取超时时间（采集过程中的超时时间）。
20. 支持逐帧播放，提供上一帧/下一帧函数接口，可以逐帧查阅采集到的图像。
21. 音频文件自动提取专辑信息比如标题、艺术家、专辑、专辑封面，自动显示专辑封面。
22. 视频响应极低延迟0.2s左右，极速响应打开视频流0.5s左右，专门做了优化处理。
23. 支持H264/H265编码（现在越来越多的监控摄像头是H265视频流格式）生成视频文件，内部自动识别切换编码格式。
24. 支持用户信息中包含特殊字符（比如用户信息中包含+#@等字符）的视频流播放，内置解析转义处理。
25. 支持滤镜，各种水印及图形效果，支持多个水印和图像，可以将OSD标签信息和各种图形信息写入到MP4文件。
26. 支持视频流中的各种音频格式，AAC、PCM、G.726、G.711A、G.711Mu、G.711ulaw、G.711alaw、MP2L2等都支持，推荐选择AAC兼容性跨平台性最好。
27. 内核ffmpeg采用纯qt+ffmpeg解码，非sdl等第三方绘制播放依赖，gpu绘制采用qopenglwidget，音频播放采用qaudiooutput。
28. 内核ffmpeg和内核mdk支持安卓，其中mdk支持安卓硬解码，性能非常凶残。
29. 可以切换音视频轨道，也就是节目通道，可能ts文件带了多个音视频节目流，可以分别设置要播放哪一个，可以播放前设置好和播放过程中动态设置。
30. 可以设置视频旋转角度，可以播放前设置好和播放过程中动态改变。
31. 视频控件悬浮条自带开始和停止录像切换、声音静音切换、抓拍截图、关闭视频等功能。
32. 音频组件支持声音波形值数据解析，可以根据该值绘制波形曲线和柱状声音条，默认提供了声音振幅信号。
33. 标签和图形信息支持三种绘制方式，绘制到遮罩层、绘制到图片、源头绘制（对应信息可以存储到文件）。
34. 通过传入一个url地址，该地址可以带上通信协议、分辨率、帧率等信息，无需其他设置。
35. 保存视频到文件支持三种策略，自动处理、仅限文件、全部转码，转码策略支持自动识别、转264、转265，编码保存支持指定分辨率缩放或者等比例缩放。比如对保存文件体积有要求可以指定缩放后再存储。
36. 支持加密保存文件和解密播放文件，可以指定秘钥文本。
37. 提供的监控布局类支持64通道同时显示，还支持各种异型布局，比如13通道，手机上6行2列布局。各种布局可以自由定义。
38. 支持电子放大，在悬浮条切换到电子放大模式，在画面上选择需要放大的区域，选取完毕后自动放大，再次切换放大模式可以复位。
39. 各组件中极其详细的打印信息提示，尤其是报错信息提示，封装的统一打印格式。针对现场复杂的设备环境测试极其方便有用，相当于精确定位到具体哪个通道哪个步骤出错。
40. 同时提供了简单示例、视频播放器、多画面视频监控、监控回放、逐帧播放、多屏渲染等单独窗体示例，专门演示对应功能如何使用。
41. 监控回放可选不同厂家类型、回放时间段、用户信息、指定通道。支持切换回放进度。
42. 可以从声卡设备下拉框选择声卡播放声音，提供对应的切换声卡函数接口。
43. 支持编译到手机app使用，提供了专门的手机app布局界面，可以作为手机上的视频监控使用。
44. 代码框架和结构优化到最优，性能强悍，注释详细，持续迭代更新升级。
45. 源码支持windows、linux、mac、android等，支持各种国产linux系统，包括但不限于统信UOS/中标麒麟/银河麒麟等。还支持嵌入式linux。
46. 源码支持Qt4、Qt5、Qt6，兼容所有版本。

五、相关代码

//节目信息
struct ProgramInfo {
    int id;
    QString name;
    QString provider;
    QList<int> audioTracks;
    QList<int> videoTracks;

    //重载打印输出格式
    friend QDebug operator << (QDebug debug, const ProgramInfo &programInfo) {
        QStringList list;
        list << QString("节目编号: %1").arg(programInfo.id);
        list << QString("节目名称: %1").arg(programInfo.name);
        list << QString("节目发布: %1").arg(programInfo.provider);

        QStringList audios;
        foreach (int track, programInfo.audioTracks) {
            audios << QString::number(track);
        }

        QStringList videos;
        foreach (int track, programInfo.videoTracks) {
            videos << QString::number(track);
        }

        list << QString("音频索引: %1").arg(audios.join("|"));
        list << QString("视频索引: %1").arg(videos.join("|"));

        debugx << list.join(" ");
        return debug;
    }
};

//指定轨道播放: ffplay -vst 0 -ast 1 f:/mp4/ts/1.ts  中途可以按 alt+c 切换节目
//获取详细信息: ffprobe -v quiet -show_programs -print_format json input.ts
//ts流有多个节目/每个节目有多个视频或音频/可能存在一个视频和多个音频
QList<ProgramInfo> FFmpegThreadHelper::readProgramInfo(AVFormatContext *formatCtx, QList<int> &audioTracks, QList<int> &videoTracks)
{
    audioTracks.clear();
    videoTracks.clear();
    QList<ProgramInfo> programs;

    //获取视音频索引集合
    for (int i = 0; i < formatCtx->nb_streams; ++i) {
        AVMediaType type = FFmpegHelper::getMediaType(formatCtx->streams[i]);
        if (type == AVMEDIA_TYPE_AUDIO) {
            audioTracks << i;
        } else if (type == AVMEDIA_TYPE_VIDEO) {
            videoTracks << i;
        }
    }

    //1个节目下面有多个视频/转换成多个节目
    if (formatCtx->nb_programs == 1 && videoTracks.count() > 1) {
        TrackHelper::getProgram(programs, audioTracks, videoTracks);
        return programs;
    }

    //获取节目流信息
    for (int i = 0; i < formatCtx->nb_programs; ++i) {
        ProgramInfo program;
        AVProgram *avprogram = formatCtx->programs[i];
        program.id = avprogram->id;

        AVDictionaryEntry *tag = NULL;
        while ((tag = av_dict_get(avprogram->metadata, "", tag, AV_DICT_IGNORE_SUFFIX))) {
            QString key = tag->key;
            QString value = tag->value;
            if (key == "service_name") {
                program.name = value;
            } else if (key == "service_provider") {
                program.provider = value;
            }
        }

        int number = avprogram->nb_stream_indexes;
        for (int j = 0; j < number; ++j) {
            int index = avprogram->stream_index[j];
            AVMediaType type = FFmpegHelper::getMediaType(formatCtx->streams[index]);
            if (type == AVMEDIA_TYPE_AUDIO) {
                program.audioTracks << index;
            } else if (type == AVMEDIA_TYPE_VIDEO) {
                program.videoTracks << index;
            }
        }

        programs << program;
    }

    return programs;
}

#include "trackhelper.h"

void TrackHelper::checkProgram(QList<ProgramInfo> &programs)
{
    int count = programs.count();
    for (int i = 0; i < count; ++i) {
        if (programs.at(i).name.isEmpty()) {
            programs[i].name = "节目";
        }
        if (programs.at(i).provider.isEmpty()) {
            programs[i].provider = "发布";
        }
    }
}

void TrackHelper::getProgram(QList<ProgramInfo> &programs, const QList<int> &audioTracks, const QList<int> &videoTracks)
{
    //每个视频对应多少个音轨/必须是整数倍/非整数倍统一到一个节目
    int audioCount = audioTracks.count();
    int videoCount = videoTracks.count();
    int number = audioCount / videoCount;
    if (audioCount % videoCount != 0) {
        return;
    }

    //没有借口获取节目流/有接口获取视音频轨道/通过规律自动组合
    int index = 0;
    programs.clear();
    for (int i = 0; i < videoCount; ++i) {
        ProgramInfo program;
        program.id = i;
        program.name = QString("节目%1").arg(i + 1);
        program.provider = QString("发布%1").arg(i + 1);
        program.videoTracks << videoTracks.at(i);
        for (int j = 0; j < number; ++j) {
            program.audioTracks << audioTracks.at(index++);
        }

        programs << program;
    }
}

void TrackHelper::getProgramOne(QList<ProgramInfo> &programs, const QList<int> &audioTracks, const QList<int> &videoTracks)
{
    programs.clear();
    if (audioTracks.count() == 0 && videoTracks.count() == 0) {
        return;
    }

    ProgramInfo program;
    program.id = 0;
    program.name = "节目";
    program.provider = "发布";
    program.audioTracks = audioTracks;
    program.videoTracks = videoTracks;
    programs << program;
}