惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 三生石上(FineUI控件)
Martin Fowler
Martin Fowler
月光博客
月光博客
AI
AI
B
Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
C
CXSECURITY Database RSS Feed - CXSecurity.com
WordPress大学
WordPress大学
GbyAI
GbyAI
L
Lohrmann on Cybersecurity
O
OpenAI News
Schneier on Security
Schneier on Security
P
Palo Alto Networks Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
T
Troy Hunt's Blog
V2EX - 技术
V2EX - 技术
W
WeLiveSecurity
L
LINUX DO - 最新话题
人人都是产品经理
人人都是产品经理
S
Security Affairs
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
A
Arctic Wolf
Recorded Future
Recorded Future
Microsoft Security Blog
Microsoft Security Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
G
GRAHAM CLULEY
N
Netflix TechBlog - Medium
TaoSecurity Blog
TaoSecurity Blog
C
Check Point Blog
Scott Helme
Scott Helme
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Apple Machine Learning Research
Apple Machine Learning Research
PCI Perspectives
PCI Perspectives
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Vercel News
Vercel News
The Hacker News
The Hacker News
Y
Y Combinator Blog
Latest news
Latest news
SecWiki News
SecWiki News
Hugging Face - Blog
Hugging Face - Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Google Online Security Blog
Google Online Security Blog
Webroot Blog
Webroot Blog
Google DeepMind News
Google DeepMind News
Recent Commits to openclaw:main
Recent Commits to openclaw:main
C
Cisco Blogs
博客园_首页
H
Hackread – Cybersecurity News, Data Breaches, AI and More
宝玉的分享
宝玉的分享
L
LINUX DO - 热门话题

音视频开发进阶

音视频教程-第三节 音视频教程-第二节 真的,AI 可能就是新时代的信息差 充值 Cursor 之后,工作有了哪些变化?🤔 个人'蒸馏'大模型能做哪些有意思的事情 DeepSeek 大模型在 Mac 上的部署和运行 音视频教程-第一节 【WebRTC 专栏】-- Android 开发集成 WebRTC 库的几种方式 【WebRTC 专栏】-- 在 Mac M1 等系列芯片编译和开发 WebRTC-Android 库 Meta Llama3 大模型在 Mac 上的部署和运行 iOS VideoToolBox 解码 HEVC Open-GOP 视频的问题排查 Flutter 状态管理之 InheritedWidget 使用和分析 用 ChatGPT 回答技术问题怎么样 ? 音视频开发系统入门大致路线 UE 4.27 添加自定义 ShadingModel 用 UE4 虚幻引擎做个捏脸小功能~~ UE4 材质练习 之 凹凸贴图偏移的使用 UE4 材质练习系列基础 OpenGL上下文创建以及共享机制 007 | 播放器系列专栏-解析 MP4 文件读取信息 006 | 播放器系列专栏-在 Mac 上查看 MP4 格式信息 干货 | 快速抽取缩略图是怎么练成的? 关于直播、WebRTC、FFmpeg 的那些事 005 | 播放器系列专栏-在 Windows 上查看 MP4 格式信息 将音视频中的花屏、绿屏、黑屏问题一网打尽 关于音视频里面的解码帧率和渲染帧率 004 | 播放器系列专栏-认识MP4视频(下) 003 | 播放器系列专栏-认识MP4视频(上) 入门或者转行音视频,应该要怎么做? H264视频文件如何缩放分辨率 002 | 播放器系列专栏-FFmpeg依赖库的配置 001 | 播放器系列专栏-关于播放器项目的一个小实践 Seek策略以及在有B帧情况下的处理 目前流媒体开发工程师工作内容主要是什么? 一个音视频领域专业问答的小圈子 干货收藏 || Vulkan Game Engine 视频教程 音视频春节假期内卷指南(实操) Vulkan 在 FFmpeg 中的支持 Windows 下 FFmpeg 和 LibX264 的编译和配置 Metal 开发 | 使用 C++ 进行接口调用 音视频开发工作经验分享 || 视频版 FFmpeg 调用 MediaCodec 硬解码到 Surface 上 代码吸猫 | 用 OpenGL 图像渲染的养猫计划 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!! 老生常谈-FFmpeg 的编译问题轻松搞定 FFmpeg 调用 Android MediaCodec 进行硬解码(附源码) 【WebRTC 专栏】--创建相机预览 Unity Shader 光照基础之 Half Lambert 光照模型 Unity Shader 光照基础之Lambert光照模型 Unity Shader 光照基础内容 Unity Shader 显示一张图片纹理 UnityShader 的基本概念 Unity 物体的基本操作 C++ 模板系列小结07-尾置返回类型 C++ 模板系列小结06-可变参数模板特性 C++ 中的多线程的使用和线程池建设 C++ 模板系列小结05-模板类型作为模板参数 C++ 模板系列小结04-类模板中的成员模板 C++ 模板系列小结03-在模板中指定变量类型 C++ 模板系列小结02-非类型模板参数 C++ 模板系列小结01-函数模板和类模板 从零打造渲染引擎系列01-什么是渲染引擎 iOS开发 - 在 Swift 中去调用 C/C++ 代码 2021 技术新番 - 从零打造渲染引擎系列 iOS 音视频开发的一些基础准备工作 音视频交流群又来啦~~~ 【WebRTC 专栏】WebRTC & Android 开发学习环境搭建~ 【喜大普奔】域名终于备案通过啦 Shader 优化 | OpenGL 绘制网格效果 【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息 KodeLife | Shader 实时编辑预览的强大工具使用实践 推荐几个堪称教科书级别的 Android 音视频入门项目 【音视频连载-010】第二季 FFmpeg 日志打印 【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下) 【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上) 【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件 【音视频连载-004】基础学习篇-SDL 加载图片并显示 【音视频连载-003】基础学习篇-SDL 消息循环和事件响应 【音视频连载-002】基础学习篇-SDL 创建窗口并显示颜色 【音视频连载-001】基础学习篇- SDL 介绍以及工程配置 LearnOpenGL 源码在 MAC 上的编译与调试 2019 年终总结与回顾 Android NDK 开发的免费技术视频来啦~~ OpenGL 实现视频编辑中的转场效果 OpenGL 实践之贝塞尔曲线绘制 图像库 libjpeg-turbo 编译与实践 图像库 libpng 编译与实践 rust 开发编译 Android 动态库实践 Android NDK 开发 —— 从 Assets 文件夹加载图片并上传纹理 简单易用的图像解码库介绍 —— stb_image 博客图床迁移记 进击的 Vulkan 移动开发之 SwapChain 进击的 Vulkan 移动开发之 Command Buffer 进击的 Vulkan 移动开发之 Instance & Device & Queue 进击的 Vulkan 移动开发(一)之今生前世 Java 显式锁 Lock 与条件队列 C++ 标准容器库小结 MediaCodec 硬编码之相机内容编码成 H264 文件 一文读懂 YUV 的采样与格式 《OpenGL ES 3.x 游戏开发》碰撞检测之 AABB 包围盒
【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示
音视频开发进阶 · 2020-03-10 · via 音视频开发进阶

一个专注音视频领域的小圈子

在前面的文章中已经完成了图片的加载和显示,接下来要做的就是加载 YUV 文件并显示。

做这个功能点比较麻烦的是素材问题,上哪去找一个 YUV 文件出来,谷歌和百度搜索都不好使,其实直接使用 FFmpeg 生成文件就好了。

使用如下命令将图片文件转成 YUV 文件:

// 把 filename 改为图片对应的文件名
ffmpeg -i image_filename.png -pix_fmt yuv420p yuv_filename.yuv

在这里将 YUV 文件格式固定为 YUV420P 了,如果你对 YUV 格式不懂的话,强烈建议看看我之前写过的文章,图文并茂,清晰易懂,使用谷歌搜索 YUV 关键字,搜索结果排名前五的必有我这篇文章。

一文读懂 YUV 的采样与格式

顺便可以使用 FFplay 验证生成的 YUV 文件是否有效,使用如下命令:

// 100x100 代表图片的宽高,这里只是举例,换成实际的宽高
// 把 filename 改为 YUV 对应的文件名
ffplay -f rawvideo -video_size  100x100 yuv_filename.yuv

以上命令会打开一个窗口去展示图片,如果该图片和未转换成 YUV 的图片内容一致,那说明把图片转换成 YUV 格式文件是成功了,这样就有了实验素材。

代码实践

有了素材,接下来就是代码实践环节:

创建纹理 SDL_Texture

与 SDL 显示图片的方式有些不同,显示图片是将图片转换成了 SDL_Surface,然后将这个 SDL_Surface 的内容转换到 SDL_Window 对应的 SDL_Surface 上,最后上屏就显示图片了。

显示 YUV 文件需要创建一个纹理,然后将纹理内容渲染上屏,这类似于 OpenGL 的操作了。

首先通过 SDL_CreateTexture 方法创建 SDL_Texture

SDL_CreateTexture(SDL_Renderer * renderer,
                Uint32 format,
                int access, int w,
                int h);

参数 renderer 是之前文章提到的创建渲染器,wh 是纹理的宽高,重点是 format 参数。

根据文件格式的不同,format 参数也不同,比如这里文件是 YUV420P,那么对应的就是 IYUV.

更多格式可以参考 SDL_pixels.h 文件中定义,摘录部分如下:

    SDL_PIXELFORMAT_UYVY =      /**< Packed mode: U0+Y0+V0+Y1 (1 plane) */
        SDL_DEFINE_PIXELFOURCC('U', 'Y', 'V', 'Y'),
    SDL_PIXELFORMAT_YVYU =      /**< Packed mode: Y0+V0+Y1+U0 (1 plane) */
        SDL_DEFINE_PIXELFOURCC('Y', 'V', 'Y', 'U'),
    SDL_PIXELFORMAT_NV12 =      /**< Planar mode: Y + U/V interleaved  (2 planes) */
        SDL_DEFINE_PIXELFOURCC('N', 'V', '1', '2'),
    SDL_PIXELFORMAT_NV21 =      /**< Planar mode: Y + V/U interleaved  (2 planes) */
        SDL_DEFINE_PIXELFOURCC('N', 'V', '2', '1'),
    SDL_PIXELFORMAT_EXTERNAL_OES =      /**< Android video texture format */
        SDL_DEFINE_PIXELFOURCC('O', 'E', 'S', ' ')

打开文件并读取内容

接下来就是打开文件操作了,直接根据 C 语言里面相关方法调用就行。

    // 打开文件
    FILE *pFile = fopen(path.c_str(), "rb");
    // 读取文件内容到 buffer 中
    unsigned char *yuv_data;
    // yuv420p 格式的文件大小
    int frameSize = width * height * 3 / 2;
    yuv_data = static_cast<unsigned char *>(malloc(frameSize * sizeof(unsigned char)));
    fread(yuv_data,1,frameSize,pFile);
    // 关闭文件
    fclose(pFile);

打开文件,读取文件内容,注意 YUV420P 格式文件大小的计算方式是 width * height * 3 / 2 ,它比正常的 RGBA 格式文件要小一点的。

因为读取了文件内容之后,后续也就用不到了,直接 fclose 关闭掉。

渲染纹理上屏

有了纹理,也有了 YUV 文件内容,接下来就是把 YUV 文件内容转换到纹理上,在把纹理渲染上屏。

    if (texture != nullptr){
        SDL_Event windowEvent;
        while (true){
            if (SDL_PollEvent(&windowEvent)){
                if (SDL_QUIT == windowEvent.type){
                    break;
                }
            }
            // 更新纹理内容,就是把读取的 YUV 数据转换成纹理
            SDL_UpdateTexture(texture, nullptr,yuv_data,width);
            // 清屏操作
            SDL_RenderClear(renderer);
            // 将指定纹理复制到要渲染的地方
            SDL_RenderCopy(renderer,texture, nullptr, nullptr);
            // 上屏操作
            SDL_RenderPresent(renderer);
        }
        SDL_DestroyWindow(window);
        SDL_Quit();
    }

首先调用 SDL_UpdateTexture 方法将 YUV 内容转换成纹理,然后 SDL_RenderClear 清屏操作,OpenGL 相关的渲染也是要清屏操作的。

接下来将 SDL_Texture 拷贝到要渲染的地方,然后 SDL_RenderPresent 执行上屏操作就行了。

渲染纹理上屏的操作流程基本都是这样了,根据文件格式的不同,转换成纹理的方式也有不同,除了 SDL_UpdateTexture 方法之外,还有 SDL_UpdateYUVTexture 方法,后面会遇到的。

最后别忘了释放和销毁相应的指针和变量。

运行程序就会看到打开一个窗口,显示一张图片,和之前用 FFmpeg 显示的图片内容一致。

总结

以上就是音视频基础学习连载的 005 篇。

内容相对比较简单,对于 SDL 接口的一些调用也不算难。实际上并不用太深究 SDL 的接口机制和实现原理,做一些实验性入门基础功能会用好了,毕竟在实际工作中不太会用到。

另外,既然已经可以显示一张 YUV 帧内容了,那么假如是一个 YUV 视频文件又该如何显示了?想知后事如何,请看下回分解。

本文具体代码见仓库:

https://github.com/glumes/av-beginner

本篇文章对应的提交 tagav-beginner-004,可切换至对应源码查看。

能力有限,文中有不对之处,欢迎加我微信 ezglumes 进行交流~~

原创文章,转载请注明来源:    【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示