惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

IT之家
IT之家
NISL@THU
NISL@THU
The Hacker News
The Hacker News
C
CXSECURITY Database RSS Feed - CXSecurity.com
T
Tenable Blog
Forbes - Security
Forbes - Security
V2EX - 技术
V2EX - 技术
Webroot Blog
Webroot Blog
Schneier on Security
Schneier on Security
T
The Exploit Database - CXSecurity.com
T
Tor Project blog
C
Cisco Blogs
TaoSecurity Blog
TaoSecurity Blog
The Last Watchdog
The Last Watchdog
PCI Perspectives
PCI Perspectives
O
OpenAI News
C
Cyber Attacks, Cyber Crime and Cyber Security
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Google Online Security Blog
Google Online Security Blog
宝玉的分享
宝玉的分享
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
量子位
D
Docker
AI
AI
Blog — PlanetScale
Blog — PlanetScale
S
Security @ Cisco Blogs
S
Schneier on Security
The GitHub Blog
The GitHub Blog
W
WeLiveSecurity
云风的 BLOG
云风的 BLOG
M
MIT News - Artificial intelligence
P
Privacy International News Feed
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
H
Hackread – Cybersecurity News, Data Breaches, AI and More
B
Blog
C
Check Point Blog
A
About on SuperTechFans
D
Darknet – Hacking Tools, Hacker News & Cyber Security
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Engineering at Meta
Engineering at Meta
I
InfoQ
T
Threat Research - Cisco Blogs
Project Zero
Project Zero
Cloudbric
Cloudbric
MongoDB | Blog
MongoDB | Blog
Cisco Talos Blog
Cisco Talos Blog
L
Lohrmann on Cybersecurity
S
Securelist

音视频开发进阶

音视频教程-第三节 音视频教程-第二节 真的,AI 可能就是新时代的信息差 充值 Cursor 之后,工作有了哪些变化?🤔 个人'蒸馏'大模型能做哪些有意思的事情 DeepSeek 大模型在 Mac 上的部署和运行 音视频教程-第一节 【WebRTC 专栏】-- Android 开发集成 WebRTC 库的几种方式 【WebRTC 专栏】-- 在 Mac M1 等系列芯片编译和开发 WebRTC-Android 库 Meta Llama3 大模型在 Mac 上的部署和运行 iOS VideoToolBox 解码 HEVC Open-GOP 视频的问题排查 Flutter 状态管理之 InheritedWidget 使用和分析 用 ChatGPT 回答技术问题怎么样 ? 音视频开发系统入门大致路线 UE 4.27 添加自定义 ShadingModel 用 UE4 虚幻引擎做个捏脸小功能~~ UE4 材质练习 之 凹凸贴图偏移的使用 UE4 材质练习系列基础 OpenGL上下文创建以及共享机制 007 | 播放器系列专栏-解析 MP4 文件读取信息 006 | 播放器系列专栏-在 Mac 上查看 MP4 格式信息 干货 | 快速抽取缩略图是怎么练成的? 关于直播、WebRTC、FFmpeg 的那些事 005 | 播放器系列专栏-在 Windows 上查看 MP4 格式信息 将音视频中的花屏、绿屏、黑屏问题一网打尽 关于音视频里面的解码帧率和渲染帧率 004 | 播放器系列专栏-认识MP4视频(下) 003 | 播放器系列专栏-认识MP4视频(上) 入门或者转行音视频,应该要怎么做? H264视频文件如何缩放分辨率 002 | 播放器系列专栏-FFmpeg依赖库的配置 001 | 播放器系列专栏-关于播放器项目的一个小实践 Seek策略以及在有B帧情况下的处理 一个音视频领域专业问答的小圈子 干货收藏 || Vulkan Game Engine 视频教程 音视频春节假期内卷指南(实操) Vulkan 在 FFmpeg 中的支持 Windows 下 FFmpeg 和 LibX264 的编译和配置 Metal 开发 | 使用 C++ 进行接口调用 音视频开发工作经验分享 || 视频版 FFmpeg 调用 MediaCodec 硬解码到 Surface 上 代码吸猫 | 用 OpenGL 图像渲染的养猫计划 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!! 老生常谈-FFmpeg 的编译问题轻松搞定 FFmpeg 调用 Android MediaCodec 进行硬解码(附源码) 【WebRTC 专栏】--创建相机预览 Unity Shader 光照基础之 Half Lambert 光照模型 Unity Shader 光照基础之Lambert光照模型 Unity Shader 光照基础内容 Unity Shader 显示一张图片纹理 UnityShader 的基本概念 Unity 物体的基本操作 C++ 模板系列小结07-尾置返回类型 C++ 模板系列小结06-可变参数模板特性 C++ 中的多线程的使用和线程池建设 C++ 模板系列小结05-模板类型作为模板参数 C++ 模板系列小结04-类模板中的成员模板 C++ 模板系列小结03-在模板中指定变量类型 C++ 模板系列小结02-非类型模板参数 C++ 模板系列小结01-函数模板和类模板 从零打造渲染引擎系列01-什么是渲染引擎 iOS开发 - 在 Swift 中去调用 C/C++ 代码 2021 技术新番 - 从零打造渲染引擎系列 iOS 音视频开发的一些基础准备工作 音视频交流群又来啦~~~ 【WebRTC 专栏】WebRTC & Android 开发学习环境搭建~ 【喜大普奔】域名终于备案通过啦 Shader 优化 | OpenGL 绘制网格效果 【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息 KodeLife | Shader 实时编辑预览的强大工具使用实践 推荐几个堪称教科书级别的 Android 音视频入门项目 【音视频连载-010】第二季 FFmpeg 日志打印 【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下) 【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上) 【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件 【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示 【音视频连载-004】基础学习篇-SDL 加载图片并显示 【音视频连载-003】基础学习篇-SDL 消息循环和事件响应 【音视频连载-002】基础学习篇-SDL 创建窗口并显示颜色 【音视频连载-001】基础学习篇- SDL 介绍以及工程配置 LearnOpenGL 源码在 MAC 上的编译与调试 2019 年终总结与回顾 Android NDK 开发的免费技术视频来啦~~ OpenGL 实现视频编辑中的转场效果 OpenGL 实践之贝塞尔曲线绘制 图像库 libjpeg-turbo 编译与实践 图像库 libpng 编译与实践 rust 开发编译 Android 动态库实践 Android NDK 开发 —— 从 Assets 文件夹加载图片并上传纹理 简单易用的图像解码库介绍 —— stb_image 博客图床迁移记 进击的 Vulkan 移动开发之 SwapChain 进击的 Vulkan 移动开发之 Command Buffer 进击的 Vulkan 移动开发之 Instance & Device & Queue 进击的 Vulkan 移动开发(一)之今生前世 Java 显式锁 Lock 与条件队列 C++ 标准容器库小结 MediaCodec 硬编码之相机内容编码成 H264 文件 一文读懂 YUV 的采样与格式 《OpenGL ES 3.x 游戏开发》碰撞检测之 AABB 包围盒
目前流媒体开发工程师工作内容主要是什么?
音视频开发进阶 · 2022-03-08 · via 音视频开发进阶

一个专注音视频领域的小圈子

目前流媒体开发工程师工作内容主要是在做什么? 这是来自知识星球一位朋友的提问,非常好的一个问题,也是很多想要进入音视频领域的粉丝朋友们想要了解的。 在知识星球内回答了一下,正好也放出来供大家参考一下。 有想要加入知识星球的朋友,可以通过如下链接了解一下: https://mp.weixin.qq.com/s/LdXwBD1EOLSPVGCMGTEfnw 以下是提问的原文内容:

目前国内流媒体开发做的需求主要包含哪些内容呢?

因为很多大厂数年前就已经构建了各自的音视频底层框架,发展到现在我觉得底层框架层面是不是比较完善了,现在的需求是不是就只有 修bug、适配新协议 这些?

具体到业务上又会有哪些需求呢?

没实际经历过流媒体开发,但又特别想知道在大厂里流媒体/音视频工作到底需要做些什么,所以想咨询一下星主,谢谢。

以下是回复的原文内容:

1. 先说音视频的本质:音视频的本质就是在极端复杂的网络情况下,充分利用终端硬件,给用户最好的音视频体验。

所以说,音视频的开发过程其实是一个追求极致的过程。

换句话说,如果你的业务有很多用户,是公司的主营业务,上面老板也非常重视这一块业务,那你能做的事情就会很多。

如果你的业务可做可不做,你连修bug、适配新协议这些工作都不用做。

其实很多初创公司都是拿webrtc直接编译,然后用接口封装下,就用于直播、视频通话了。

2. 因为你问的是大厂的现状,那接下来会以大厂的音视频开发这个话题展开。

首先,当今的流媒体应用领域已经不仅仅局限于视频通话了,它面向的是音频通话、直播、极速直播(比如远程抓娃娃)、视频会议、在线教育、视频通话、互动白板等诸多业务场景或领域。

每个领域的用户痛点是不同的,所以底层框架并不是“很早就构建”。

要完整解决用户问题,在webrtc形成的音视频底层框架的基础上,轻则换组建,重则要重构。

比如你要应用于连麦直播,为了提升音频质量,至少音频编码要从opus换成aac吧。

至于重构,出于信息安全的考虑,我只能告诉你,这几个大厂的音视频底层框架其实都是经过重构过的。

接下来,我从流媒体涉及到的模块以及分工来展开讲述

在的流媒体开发,已经不是几个人小作坊似的开发模式了,一般会按照模块进行部门或组的分工。

大体可以分为SDK组,主要职能是提供对外接口支持、对接指导以及业务层、逻辑层的维护;

音频组,主要工作分为音频工程开发、音频算法开发、音频传输开发。

其中,音频算法开发主要是实现特定业务场景或通用场景的音频前处理算法开发及优化、以及音频编解码协议、算法、实现的优化,音频传输开发主要是在jitbuffer,plc等技术基础上进行音频传输的优化,而音频工程开发主要是集成其他两部分同事的工作打包给SDK同事进行流媒体SDK的集成开发;

视频组,主要职能就是视频图像处理及视频编解码;

网络组,主要职能就是负责流媒体的传输模块,在保证延时的基础上提升流媒体的弱网抗性,这个模块里耳熟能详的技术有fec,arq,svc等等,其实也远远不限定于这些技术。

经过业务场景多元化和模块划分很细的讲解,你应该知道这里工作量很大了吧。

每个大厂的阶段不一样,业务不一样,这里不太好直接指明他们具体会有哪些工作,也涉及到人家信息安全的风险,只能说这里工作量很大,不然人家也不会招那么多人,而且还在继续招人。

为了让你初步了解这里的工作量,举个例子,比如音频采集。你看起来是不是很容易。

但是实际上,现在大厂里面有一些人就是专门做这一块的,因为现实中设备很复杂,比如你要考虑蓝牙、麦克风、耳机等等不同设备的采集,兼容性问题突出;

其次,不同设备不同场景下的采集方式是不一样的,比如你用耳机采集,回声问题影响较小,如果你应用于直播场景,那你就要关掉硬件降噪,对软件3A进行适配,在不引入回声的基础上提升音质;

最后就是,Android里面,opensl和audiotrack,audiorecord不同设备不同场景下的选择也是一大难点。

3. 看到你对工作“修Bug”的描述,这里想纠正一下你的观念,可能对你有用。

对咱们做工程的来说,工作永远不可能是修Bug,即使产品或者技术再稳定,更不要把自己的工作局限为修Bug。

一旦一个音视频SDK接入的APP多了,用户规模上去了,整个SDK方方面面都是挑战,比如稳定性、性能优化、SDK本身质量、音视频体验上的优化。

即使你修一个Bug,也不会是一个单点问题,而是系统问题,你需要考虑对其他模块的影响,你需要考虑是否有一种通用的方案来系统解决同类型的问题,甚至你需要考虑解决了这个Bug之后怎么验证等等。

上面这些都是我们的日常工作。除了日常工作,其他的需要思考的地方就更多了。

比如你要考虑排障成本、测试效率、服务成本(需要基于用户反馈找到ROI,以最小成本满足用户需求),也要考虑SDK的复用,如何快速赋能更多业务。

每个大厂阶段不一样,水平不一样,你的leader水平可能也不一样,这些你可能之前没有考虑过,但是实际上真正提升技术以及让你的SDK做的更好都是我们需要深刻思考的。

以上就是回答的全部内容,希望对你能够有帮助!!!

原创文章,转载请注明来源:    目前流媒体开发工程师工作内容主要是什么?