fmpeg是一款处理多媒体的瑞士军刀般的工具，视频、音频、字幕都能处理，解码、转码、合成、过滤，视频压缩、转换视频比例、把视频解码成一张张的图片，把图片编码为视频，都是这款组件的常用功能，这也是我目前了解到的一部分。

它是由几个核心库构成的：

补充说明：

声道：音频设备采集到声音来源的位置和从音频设备播放出去的声音传播到哪个地方的位置。左声道，设备模拟人的左耳朵听到的声音。右声道：设备模拟人的右耳朵听到的声音。环绕声，就是模拟人处在声音中间时听到的声音。

采样率：每秒对经过设备采集到的声音并经过信号模拟后的数据的采集次数（这个信号模拟就跟声道模拟左声道右声道一样的意思）。因为每次出现的声音它产生的那段对应的数据是连续的，采样，就是对这段连续时间发生的数据进行采集离散的样本数据，这个离散，就是时间点不连续，可能在第1微秒出采集后，接着跑到第10微秒出采集声音样本。为什么需要离散的采样，而不是所有数据都抓取全部的模拟后的声音数据，我认为是在模拟时，同样一个音调在连续的时间里会产生有许多重复或相近人耳根本区分不了的数据，这些数据丢弃不影响采集后人耳听到的声音的区别，而且还能通过控制降低采样率减少音频所占用的磁盘空间。采样率越高，同一时间，声音样本信息就越丰富，所以听到的声音和原生一样，采样率越低，声音失真就越严重，但通常一般的采样率听不出区别。

重采样：就是对声音以新的采样率再次进行采样。

重矩阵化：不同的声道数是不同的矩阵的维度，所以从矩阵就是用不同的声道数重新转换声音。

ffmpeg 介绍

ffmpeg [global_options] {[input_file_options] -i input_url}， {[input_file_options] -i input2_url} ... {[output_file_options] output_url}，{[output_file_options] output_url2} ...

global_options：全局可选命令，作用到所有输入，输出文件；

input_file_options： 输入可选命令

-i ：指定输入文件

input_url：输入文件的路径或者网络url

output_file_options：输出可选命令

output_url：输出文件的路径或者网络url

ffmpeg 可以读取任意数量的输入（常规文件、管道、网络流，从音视频设备抓取）每一个输入用 -i区分，比如 -i a.mp3,-i b.rmvb,它可以由任意数量的输出，根据不同的路径名称来区分，比如 output1.mp3,output2.mp4。因为元数据在解复用时会把数据分离成不同的基础流，而又会在复用时又会合并在一起。如果不指定单独的基础流要怎么处理，其内部自动会处理好这些对应关系。也可以手动用 -map 0:1可以表示选择第一个输入文件或输出文件的下标为1的基础流。

输入的命令行的可选项是针对紧跟在它后面的输入文件，对于输出文件也是一样的原则。

所有输入文件放在最前面，所有输出文件放在所有输入文件的后面。

例子：

ffmpeg -i input.avi output.mp4 //格式自动转换 ffmpeg -i input.avi -b:v 64k -bufsize 64k output.mp4 //转换格式，并且把视频比特率变成64kbit/s ffmpeg -i input.avi -r 24 output.mp4//格式转换，改变视频帧率为24贞每秒 ffmpeg -r 1 -i input.m2v -r 24 output.mp4 //强制输入视频为1贞每秒（仅原始格式的视频数据才有效），输出文件为24贞每秒

详细介绍：ffmpeg，在每使用一个 -i指令时，会创建一个解复用的实例对象。这个解复用的作用，是把一个视频里的视频流、音频流、字幕流，把原始同一时间混合在一起的流，分离成各自媒体数据的流以及其包含的基础属性数据和一些全局属性原始数据。ffmpeg的工作原理是，建立一个转码管道。把从输入文件下载下来的数据块向水流一样在这个管道里流通，而解复用就像分离不同大小硬币的设备，区分不通过的流。就像下面这个图，然后等区分完后，会经过混合，又形成一个整体的输出文件。

Decoders

解码器会接收把基础流打包好（一块一块的，根据流对应的数据格式打包）的流，然后经过解码器把这些流解码成原始的贞数据，对于视频来说是像素数组集合，对于音频来说是pcm格式的原始音频贞。对于 Loopback decoders 器解码器就是自身，而其他解码器是和解复用的基础流有关系。

Filtering

过滤通道分为：简单过滤（-filter）和复杂过滤（filter_complex ），简单过滤，是从一个decoder那获取数据，经过这个过滤，后输出给一个输出的编码器

复杂过滤通道，是独立的，能接收0个或多个不同的流，然后内部又不同的过滤器和管道，其后跟的输出流也又多个，如下图：

从过滤通道出来的数据接着会被送入编码器，编码器及能降低原来的音视频的质量，同时也能增加音视频的质量，但那样会增大数据量。

经过编码器的数据会接着送入复用，然后经过混合形成输出文件。

Streamcopy

ffmpeg的管道，最简单的是单流管道，把一个视频分离成多个基础流，并只提取其中一个流，在不经过解码，过滤，或者编码直接copy到输出文件。这叫做：single-stream streamcopy，

上述操作用命令表达：ffmpeg -i INPUT.mkv -map 0:1 -c copy OUTPUT.mp4

这里-map 0:1,是第0个的下标为1的基础流； -c copy 就是选择复制解码器

这个管道的作用时改变基础流的数量，因为没有解码再编码的过程，所以速度很快。但可能不被一些容器支持，肯定不会被过滤器支持，因为过滤器需要解码，而这个没有解码。

应用举例：

ffmpeg -i INPUT0.mkv -i INPUT1.aac -map 0:0 -map 1:0 -c copy OUTPUT.mp4 //把0.mkv输入文件的第0个基础流和1.aac输入文件的第0个基础流合并到output.mp4

Transcoding转码

转码时把流解码后再编码，它的代价比较大，仅在：需要过滤通道，需要覆盖视频，需要音频重采样，或者把流输出到无法被原始编码器解码的输出文件里时需要用到它。如果把输入流原样输出，或者输出的容器支持解码原始输入的流就不用这个转码

ffmpeg 如果 不指定-c，那么它会自动的用转码器。

应用举例：

ffmpeg -i INPUT.mkv -map 0:v -map 0:a -c:v libx264 -c:a copy OUTPUT.mp4 //把第0个输入文件的视频流经过libx264转码，把第0个输入文件的音频流原样复制，最后合并输出的Output.mp4

Filtering

转码后的数据在编码前可以走过滤通道，简单过滤通道，他是线性的。

复杂过滤通道不是线性的，又0个或多个输入，可以对应不同数量的输出。

Loopback decoders

是把经过编码后的数据在重新解码喂给过滤通道在处理。

例子：

ffmpeg -i INPUT \ -map 0:v:0 -c:v libx264 -crf 45 -f null - \使用libx264转码 -threads 3 -dec 0:0 \编码后再解码 -filter_complex '[0:v][dec:0]hstack[stack]' \开了线程，要按顺序输出流 -map '[stack]' -c:v ffv1 OUTPUT

-map详解

input file 'A.avi'

stream 0: video 640x360

stream 1: audio 2 channels

input file 'B.mp4'

stream 0: video 1920x1080

stream 1: audio 2 channels

stream 2: subtitles (text)

stream 3: audio 5.1 channels

stream 4: subtitles (text)

input file 'C.mkv'

stream 0: video 1280x720

stream 1: audio 2 channels

stream 2: subtitles (image)

ffmpeg -i A.avi -i B.mp4 out1.mkv out2.wav -map 1:a -c:a copy out3.mov

-map 1:a 选第二个输入文件的最大索引的音频流

-map 1:a:0选第二个输入文件的索引为0的音频流

ffmpeg -i A.avi -i C.mkv -i B.mp4 -filter_complex "overlay" out1.mp4 out2.srt

//overlay会自动选择前面两个输入的视频基础流，而忽略B.mp4的视频流，输出给out1.mp4；

然后虽然第二个输入有字幕流，但它是图片格式的，srt需要文字格式，所以这里不选c.mkv的字幕， 而是选择了b.mp4里的字幕输出到out2.srt

ffmpeg -i A.avi -i B.mp4 -i C.mkv -filter_complex "[1:v]hue=s=0,split=2[outv1][outv2];overlay;aresample" \ -map '[outv1]' -an out1.mp4 \ out2.mkv \ -map '[outv2]' -map 1:a:0 out3.mkv

//[1:v]hue=s=0,split=2[outv1][outv2] 把第二个输入文件的视频流，变成黑白后，分成两个相同的输出outv1，outv2，

-map '[outv1]' -an out1.mp4 把outv1禁用音频后输出给out1.mp4,

out2.mkv里没有-map,是overlay把其余两个输入文件的两个视频流直接给到了out2.mkv

-map '[outv2]' -map 1:a:0 out3.mkv 选择outv2输出流，把第二个文件的第一个音频，给到out3.mkv输出。

主要的命令选项：

-f fmt (input/output)

指定输入输出格式

-i url (input)

指定输入文件

-y (global)

默认覆盖输出文件

-n (global)

如果输出文件已存在，则默认不会覆盖输出文件，并且立即推出程序。

-stream_loop number (input)

设置输入流，结束后，再重复输入的次数，0不重复 -1 无线循环重复输入。

-recast_media (global)

强制把解复用没有识别的媒体类型强制解码，常用与被复用再一起的数据流的数据进行解码。

-t duration (input/output)

只读取 time duiration前的数据，读取满了，就停止读取

-to position (input/output)

针对输出文件，输出文件超过 time duration 时，就停止输出到文件。

-fs limit_size (output)

输出文件超过多少byte数据后就不再往输出文件输出了。

sseof position (input)

保留后相对与文件末尾流。position=0表示整个文件都忽略。例如position=-00:00:10表示保留视频结束前10秒的数据。

-isync input_index （输入选项）

指定一个输入作为同步源。

功能：自动计算目标输入和参考输入之间起始时间的差值，然后用这个差值来调整目标文件的时间戳，从而实现同步。

要求：两个输入的时间戳应来自同一时钟源，同步效果才好。

注意：input_index是 FFmpeg 赋予每个输入文件的索引号（从0开始）。如果同步源是自己或设置为 -1，则不进行调整。

用途：高级同步功能，比手动使用 -itsoffset更自动化，但要求也更严格。

-metadata[:metadata_specifier] key=value （输出选项，基于元数据）

设置一个元数据键值对。

功能：为输出的媒体文件添加或修改元信息。 input_index （输入选项）

-timestamp date （输出选项）

设置容器内的录制时间戳。

功能：在输出的媒体文件容器中，写入一个记录创建时间的元数据（date）。

date​ 必须是日期格式，例如 "2023-10-27 12:00:00"。

这不会影响音视频内容，只影响文件的元信息。

-itsscale scale （输入选项，基于流）

重新调整输入时间戳的缩放比例。

功能：将所有输入时间戳乘以 scale这个浮点数。

用途：主要用于处理异常的、非标准的时间基或时间戳。例如，某些生成错误的文件可能需要通过此参数来修正播放速度。普通用户很少使用。

itsoffset offset （输入选项）

设置输入时间偏移。

功能：为整个输入文件的时间戳增加一个 offset偏移量。

效果：指定一个正的偏移量意味着该输入的所有流（音视频等）都会被延迟指定的时间。

常见用途：在合并多个输入源时，用于同步音视频。例如，如果视频比音频快了2秒，可以对视频输入使用 -itsoffset 2来将其延迟2秒，使其与音频对齐。

timestamp date （输出选项）

设置容器内的录制时间戳。

功能：在输出的媒体文件容器中，写入一个记录创建时间的元数据（date）。

date​ 必须是日期格式，例如 "2023-10-27 12:00:00"。

这不会影响音视频内容，只影响文件的元信息。

-ss position （输入/输出选项）

这是一个定位（seek）​ 参数，用于跳到媒体文件的指定时间点，再从 position位置开始读取和处理。

作为输入选项使用（在 -i输入文件之前）：

注意：由于媒体格式限制，通常无法精确跳到某一点。FFmpeg 会跳到 position之前最近的一个可定位点（如关键帧）。

position​ 必须是一个时间规格，例如 00:01:30.5（1分30.5秒）或 90.5（90.5秒）。

-sseof position （输入选项）

类似于 -ss选项，但是是相对于文件末尾进行定位。

负值表示在文件结束之前的某个时间点（例如 -00:00:10表示从输入文件结束前10秒开始处理）。

值 0表示在文件结尾（EOF），直接不处理该输入文件。

-itsoffset offset （输入选项）

设置输入时间偏移。

功能：为整个输入文件的时间戳增加一个offset偏移量。

效果：指定一个正的偏移量意味着该输入的所有流（音视频等）都会被延迟指定的时间。

常见用途：在合并多个输入源时，用于同步音视频。例如，如果视频比音频快了2秒，可以对视频输入使用 -itsoffset 2来将其延迟2秒，使其与音频对齐。