当心：前方有龙。

由于我们是直接在内存中渲染图形并喂给 FFmpeg 进行编码的，我们需要自行控制编码器、编码流和容器写出。FFmpeg 原生提供的用于操作文件的帮助函数我们的使用就相对少一些。

查找系统中可用的编码器

上一篇中我们注意到了虽然 FFmpeg 输出它支持的编码器很多，但系统上并不是所有的编码器都装了的。现在，我们需要筛选出实际可以用的编码器。具体的，我们关心系统上是否存在一个可以进行 H.264 编码的编码器：

extern "C" {
#include "libavformat/avformat.h"
#include "libavcodec/avcodec.h"
#include "libavutil/opt.h"
}

#include "spdlog/spdlog.h"

bool select_video_encoder(char* buffer, size_t buffer_size) {
    const AVCodec* codec;
    void* handle = nullptr;

    while ((codec = av_codec_iterate(&handle))) {
        if (!av_codec_is_encoder(codec) || codec->type != AVMEDIA_TYPE_VIDEO) {
            continue;
        }

        spdlog::debug(
            "known video codec: {} ({})", codec->name, codec->long_name);

        // find h264
        if (strstr(codec->long_name, "H.264") || strstr(codec->name, "h264")) {
            spdlog::info(
                "selected video codec: {} ({})", codec->name, codec->long_name);
            strncpy(buffer, codec->name, buffer_size);
            return true;
        }
    }

    spdlog::warn("no suitable video encoder found");
    return false;
}

你的系统可能这个函数确实会返回 false. 但是没关系，可以仿照查找 H.264 编码器的方法继续查找其他编码器（如 mpeg4, vp9 或者 av1）。如果确实是一个都找不着……那可能确实需要开一些 GPL 库才可以。

在 macOS 下，h264 编码由 h264_videotoolbox 实现。这个编码器是默认 FFmpeg 配置下就可用的。

还有一个方法是使用 avcodec_find_encoder 方法来查找注册到系统中的编码器，比如：

const auto* codec = avcodec_find_encoder(AV_CODEC_ID_H264);

如果对应的 ID 下没有可用的编码器，则该函数返回 nullptr. 我们可以通过传入可接受的 AV_CODEC_ID_* 来逐个查找系统中可能的编码器实现，此处不再赘述。

后文中，我将假定所使用的编码器实现 H.264 编码格式，或者至少支持 YUV420 格式输入。

启动编码器

首先，根据查找到的可用编码器名，召唤对应的编码器实现：

// include 和函数签名略，就当我们在 main 函数里
int err = 0;
char codecName[64];
if (!select_video_encoder(codecName, sizeof(codecName))) {
    spdlog::error("no codec available");
    return -1;
}

const auto* codec = avcodec_find_encoder_by_name(codecName);
if (!codec) {
    spdlog::error("cannot find codec `{}`", codecName);
    return -2;
}

接下来需要申请一个编码器上下文：

auto* context = avcodec_alloc_context3(codec);
if (!context) {
    spdlog::error("failed to allocate codec context");
    return -3;
}

编码器上下文用于保存编码器配置，比如比特率、帧率等等信息。假设我们需要输出的视频文件尺寸为 640x480@60fps, 码率为 10Mbps, 则可以这样设置编码器上下文：

context->bit_rate = 10000000;
context->width = 640;
context->height = 480;
context->time_base = (AVRational){1, 60};
context->framerate = (AVRational){60, 1};

一般来说，大部分编码器都需要 YUV420 格式、逐行扫描的输入：

context->pix_fmt = AV_PIX_FMT_YUV420P;

对于 H.264 这种带有帧间压缩的编码，则同样需要指定帧间压缩参数。比如我们需要每 10 帧生成一个 I 帧，则可以这样配置：

context->gop_size = 10;

以及，关闭 B 帧生成。这主要是因为如果有 B 帧，后续将 H.264 码流导入视频容器时会需要处理各种比较棘手的情况。

context->max_b_frames = 0;

对于 H.264 编码，我们还可以设置其使用高质量（缓慢）编码预设：

if (codec->id == AV_CODEC_ID_H264) {
    av_opt_set(context->priv_data, "preset", "slow", 0);
}

完成上述设置之后，我们就可以尝试启动编码器了：

err = avcodec_open2(context, codec, nullptr);
if (err < 0) {
    spdlog::error("failed to open the codec: {}", err);
    return -4;
}

设置基本数据结构

创建一个用于承载视频信息的帧：

auto* frame = av_frame_alloc();
if (!frame) {
    spdlog::error("failed to allocate a frame");
    avcodec_free_context(&context);
    return -5;
}

以及一个用于承载编码信息的包：

auto* packet = av_packet_alloc();
if (!packet) {
    spdlog::error("failed to allocate a packet");
    avcodec_free_context(&context);
    av_frame_free(&frame);
    return -6;
}

这两个数据结构在整个编码循环中都可以重复使用，并不需要每个视频帧或者每次编码都创建。

另一个有趣的地方是 FFmpeg 的许多清理函数都是传入 T** 而非 T* 的。在对应的变量被清理后，FFmpeg 会自动将其内容设置为 nullptr.

我们同样需要设置帧的大小信息，复用之前的视频信息配置即可：

frame->format = context->pix_fmt;
frame->width = context->width;
frame->height = context->height;

之后，即可分配帧所需要使用的缓冲区了：

err = av_frame_get_buffer(frame, 0);
if (err < 0) {
    spdlog::error("failed to allocate frame buffer: {}", err);
    avcodec_free_context(&context);
    av_frame_free(&frame);
    av_packet_free(&packet);
    return -7;
}

当然，我们会需要保存编码结果。目前我们先打开一个文件用于保存编码结果：

FILE *fp = fopen("output.h264", "wb");
// 错误处理从略

编码循环

接下来，我们将生成 300 帧（5 秒钟）的视频数据并编码。

for (int i = 0; i < 300; i++) {
    // 接下来标记为 in for-loop 的代码发生在这里
}

首先，和其他图形操作一样，我们需要先让帧缓冲区进入可写状态：

// in for-loop
err = av_frame_make_writable(frame);
if (err < 0) {
    spdlog::error("cannot make frame writable: {}", err);
    break;
}

之后，我们就可以操作帧缓冲区中的数据了。如果我们已经有生成好的图形数据，就是在这个步骤填入的。

YUV420 是一种平坦格式，即它的数据是按 YYYY...CbCbCbCb...CrCrCrCr... 的顺序存储的。相比而言，RGB888 则是一种交错格式，即它的数据是按 RGBRGBRGBRGB... 的顺序存储的。

我们在这里先生成一些测试用的数据：

// in for-loop
// Y 分量的数据
for (int y = 0; y < context->height; y++) {
    for (int x = 0; x < context->width; x++) {
        frame->data[0][y * frame->linesize[0] + x] = (x + y + i * 3) & 0xff;
    }
}

// CbCr 分量的数据
// 注意到 YUV420 中，色度数据量是明度数据量的一半
for (int y = 0; y < context->height / 2; y++) {
    for (int x = 0; x < context->width / 2; x++) {
        frame->data[1][y * frame->linesize[1] + x] = (128 + y + i * 2) & 0xff;
        frame->data[2][y * frame->linesize[2] + x] = (64 + x + i * 5) & 0xff;
    }
}

// 指定这个是第几帧
frame->pts = i;

完成帧数据的填充后，就可以提交到编码器进行编码了：

// in for-loop
err = avcodec_send_frame(context, frame);
if (err < 0) {
    spdlog::error("failed to send the frame to encoder: {}", err);
    break;
}

提交到编码器后，就可以从编码器中取出编码数据并写出文件：

// in for-loop
while (err >= 0) {
    err = avcodec_receive_packet(context, packet);
    if (err == AVERROR(EAGAIN) || err == AVERROR_EOF) {
        // 继续编码下一帧
        break;
    }

    if (err < 0) {
        spdlog::error("failed to get packet from encoder: {}", err);
        break;
    }

    fwrite(packet->data, 1, packet->size, fp);
    // 包数据操作完成，释放包内的数据引用
    av_packet_unref(packet);
}

结束编码

完成所有的视频信息编码后，我们还需要清理一下编码器的状态，并写出编码结尾：

err = avcodec_send_frame(context, nullptr);
if (err) {
    // 错误处理从略
}

while (err >= 0) {
    err = avcodec_receive_packet(context, packet);
    if (err == AVERROR(EAGAIN) || err == AVERROR_EOF) {
        // 继续编码下一帧
        break;
    }

    if (err < 0) {
        spdlog::error("failed to get packet from encoder: {}", err);
        break;
    }

    fwrite(packet->data, 1, packet->size, fp);
    // 包数据操作完成，释放包内的数据引用
    av_packet_unref(packet);
}

然后关闭文件和各个使用到的数据结构：

fclose(fp);
avcodec_free_context(&context);
av_frame_free(&frame);
av_packet_free(&packet);

成果展示……？

真是绕了好大一圈啊！但你可能发现，我们输出的文件名并不是 output.mp4, 而是 output.h264. 输出的文件似乎也没法直接双击播放。如果使用 file 命令查看文件类型的话，会发现它并不是我们熟悉的文件格式：

output.h264: JVT NAL sequence, H.264 video @ L 30

通过 ffplay 程序，我们还是可以把图像放出来的。执行 ffplay output.h264, 可以看到形似图 1 的画面：

图 1 output.h264

但是 ffplay 输出的是 25 帧，和我们指定的 60 帧并不一样。

要解决这个问题，我们需要将编码器的输出灌到一个视频容器中。

创建容器对象

在启动编码器之前，我们需要先准备好操作视频容器所需要的数据结构。

这里我们使用 Matroska 容器作为视频容器对象：

AVFormatContext* format = nullptr;
err = avformat_alloc_output_context2(&format, nullptr, "matroska", nullptr);
if (err < 0) {
    spdlog::error("failed to allocate output context: {}", err);
    // ...
    return -10;
}

一个视频容器中，各个组成部分的数据由对应的流表示。我们创建一个流用于承载视频流信息：

auto* stream = avformat_new_stream(format, nullptr);
if (!stream) {
    spdlog::error("failed to allocate stream");
    // ...
    return -11;
}

stream->id = static_cast<int>(format->nb_streams - 1);

有了视频容器和流之后，我们就可以先打开文件了：

err = avio_open(&format->pb, "output.mkv", AVIO_FLAG_WRITE);
if (err < 0) {
    spdlog::error("failed to open output file: {}", err);
    // ...
    return -12;
}

由于 Matroska 需要从编码器中读取数据，我们需要给编码器头设置 AV_CODEC_FLAG_GLOBAL_HEADER 以便元数据可可以取到：

context->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
err = avcodec_open2(context, codec, nullptr);
if (err < 0) {
    spdlog::error("failed to open the codec: {}", err);
    return -4;
}

启动编码器后，我们将编码器信息复制给流，以便它能正确地写出对应的元信息：

err = avcodec_parameters_from_context(stream->codecpar, context);
if (err < 0) {
    spdlog::error("failed to copy codec context: {}", err);
    return -13;
}

完成上述设置之后，即可先写出视频容器的头信息：

err = avformat_write_header(format, nullptr);
if (err < 0) {
    spdlog::error("failed to write header: {}", err);
    return -14;
}

在编码循环和结尾中，写文件操作现在由写流替换：

av_packet_rescale_ts(packet, context->time_base, stream->time_base);
packet->stream_index = stream->index;
av_interleaved_write_frame(format, packet);
av_packet_unref(packet);

结尾也要让视频容器写出尾部信息：

av_write_trailer(format);
avformat_flush(format);

并加入对应数据结构的清理：

avio_close(format->pb);
avformat_free_context(format);

完整的代码可以在这里获取。

成果展示！

这回生成的 output.mkv 文件终于是可以正常播放了：

图 2 output.mkv

更多的问题

你可能注意控制台会输出一行并不来自我们的警告：

[h264_videotoolbox @ 0x715010000] Color range not set for yuv420p. Using MPEG range.

以及，我们如果用程序生成图像的话，一般使用的是 RGB 格式；但现在写视频帧却需要使用 YUV420 格式。这个格式转换需要我们手动进行么？

今天已经烧够好多个三分钟了，这些问题之后再考虑吧！