C++音视频开发实战：FFmpeg 从入门到项目落地

在 C++ 音视频开发的道路上，FFmpeg 绝对是绕不开的一座大山。相信不少开发者都曾被 FFmpeg 的复杂 API 和晦涩的文档劝退过。本文将结合我的 10 年开发经验，深入剖析 FFmpeg 在 C++ 项目中的应用，并分享一些实战中的避坑经验，帮助你从入门到掌握 C++音视频开发：FFmpeg 从入门到实战。

问题场景重现：从直播推流到视频转码

假设我们有一个需求：需要搭建一个简单的直播平台，能够将摄像头采集到的视频流推送到服务器，并提供不同分辨率的视频流供用户观看。这其中就涉及到了以下几个关键环节：

• 视频采集： 从摄像头或其他视频源获取原始视频数据。
• 视频编码： 将原始视频数据编码成适合网络传输的格式，例如 H.264。
• 流媒体封装： 将编码后的视频数据封装成特定的流媒体格式，例如 RTMP 或 HLS。
• 视频转码： 将视频流转码成不同的分辨率或码率，以适应不同用户的网络环境。

而 FFmpeg 在这些环节中都可以发挥重要的作用，例如使用 libavdevice 进行视频采集，使用 libavcodec 进行视频编码和解码，使用 libavformat 进行流媒体封装和解封装，使用 libswscale 进行视频缩放。

FFmpeg 底层原理剖析：关键组件与工作流程

要真正理解 FFmpeg 的强大之处，需要对其内部的核心组件和工作流程有一个清晰的认识。FFmpeg 主要由以下几个核心库组成：

• libavformat： 负责音视频数据的封装和解封装，支持各种常见的容器格式，例如 MP4、FLV、TS 等。它类似于 Nginx 中的反向代理服务器，负责数据的路由和转发。
• libavcodec： 负责音视频数据的编码和解码，支持各种常见的编码格式，例如 H.264、H.265、AAC 等。它类似于 Nginx 中的压缩模块，负责数据的压缩和解压缩。
• libavdevice： 负责音视频设备的输入和输出，例如摄像头、麦克风等。它类似于 Nginx 中的 upstream 模块，负责与后端的设备进行通信。
• libavfilter： 负责音视频数据的滤镜处理，例如缩放、裁剪、旋转等。它类似于 Nginx 中的 Lua 脚本，可以对数据进行自定义的处理。
• libswscale： 负责视频图像的缩放和像素格式转换。它类似于 Nginx 中的 image_filter 模块，负责图像的处理。
• libswresample： 负责音频重采样和格式转换。它类似于 Nginx 中的 audio_filter 模块，负责音频的处理。

这些库协同工作，构成了一个强大的音视频处理框架。当我们使用 FFmpeg 进行视频转码时，其内部的工作流程大致如下：

1. 使用 libavformat 解封装输入文件，获取音视频流信息。
2. 使用 libavcodec 解码音视频流，得到原始的音视频数据。
3. 使用 libavfilter 对音视频数据进行滤镜处理。
4. 使用 libswscale 和 libswresample 对音视频数据进行缩放和重采样。
5. 使用 libavcodec 编码音视频数据，得到新的编码后的音视频流。
6. 使用 libavformat 封装音视频流，生成输出文件。

C++ 代码实战：使用 FFmpeg 进行视频转码

下面是一个简单的 C++ 代码示例，演示了如何使用 FFmpeg 进行视频转码：

#include <iostream>

extern "C" {
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libswscale/swscale.h>
}

int main(int argc, char *argv[]) {
  // 1. 注册所有组件
  av_register_all();

  // 2. 打开输入文件
  AVFormatContext *input_format_context = nullptr;
  if (avformat_open_input(&input_format_context, "input.mp4", nullptr, nullptr) < 0) {
    std::cerr << "Could not open input file" << std::endl;
    return -1;
  }

  // 3. 获取流信息
  if (avformat_find_stream_info(input_format_context, nullptr) < 0) {
    std::cerr << "Could not find stream information" << std::endl;
    return -1;
  }

  // 4. 查找视频流
  int video_stream_index = -1;
  for (int i = 0; i < input_format_context->nb_streams; i++) {
    if (input_format_context->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
      video_stream_index = i;
      break;
    }
  }

  if (video_stream_index == -1) {
    std::cerr << "Could not find video stream" << std::endl;
    return -1;
  }

  // ... (后续代码，包括解码、缩放、编码、封装等步骤) ...

  return 0;
}

这段代码只是一个简单的示例，实际的视频转码过程要复杂得多，需要处理各种错误情况，并进行更精细的参数调整。为了简化配置，可以使用宝塔面板搭配 Nginx，快速搭建一个流媒体服务器，方便进行测试和部署。

实战避坑经验总结：FFmpeg 开发的那些坑

在使用 FFmpeg 进行音视频开发的过程中，会遇到各种各样的坑。以下是一些常见的坑和对应的解决方法：

• 版本兼容性问题： FFmpeg 的 API 在不同的版本之间可能会有很大的差异，因此需要特别注意版本兼容性问题。建议使用稳定的 LTS 版本，并仔细阅读官方文档。
• 内存泄漏问题： FFmpeg 的 API 中有很多需要手动释放的资源，如果不小心忘记释放，就会导致内存泄漏。可以使用内存检测工具，例如 Valgrind，来检测内存泄漏。
• 多线程问题： 在多线程环境下使用 FFmpeg 时，需要特别注意线程安全问题。建议使用 FFmpeg 提供的线程安全 API，并避免在多个线程中同时访问同一个 AVFormatContext 或 AVCodecContext。
• 编译问题： FFmpeg 的编译过程比较复杂，需要安装各种依赖库。建议使用预编译的 FFmpeg 库，或者使用 Docker 来构建编译环境。

希望这些经验能够帮助你更好地使用 FFmpeg 进行 C++音视频开发，并避免一些常见的坑。