Android MediaCodec 简明教程（五）：使用 MediaCodec 编码 ByteBuffer 数据，并保存为 MP4 文件

2024-06-04 2089阅读

系列文章目录

  1. Android MediaCodec 简明教程（一）：使用 MediaCodecList 查询 Codec 信息，并创建 MediaCodec 编解码器
  2. Android MediaCodec 简明教程（二）：使用 MediaCodecInfo.CodecCapabilities 查询 Codec 支持的宽高，颜色空间等能力
  3. Android MediaCodec 简明教程（三）：详解如何在同步与异步模式下，使用MediaCodec将视频解码到ByteBuffers，并在ImageView上展示
  4. Android MediaCodec 简明教程（四）：使用 MediaCodec 将视频解码到 Surface，并使用 SurfaceView 播放视频

文章目录

  • 系列文章目录
  • 前言
  • 编码流程概述
  • MediaCodec 异步模式编码
    • 创建编码器
    • 设置编码回调
    • 编码器 Configure
    • 创建 Muxer
    • 开始编码的工作
    • 循环地编码视频帧
    • 等待编码结束，释放资源
    • 总结
    • 参考

      前言

      前面我们了解了 MediaCodec 解码的具体使用流程，包括异步和同步模式、解码到 ByteBuffers 或者 Surface。本章开始，我们将开始学习如何使用 MediaCodec 进行编码。

      与解码类似，MediaCodec 编码的输入支持 ByteBuffer 或者 Surface。 遵循循序渐进的原则，我们从最简单的一种情况开始讲起：MediaCodec 编码过程中，输入的图像数据存放在 ByteBuffer 中。

      编码流程概述

      首先，我们需要创建对应的 MediaCodec 编码器，并进行正确的 configure。这一步中，你要考虑一些编码的参数，包括视频的分辨率、帧率、比特率、color format 等。其中 color format 非常重要，它描述了送给编码器的数据是如何排列的，编码器根据这个属性来读取数据。

      接着，为了将编码后的数据保存为 MP4 文件，我们创建 MediaMuxer 来进行封装的工作。

      当 MediaCodec 编码器和 MediaMuxer 准备好后，就能够开始编码了：将视频数据送给 Codec，Codec 将编码后的数据吐给 MediaMuxer，Muxer 将这些压缩后的数据写入本地文件。一切都很简单。

      接下来我将对具体的代码进行说明，本文完整代码你可以在 EncodeUsingBuffersActivity 找到，该代码使用异步模式进行编码，异步模式更加简洁，我更喜欢这种模式。如果你想看同步模式是如何实现的，可以参考 CTS - EncodeDecodeTest 中的 doEncodeDecodeVideoFromBuffer 函数。

      MediaCodec 异步模式编码

      创建编码器

      val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC
val format = MediaFormat.createVideoFormat(mimeType, videoWidth, videoHeight)
val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)
val encodeCodecName = codecList.findEncoderForFormat(format)
val encoder = MediaCodec.createByCodecName(encodeCodecName)
      1. val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC：定义了一个字符串常量mimeType，其值为MediaFormat.MIMETYPE_VIDEO_AVC，表示我们将使用的是AVC（即H.264）编码格式。
      2. val format = MediaFormat.createVideoFormat(mimeType, videoWidth, videoHeight)：创建一个MediaFormat对象，该对象描述了我们想要的视频格式，包括编码格式、视频宽度和高度。
      3. val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)：获取系统中所有常规（非硬件加速）的编解码器列表。
      4. val encodeCodecName = codecList.findEncoderForFormat(format)：在编解码器列表中查找能够处理我们指定格式的编码器。
      5. val encoder = MediaCodec.createByCodecName(encodeCodecName)：通过编码器的名称创建一个MediaCodec对象，这个对象就是我们的视频编码器。

      当然，也可以更简单：

      val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC
val encoder = MediaCodec.createEncoderByType(encodeCodecName)

      设置编码回调

      encoder.setCallback(object: MediaCodec.Callback(){
    override fun onInputBufferAvailable(codec: MediaCodec, index: Int) {
        //
    }
    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        //
    }
    override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    	//
    }
    override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    	//
    }
})

      MediaCodec类中的setCallback()方法用于设置一个回调接口，这个接口将在编解码操作的各个阶段被调用。这个方法接收一个MediaCodec.Callback对象作为参数。

      MediaCodec.Callback是一个抽象类，它定义了四个方法：

      1. onInputBufferAvailable(MediaCodec codec, int index)：当输入缓冲区可用时，此方法被调用。参数index指示了哪个输入缓冲区已经变得可用。

      2. onOutputBufferAvailable(MediaCodec codec, int index, MediaCodec.BufferInfo info)：当输出缓冲区可用时，此方法被调用。参数index指示了哪个输出缓冲区已经变得可用，info包含了关于这个缓冲区的元数据，如其包含的数据的大小，时间戳等。

      3. onError(MediaCodec codec, MediaCodec.CodecException e)：当编解码器发生错误时，此方法被调用。参数e是一个MediaCodec.CodecException对象，包含了关于错误的详细信息。

      4. onOutputFormatChanged(MediaCodec codec, MediaFormat format)：当输出格式发生变化时，此方法被调用。参数format是一个MediaFormat对象，包含了新的输出格式。

      回调中的代码是我们具体的编码逻辑，这个放后面详细讲。

      编码器 Configure

      val colorFormat = MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible
assert(encoder.codecInfo.getCapabilitiesForType(mimeType).colorFormats.contains(colorFormat))
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, colorFormat)
format.setInteger(MediaFormat.KEY_BIT_RATE, videoBitrate)
format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE)
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL)
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
      1. colorFormat 选择 COLOR_FormatYUV420Flexible 这是一种最常用的像素格式。
      2. 接下来这行代码是一个断言，它检查编码器是否支持上面定义的颜色格式。为了确保我们 Demo 的简洁，我假定你的机器是一定支持 COLOR_FormatYUV420Flexible 的，否则我需要写额外的代码来兼容，这会使得代码变得负责。
      3. 接着，设置了颜色格式、比特率、帧率等重要的编码信息。
      4. 最后调用 configure 函数，这行代码用上面设置的参数来配置编码器，最后一个参数指定了这是一个编码器，而不是解码器。

      创建 Muxer

      val outputDir = externalCacheDir
val outputName = "test.mp4"
val outputFile = File(outputDir, outputName)
muxer = MediaMuxer(outputFile.absolutePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)

      开始编码的工作

      现在我们有 encoder 和 muxer 组件，要开始编码视频的任务，需要启动这两个组件，但两者启动时机有差别。

      首先，我们先启动 encoder

      encoder.start()

      那么 muxer 何时启动呢？在启动 muxer 之前我们需要明确知道 output format 的信息。

      在使用MediaCodec进行编码时，onOutputFormatChanged 方法会在开始编码后首次调用。这是因为在开始编码后，MediaCodec 会根据你设置的参数（如分辨率、比特率等）来确定最终的输出格式。一旦输出格式确定，就会触发onOutputFormatChanged方法。

      这个方法的调用表示编码器的输出格式已经准备好，你可以获取到这个新的输出格式，并用它来配置你的MediaMuxer。这是必要的，因为MediaMuxer需要知道它正在混合的音频和视频的具体格式。

      基于上述原因，在异步模式下我们可以在 onOutputFormatChanged 回调函数中启动 muxer：

      override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    videoTrackIndex = muxer.addTrack(format)
    muxer.start()
}

      循环地编码视频帧

      让我们来看回调函数中的具体逻辑，这些逻辑表明了我们是如何进行编码的

      override fun onInputBufferAvailable(codec: MediaCodec, index: Int) {
    val pts = computePresentationTime(generateIndex)
    // input eos
    if(generateIndex == NUM_FRAMES)
    {
        codec.queueInputBuffer(index, 0, 0, pts, MediaCodec.BUFFER_FLAG_END_OF_STREAM)
    }else
    {
        val frameData = ByteArray(videoWidth * videoHeight * 3 / 2)
        generateFrame(generateIndex, codec.inputFormat.getInteger(MediaFormat.KEY_COLOR_FORMAT), frameData)
        val inputBuffer = codec.getInputBuffer(index)
        inputBuffer.put(frameData)
        codec.queueInputBuffer(index, 0, frameData.size, pts, 0)
        generateIndex++
    }
}
override fun onOutputBufferAvailable(
    codec: MediaCodec,
    index: Int,
    info: MediaCodec.BufferInfo
) {
    // output eos
    val isDone = (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0
    if(isDone)
    {
        outputEnd.set(true)
        info.size = 0
    }
    if(info.size > 0){
        val encodedData = codec.getOutputBuffer(index)
        muxer.writeSampleData(videoTrackIndex, encodedData!!, info)
        codec.releaseOutputBuffer(index, false)
    }
}
override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    e.printStackTrace()
}
override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    //...
}

      首先看 onInputBufferAvailable 回调：

      1. val pts = computePresentationTime(generateIndex)：这行代码计算了当前帧的显示时间，通常是根据帧率和当前帧的索引来计算的。
      2. if(generateIndex == NUM_FRAMES)：这行代码检查是否已经处理完所有的帧。如果是，那么就需要向编码器发送一个表示输入结束的标志。
      3. codec.queueInputBuffer(index, 0, 0, pts, MediaCodec.BUFFER_FLAG_END_OF_STREAM)：这行代码向编码器的输入队列中添加一个空的缓冲区，并设置了一个表示输入结束的标志。这告诉编码器不会有更多的数据输入了。
      4. val frameData = ByteArray(videoWidth * videoHeight * 3 / 2)：这行代码创建了一个字节数组，用于存储一帧的数据。这里假设的是YUV420格式的数据，所以大小是宽度乘以高度的1.5倍。
      5. generateFrame(generateIndex, codec.inputFormat.getInteger(MediaFormat.KEY_COLOR_FORMAT), frameData)：这行代码生成了一帧的数据。
      6. val inputBuffer = codec.getInputBuffer(index)：这行代码获取了编码器的一个输入缓冲区。
      7. inputBuffer.put(frameData)：这行代码将生成的帧数据放入输入缓冲区。
      8. codec.queueInputBuffer(index, 0, frameData.size, pts, 0)：这行代码将填充了数据的输入缓冲区添加到编码器的输入队列中。
      9. generateIndex++：这行代码将帧的索引加一，准备处理下一帧的数据。

      需要说明的是，我们使用 generateFrame 来生成 YUV 数据，而不是从某个图片或者视频读取，这是为了示例代码更简单。这部分代码参考了 CTS - EncodeDecodeTest 中的代码。生成的视频如下：

      Android MediaCodec 简明教程（五）：使用 编码 ByteBuffer 数据，并保存为 MP4 文件 第1张

      onOutputBufferAvailable 回调逻辑：

      11. val isDone = (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0：这行代码检查编码器是否已经处理完所有的输入数据并生成了所有的输出数据。如果是，那么isDone会被设置为true。

      12. if(isDone) {…}：这个if语句检查是否已经完成了所有的编码工作。如果是，那么就设置outputEnd为true，表示输出结束，并将info.size设置为0，表示没有更多的输出数据。

      13. if(info.size > 0){…}：这个if语句检查是否有输出数据。如果有，那么就处理这些数据。

      14. val encodedData = codec.getOutputBuffer(index)：这行代码获取了编码器的一个输出缓冲区，这个缓冲区包含了编码后的数据。

      15. muxer.writeSampleData(videoTrackIndex, encodedData!!, info)：这行代码将编码后的数据写入到媒体混合器中。这里的videoTrackIndex是视频轨道的索引，encodedData是编码后的数据，info包含了这些数据的元信息，如显示时间、大小等。

      16. codec.releaseOutputBuffer(index, false)：这行代码释放了编码器的输出缓冲区，让编码器可以继续使用这个缓冲区来存储新的输出数据。这里的false表示不需要将这个缓冲区的数据显示出来，因为我们是在编码数据，而不是播放数据。

      等待编码结束，释放资源

      while (!outputEnd.get())
{
    Thread.sleep(10)
}
encoder.stop()
muxer.stop()
encoder.release()
      1. 在编码线程中，我们等等编码结束，outputEnd 是退出的标志位
      2. 停止 encoder 和 muxer，接着调用 release 方法释放 encoder 资源

      总结

      本文介绍 MediaCodec 使用异步模式编码的各种细节，并提供了完整的示例代码，在示例中我们生成 YUV 数据，并配合 MediaMuxer 将编码后的数据保存到本地 MP4 文件。

      参考

      • EncodeUsingBuffersActivity
      • CTS - EncodeDecodeTest

相关阅读：

1、在 Linux 中，可以使用 ls、du 或 stat 命令查看文件大小，并以 MB（M）为单位显示。以下是具体方法，如何在 Linux 中快速查看文件大小并以 MB 为单位显示？，如何在 Linux 中一键查看文件大小并以 MB 显示？

2、Oracle VPS区域迁移详解，轻松换区，无忧操作指南

3、VPS使用指南与优势解析，注册亚马逊卖家的必备之选

4、揭秘VPS盗抢险费用，如何保障数据安全，让你的信息无忧！

5、免费VPS使用秘籍，轻松获取优质虚拟私人服务器，助力你的在线生活！

    高速稳定云服务器25元起
    免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理! 图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库和百度，360，搜狗等多加搜索引擎自动关键词搜索配图，如有侵权的图片，请第一时间联系我们，邮箱：ciyunidc@ciyunshuju.com。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!

    相关阅读

    目录[+]