Mediatavio
YouTube转MP3价格博客隐私

视频工程

FFmpeg与WebCodecs:浏览器视频管道

支持设备的原生编解码器。这是其他一切的后备WebAssembly。

作者:Mediatavio工程

我们比较的是什么

本文比较了FFmpeg在浏览器中以单线程WebAssembly运行与浏览器的原生WebCodecs API。这并不是与桌面或服务器FFmpeg的比较,后者也可以使用硬件编码器。

Mediatavio在 视频转换器, 视频压缩器, 视频剪辑器, 视频裁剪器 以及兼容的导出 视频转音频.

技术差异

能力FFmpeg WebAssemblyWebCodecs 和Mediabunny
编解码器实现软件编解码器编译成WebAssembly原生浏览器编解码器;硬件加速(如有)支持
封装格式处理内置解复用器和复用器Mediabunny读取和写入容器;WebCodecs一个人不能
兼容性这取决于我们FFmpeg版本中包含的编解码器这取决于浏览器、操作系统、编解码器和配置
内存WebAssembly文件系统中的输入和输出文件Blob 支持的输入队列和有界编解码器队列;最终输出仍被缓冲
启动下载、验证并初始化WebAssembly引擎加载媒体库并初始化本地编解码器
部署标准浏览器WebAssembly和 Worker 支持HTTPS 或本地主机、Worker 及必备编解码器支持

暴露 VideoEncoder 的移动浏览器并不保证它能编码特定的 H.264 配置文件或分辨率。我们会验证实际转换,如果无法导出所需轨道,我们会退回。

测量结果

测量数据在一个测试环境中进行记录。它们只是示例,不是其他电脑、浏览器或手机的速度保证。

环境:Windows x64,VS Code集成Chromium 150.0.7871.250 / Electron 43.8.3,14个报告逻辑处理器。输入:12秒合成动画,640×360像素,30帧每秒,VP8,1,033,406字节,无音频。两个输出均使用WebM、VP8、源分辨率、30帧/秒,目标码率为394,264比特每秒。

以秒计导出墙钟时间。每个后端连续跑三次。
测量WebCodecsFFmpeg WebAssembly
第 1 次0.96873.0943
第 2 次0.73803.0453
第 3 次0.72483.0565
中位数0.73803.0565
输出大小,字节604,820601,282-608,611
输出时长12.00 秒12.00 秒

本次测试的中位速度比为4.14。原生定时包括创建新的工作者并生成输出缓冲区。FFmpeg时序包括将输入复制到文件系统、执行导出和读取输出缓冲区;同样的初始化发动机被重复使用。其单独测量的初始化过程从本地复制的32,232,419字节引擎中耗时1.0468秒。不包括互联网下载、账户请求和输入生成。

这是一个小型的合成视频基准测试,不是相机和画面质量的比较。原生编码器和WebAssembly编码器使用不同的速率控制实现;FFmpeg还会获得最大速率和缓冲区大小的设置。相似的文件大小并不能保证视觉质量相当。未进行PSNR、SSIM、VMAF、峰值存储或电池测量。

阅读原始基准数据。 复制剧本 生成输入并运行两条路径三次。需要配备原生支持VP8编码的设备。

const {runVideoBenchmark} = await import('/video-tools/benchmark.mjs');
const results = await runVideoBenchmark();
console.log(results);

集成测试浏览器根据产品政策禁用部分音频编解码器。这些时序测量使用视频,但没有音频轨道。真实设备音频兼容性和移动热行为需要单独测试。硬件加速尚未被独立验证。

备份机制

读取容器验证编解码器解码与变换编码与复用

WebCodecs运行在可解雇的工人中。我们在编码前裁剪、缩放并校正帧率,并将结果多路复用到请求的容器中。当没有要求精确裁剪时,兼容的音频可直接复制,无需重新编码。我们从不为了让原生导出成功而悄悄省略音轨。

如果解码、编码或多工不被支持或失败,则会尝试使用相同的用户设置进行原始FFmpeg导出。取消会终止当前工作者,防止过时结果变成下载。

我们的原生路由目前针对MP4、MOV、MKV和WebM视频导出,以及兼容的WAV、AAC、M4A和Ogg音频提取。AVI、WMV、OGV、3GP、MP3、FLAC及原始编码模式仍保留在FFmpeg路线上。可用性仍然取决于源编码和设备。

选择正确的路线

对于常见的视频文件,可以试试 视频转换器 或 视频压缩器.当设备支持该工作时,原生编解码器避免下载完整的WebAssembly引擎。用途 视频剪辑器 对于精确切割和 视频裁剪器 为了框架变更。

原始编码是一种不同的优化:复制数据包可以完全避免重新编码,但切割可能跟随附近的关键帧,且目标容器必须支持原始编码器。不应将其与完整转码进行比较,仿佛两者都完成了相同的工作。

导出时,尤其是在手机上,保持页面在前景。锁定手机或切换到某处可能会暂停处理。较低分辨率或较短的剪辑可以减轻任一路径的内存压力。

参考文献