我们比较的是什么
本文比较了FFmpeg在浏览器中以单线程WebAssembly运行与浏览器的原生WebCodecs API。这并不是与桌面或服务器FFmpeg的比较,后者也可以使用硬件编码器。
技术差异
| 能力 | FFmpeg WebAssembly | WebCodecs 和Mediabunny |
|---|---|---|
| 编解码器实现 | 软件编解码器编译成WebAssembly | 原生浏览器编解码器;硬件加速(如有)支持 |
| 封装格式处理 | 内置解复用器和复用器 | Mediabunny读取和写入容器;WebCodecs一个人不能 |
| 兼容性 | 这取决于我们FFmpeg版本中包含的编解码器 | 这取决于浏览器、操作系统、编解码器和配置 |
| 内存 | WebAssembly文件系统中的输入和输出文件 | Blob 支持的输入队列和有界编解码器队列;最终输出仍被缓冲 |
| 启动 | 下载、验证并初始化WebAssembly引擎 | 加载媒体库并初始化本地编解码器 |
| 部署 | 标准浏览器WebAssembly和 Worker 支持 | HTTPS 或本地主机、Worker 及必备编解码器支持 |
暴露 VideoEncoder 的移动浏览器并不保证它能编码特定的 H.264 配置文件或分辨率。我们会验证实际转换,如果无法导出所需轨道,我们会退回。
测量结果
测量数据在一个测试环境中进行记录。它们只是示例,不是其他电脑、浏览器或手机的速度保证。
环境:Windows x64,VS Code集成Chromium 150.0.7871.250 / Electron 43.8.3,14个报告逻辑处理器。输入:12秒合成动画,640×360像素,30帧每秒,VP8,1,033,406字节,无音频。两个输出均使用WebM、VP8、源分辨率、30帧/秒,目标码率为394,264比特每秒。
| 测量 | WebCodecs | FFmpeg WebAssembly |
|---|---|---|
| 第 1 次 | 0.9687 | 3.0943 |
| 第 2 次 | 0.7380 | 3.0453 |
| 第 3 次 | 0.7248 | 3.0565 |
| 中位数 | 0.7380 | 3.0565 |
| 输出大小,字节 | 604,820 | 601,282-608,611 |
| 输出时长 | 12.00 秒 | 12.00 秒 |
本次测试的中位速度比为4.14。原生定时包括创建新的工作者并生成输出缓冲区。FFmpeg时序包括将输入复制到文件系统、执行导出和读取输出缓冲区;同样的初始化发动机被重复使用。其单独测量的初始化过程从本地复制的32,232,419字节引擎中耗时1.0468秒。不包括互联网下载、账户请求和输入生成。
这是一个小型的合成视频基准测试,不是相机和画面质量的比较。原生编码器和WebAssembly编码器使用不同的速率控制实现;FFmpeg还会获得最大速率和缓冲区大小的设置。相似的文件大小并不能保证视觉质量相当。未进行PSNR、SSIM、VMAF、峰值存储或电池测量。
阅读原始基准数据。 复制剧本 生成输入并运行两条路径三次。需要配备原生支持VP8编码的设备。
const {runVideoBenchmark} = await import('/video-tools/benchmark.mjs');
const results = await runVideoBenchmark();
console.log(results);
集成测试浏览器根据产品政策禁用部分音频编解码器。这些时序测量使用视频,但没有音频轨道。真实设备音频兼容性和移动热行为需要单独测试。硬件加速尚未被独立验证。
备份机制
WebCodecs运行在可解雇的工人中。我们在编码前裁剪、缩放并校正帧率,并将结果多路复用到请求的容器中。当没有要求精确裁剪时,兼容的音频可直接复制,无需重新编码。我们从不为了让原生导出成功而悄悄省略音轨。
如果解码、编码或多工不被支持或失败,则会尝试使用相同的用户设置进行原始FFmpeg导出。取消会终止当前工作者,防止过时结果变成下载。
我们的原生路由目前针对MP4、MOV、MKV和WebM视频导出,以及兼容的WAV、AAC、M4A和Ogg音频提取。AVI、WMV、OGV、3GP、MP3、FLAC及原始编码模式仍保留在FFmpeg路线上。可用性仍然取决于源编码和设备。
选择正确的路线
对于常见的视频文件,可以试试 视频转换器 或 视频压缩器.当设备支持该工作时,原生编解码器避免下载完整的WebAssembly引擎。用途 视频剪辑器 对于精确切割和 视频裁剪器 为了框架变更。
原始编码是一种不同的优化:复制数据包可以完全避免重新编码,但切割可能跟随附近的关键帧,且目标容器必须支持原始编码器。不应将其与完整转码进行比较,仿佛两者都完成了相同的工作。
导出时,尤其是在手机上,保持页面在前景。锁定手机或切换到某处可能会暂停处理。较低分辨率或较短的剪辑可以减轻任一路径的内存压力。