编者按：本文来自 Zoe Liu 对 OTTVerse 的投稿，详解 2023 年及未来的全球视频编码领域的趋势。感谢 Zoe Liu 对中文版的审校。

原文 https://ottverse.com/video-software-encoding-2023-state-of-the-art-trends/

文 / Zoe Liu

译 / 核子可乐

在这篇评论文章中，微帧科技 (Visionular) 公司联合创始人兼 CTO Zoe Liu 分享了她对于 2023 年及之后编码领域的发展态势预测，具体包括低能耗视频转码、HEVC 与 AV1 的发展前景、实时转码、AI 在转码中的作用等议题。

高能效视频转码

预计在 2023 年，HEVC/H.265 等软件编码解决方案的能效优化将成为新的关注重点。

除了传统的 BD-Rate 性能标准（主要侧重于以较低码率提供更高视觉质量）之外，“能效” 指标在软件转码技术选型中的意义也将愈发凸显。

这主要归结于以下两类视频内容的快速增长：

• UGC（用户生成内容）；

• PUGC（专业 UGC），例如 Vimeo 平台托管的视频内容。

印度社交平台 ShareChat 公布的数据显示，该平台每月内容上传量已达惊人的 7500 万次！

如此庞大的视频上传量，必然带来更高的转码成本（对应算力资源与能耗）。因此，能效的提升有望显著降低计算成本，同时仍保持良好的转码效率。

可行方案之一是升级到新一代标准下的编解码器。然而，新一代视频编码标准采用了比上一代更复杂的编码算法，反而拉低了转码的能效。

于是我们再次陷入经典的两难取舍：

• 如果新的编解码器能效不高，那视频解决方案供应商就不会轻易使用。

• 但如果供应商继续使用旧有标准的编解码器，就会错失最新编码工具及算法带来的可能收益，而继续消耗高昂的网络带宽成本，尤其对于 UGC 及 PUGC 这样巨大体量的视频场景，将产生巨额分发成本。

面对市场需求，新的编码工具需要考虑能效优化，力求在以下多个编码器优化指标之间获取理想的平衡点：

• 视觉质量

• 码率消耗

• CPU 使用率

• 编码速度

• 处理延迟

H.264/AVC 仍主导 HEVC 和 AV1 将继续增长

H.264/AVC

如今，H.264/AVC 继续获取各类平台的一致支持，因此我们预计在新的一年，H.264/AVC 将继续占据主导地位，不过它的市场份额应该也会呈现萎缩趋势。

H.265/HEVC

我们预计 H.265/HEVC 的部署将呈现持续增长态势，尤其是应对 HDR 及 UHD（2K/4K/8K）视频的应用场景。

近年来，我们观察到了 HEVC/H.265 在全球范围内的迅猛增长。对于底层部署有 HEVC 硬件解码的设备，最近 Chrome 浏览器又悄悄全面打开了对 HEVC 播放的支持 [1]，进一步加速了这种增长态势。

我们收到市场明确反馈，一部分云体育分析及流媒体平台，清晰看到了将 HEVC 推广到全用户、全平台的巨大潜力。采用新版 Chrome 浏览器，这些平台超过 65% 的用户群体，不做任何设备更新，都将可以在 Chrome 中观看 HEVC 视频流。

AV1

我们预计 AV1 的部署也将呈现增长。AV1 是由 AOMedia – 开放媒体联盟推出的开源、免版税的视频编码标准。

到目前为止，YouTube、Vimeo（俩家全球头部视频共享平台）、Meta/Facebook（全球最大社交媒体平台）和 Netflix（领先的流媒体平台）都已推出了 AV1 格式的视频内容。

最近，高通也宣布将从第二代骁龙 8 芯片起支持 AV1 的硬件解码，考虑高通骁龙芯片在安卓手机中举足轻重的地位，可以想见 AV1 的市场份额有望进一步扩大。

我们预计苹果将在 2023 年，会将宣布对 AV1 在其 iOS/MacOS/Safari 中的全生态支持。在苹果已发布的 AVFoundation 框架代码中，已包含有支持 AV1 的最新 API 选项。

AV1 在 RTC（实时通信）中的应用

RTC 对于延迟有着非常严苛的要求，而 AV1 则提供一系列能够有效压缩屏幕内容的特殊编码工具。从供需两方面来看，AV1 在屏幕内容编码（SCC）领域将大有可为。

处于领先位置的 RTC 平台 Webex，已将 AV1 格式引入生产环境。Webex 还与 NASA 以及一些其他科技机构合作，将 AV1 实时视频编码应用于 Artemis I 登月任务，实现在地球与月球之间极低带宽下的高质量视频通话。

其他编解码器

2023 年，其他编解码器在市场上仍可占据一片天地。我们预计除 H.264、HEVC、AV1、VP8/VP9、AVS2/AVS3 之外，EVC 和 VVC 等其他一些编码标准解决方案，将在市场中同时共存。

除 RTC 外，流媒体点、直播应用，也将对低延迟、高并发、高处理速度的编码方案，提出更多的需求。

这些指标也将成为 2023 年各编码器的主攻方向。

架构支持：x86、ARM 与 M1

我们认为软件与硬件编解码器方案将继续共存，凭借各自优势应用于不同的使用场景。一般来说，软件编解码器能提供更好的编码效率，即：在实现更佳视觉质量的同时将码率压得更低（节约传输带宽）。

另外，软件编解码器也更加灵活，可以在多种平台和设备上灵活部署。

软件编解码器需要考虑同时支持 x86 和 ARM 架构。随着苹果 M1 设备、边缘计算、移动设备和 ARM 架构服务器的广泛采用，对 ARM 处理器的支持需求将同步激增。

ARM 处理器（例如 Amazon EC2 提供的 AWS Graviton 处理器）的功耗和定价，明显优于 x86 架构的同类处理器。

我们初步评估，Graviton 2 ARM 处理器的性能可能比 x86 同类处理器低 30%，但明显具备价格优势。

新一代编解码器和改进方向

预计新一代视频编码标准将继续发展，具体包括：

• 由 AOMedia 开发的 AV2，将提供超越 AV1 的新的编码工具。

• 通过 ITU-T 和 MPEG 之间的协同努力，新开发的编码工具已经在增强压缩模型（ECM）中体现出了对 VVC 在压缩性能上的显著超越。

• 对 AI 在视频编解码器中应用的进一步探索，打破传统 2D 变换 + 运动补偿框架的约束。

除了转码之外，新技术还有望将视频处理和编码更加有效的结合起来。举例来讲，采用超分辨率技术实现更加有效的视频传输，已在工业界获取了更多认可。

Per-title ABR 技术，仍持续它的领先地位，继续支持多种网络条件下的多分辨率、多码率视频的共享和分发。

AI 在转码中的应用

我们与全球多所大学合作，共同撰写了题为《基于深度神经网络的视频压缩系统研究进展：综述与案例研究》（Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies）的论文，已发表在 2021 年 9 月的《PROCEEDINGS OF THE IEEE》期刊论文集中。这也是最早的在此期刊中发表的关于 AI 技术在视频转码中应用的综述性论文之一。

另外值得一提的是，2023 年的 WACV（IEEE/CVF 计算机视觉应用冬季大会，IEEE/CVF Winter Conference on Applications of Computer Vision）将最佳算法论文奖，授予了一篇探讨 AI 在转码中应用的论文 [2]。

AI 确实展示出了广阔的应用前景，但仍须持续研发行之有效的实现方法，才能最终在视频编解码真实场景中落地。

参考文献 

[1] Dandan Ding, Zhan Ma, Di Chen, Qingshuang Chen, Zoe Liu 及 Fengqing Zhu, 《基于深度神经网络的视频压缩系统研究进展：综述与案例研究》，“Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies,” IEEE 论文集第 109 期第 9 篇，2021 年 9 月，第 1494 至 1520 页。[arXiv.org Online]

[2] Zhihao Duan, Ming Lu, Zhan Ma 及 Fengqing Zhu, 《使用量化分层 VAE 进行有损图像压缩》，“Lossy Image Compression with Quantized Hierarchical VAEs”。[WACV 2023 获奖论文] [arxiv.org online link]