AV1的实时模式

LiveVideoStack 2020年6月10日
视频回放:

https://www.livevideostack.cn/video/av1-real-time-mode/


1. 关于AV1


AV1编解码技术对视频质量有非常大的提高,尤其是在低码率和网络状态非常差的情况下,AV1编解码技术相对于VP9和H264编解码都有一个质的飞跃。
 
从图中明显可以看出,在码率为30kbps情况下,左图是AV1编解码技术处理效果,右图是Duo目前所使用的编解码技术的处理效果,对比质量差别很大。
在印度、巴西等一些发展中国家大多数人的网络接入情况较差,这些网络较差的地区正是谷歌最受欢迎的市场,所以Google Duo也在尽力提高低码率的视频质量,因此AV1技术对Duo来说有非常大的帮助。
关于AV1编码器的设定,图中最下端区域是可执行的命令行,一般使用该命令行测试手机或电脑上的速度,需要强调的设定有以下几点:
 
  • Profile必须设置为0;

  • Real-time的模式;

  • 在实时视频编解码时必须是1Pass

  • lag-in-frame必须设定0,目标码率必须恒定,若目标码率上下波动的起伏很大对网络的要求很高;

  • 最后比较重要的是速度设定必须大于等于6,目前我们有实时模式下6、7、8三个速度档,很多编码器的决策设定都需要根据CPU参数。

 
AV1的实时模式与VOD的区别有以下四点:
三个速度档:6、7、8。
 
  • 速度档6严格来讲与VP9的区别非常大,VP9的实时速度档使用的是Non-RD进行决策,因为RD ( rate-distortion)决策会很慢,但是在AV1中特意增加了速度档6,使用了RD(rate-distortion)优化来进行决策,因此速度档6的质量是最好的(速度越小质量越好)。

  • 速度档7、8使用Non-RD进行决策,Non-RD即使用其他算法进行快速决策。但是速度越快质量越差。

  • AV1对于720P以及更高清视频使用了最大128×128的区块,低分辨率视频使用64×64分区。如果视频分辨率太小使用128×128分区后,区块很少,会降低质量,但是对于高清视频来讲,使用128×128可以提高编码速度。分区使用Variance进行决策,在VP9中的基于方差分区 (Variance based partition)使用的是机器学习中的CNN训练模型,通过计算Variance与提前设定的阈值进行比较。

  • AV1中加入了SVC支持,并且在libaom的代码中放入了SVC示例,该SVC支持比VP9更加灵活。

  • AV1目前的SIMD优化还没有完全结束,实时编码速度在未来还有比较大的提升空间,暂时还未对一些函数进行优化,目前正在手机端进行NEON的优化。



    2. 测试成果


实时模式的优化主要是速度与质量的平衡。
 
手机端速度测试
 
首先进行了低码率50Kvps QVGA的测试,320×240及以下分辨率的速度6档可达到40-50帧每秒的传输速度,速度7档可达到150-190帧每秒,速度8可达到200-250帧每秒,均为单线程测试。
 
 
640×360或640×480的视频在500KbpsVGA进行测试,结果显示速度6档位的传输速度非常慢,速度7档可达到25-40帧每秒,速度8挡可达到40-60帧每秒的速度,同样均为单线程测试。
由于手机端诸多性能因素使用多线程测试数据不稳定,因此未进行大量多线程测试。
台式机的速度测试
 
台式机CPU参数如图中最下端所见,单线程测试,500Kbps VGA测试,速度档7可达到80-130帧每秒的传输速度,速度档8可达到120-265帧每秒的传输速度。

台式机上测试800Kbps HD的720P以上,单线程速度7挡的测试结果为35-45帧每秒,速度8的测试结果为40-70帧每秒,该速度较VP9差,因为AV1编码器的复杂程度较高,虽然速度较慢,但是视频质量高很多。


3. AV1编码器优势

如图为VP9与AV1区块划分的区别,VP9最大支持64×64区块,而AV1最大支持128×128区块。AV1中的区块存在边长比为1:4的长方形分块,这种情况很少见,在实时编码器不考虑搜索该区块,比VP9灵活很多。
AV1编码器的算法复杂度虽然高但是搜索空间大,视频质量提升很多。
 
在视频编码之前,首先对原视频进行分析,即原视频的SAD(绝对误差和)和variance(方差),使用这两个数据跳过一些模式的选择,例如在计算运动向量(motion vector)时需要搜索很多模式,使用SAD和varance两个数据与阈值比较,可以跳过运动向量的一些模式选择,另外在帧内编码时,帧内模式的一些搜索也可以通过这两个数据简化。
手机端对SAD(绝对误差和)和variance(方差)的计算进行了优化,因此运算速度很快。
 
VP9只支持固定256像素宽度的块,当出现分辨率较小的帧例如640×480等,最多只能使用两个区块做并行。但是AV1在这方面很灵活,720P分辨率以上的最大区块单元是128个像素宽度,720P以下为64像素宽度,因此可以根据情况灵活增加区块,以进行多线程操作。同时,AV1与VP9都支持多行并行处理。另外AV1的解码器可以只解码特定区域,例如某一个区块为64像素宽度,可以要求解码器解码其中某一部分,这样当用户对视频的某一部分感兴趣时就可以只解码该部分。
图中最下边的文献是对AV1编码工具的综述,文中指出720P分辨率使用4个线程且进行4块区分,有3倍的速度提升。
当实时视频的前后两帧的变化很大时,码率会突然升高,帧的尺寸会突然变化很大,对网络是很大的压力,导致视频质量突然变差,因此AV1编码器会每隔一个最大区块计算时域SAD与前一帧作比较,若该时域SAD非常高,编码器即认为发生很大变化,就使用更高的QP,缩小该帧的尺寸,以降低网络压力。
 
AV1编码器会通过计算时域的方差简化模式选择。
 


SVC的AV1设定(比VP9直观很多):其中有三个变量:参考帧(设定不同分辨率的参考帧位置)、当前帧刷新哪一个缓存、模式设定,AV1的设定直接将所有的控制权交给用户,用户需要哪种模式即可设置哪种模式。

 

4. AV1编码器的未来


目前AV1正在开发WebRTC支持,很快会推出。
 
由于AV1编码器的复杂度远远高于VP9,因此在产品中较大的缺点是编码之后的尺寸是VP9的几倍,进行很多优化之后,例如去掉一些用不到的工具等,使编码后尺寸下降30%。
还可输入800
全部评论
作者介绍

姜健

Google

软件工程师

文章

粉丝

视频

相关文章
阅读排行
  • 2周
  • 4周
  • 16周
热门视频

Monibuca的架构演进

李宇翔/Web端实时音视频SDK开发