从音视频行业的整体产业链来看,随着疫情的发展,越来越多的线上应用将音视频作为常态工具或标准配置。
下面我将分别从不同的场景分享一些应用和技术的发展趋势。
在疫情发展最初的一周内,根据用户迫切的需求,腾讯课堂临危受命,快速上线极速版。其核心能力是基于音视频的实时通讯以及大房间直播的应用。在上线的过程中,我们发现很多音视频领域的新能力得到了广泛应用,例如腾讯云的超低延时直播—— 快直播产品,它可以帮助腾讯课堂在短时间内极速扩容,以支持百万级师生同时在线的低延时课堂需求。
未来随着直播技术的发展,将会出现越来越多低延时交互场景的需求,WebRTC有可能成为新一代低延时直播的标准。
以上三种方案未来可以根据不同的需求选择对应的解决方案。
腾讯课堂“极速版”应用到快直播架构,受到很多学生和老师的喜爱,作为主推线路使用。据反馈,腾讯课堂在使用过程中的平均延时在500毫秒左右,因此在疫情期间,快直播用量得到了百倍增长,产品依赖智能选路的调度系统,实现了高稳定性和高容灾能力的低延时直播系统需求。
在疫情期间,视频会议得到了很大的发展,传统的视频会议已经满足不了广大用户的接入需求,有很多基于互联网应用的新型轻量级的视频会议纷纷出现并迎来很大用户增长。
正是基于腾讯云多年在音视频技术方面的积累,才能在短时间内推出这款高品质产品。目前腾讯会议的国际版—VooV Meeting已经在全球100多个国家和地区上线,架起了中国企业与外国企业之间沟通的桥梁。
对于腾讯会议隐藏的底层技术优化,在很多音频、视频的处理方面都优化到了极致。
音频是视频会议最重要的组成,也是最核心优化的点,相比于PSTN的音质,腾讯会议无论从音质或是去噪部分,都应用了黑科技元素,这使得腾讯会议的音频质量有很大的提升。同时,腾讯云将算法压缩到最小,以便在客户端完成部署。
在降噪方面,针对不同场景进行不同噪声消除,同时结合了深度学习算法和传统信号处理的算法,将PESQ提升0.3-0.5,STOI提升0.1-0.2,在特定场景下降噪能力得到了很大的提升。
关于视频会议下的弱网问题,除了传统处理方式之外,腾讯会议还对音频进行了更多的优化,使用带内FEC+PLC的丢包恢复技术,在弱网情况下,音频部分得到了较大提升,在视频卡顿的情况下可以做到在音频丢包80%的情况下,语音依然自然流畅。同时应用SVC技术,视频端质量可以适配不同网络的终端,让不同能力的终端可以享受到能力上限的体验感受。
除了局部技术的优化之外,腾讯会议还有很多配套的质量监控手段,端到端的全链路监控运营工具可以帮助用户在平常处理较常见的异常情况,通过异常反馈不断优化接入点或调度的能力,快速提升产品质量。
微信小程序是腾讯会议较为亮点的入口工具,腾讯会议的传播和入口体验都较为加分,目前在微信小程序中可以使用live-pusher或live-player标签调用RTC的mod,即可在微信小程序中实现准RTC服务,腾讯会议同样应用了该能力,通过小程序让用户更方便的接入。除此以外,小程序因为混流性能原因无法实现本地更多方的音频和视频的接入,腾讯会议通过云端MCU和混音引擎把音频与视频在云端进行混合处理再推送到小程序,使得性能与网络带宽都得到很大提升,从而保证小程序入会体验达到普通终端要求。
腾讯云实时音视频通信产品在疫情期间得到了很大发展,例如腾讯会议,在一周内完成紧急扩容100万核的巨量扩容体系,最高峰突破1000万PCU,日通话分钟数突破30亿。
疫情期间有很多视频创作者以及直播工作者无法正常线下办公,由于腾讯云丰厚的前期技术积累,这些技术在腾讯云的云导播台、云剪辑等都得到了很广泛的应用。
由于复课需求,很多在线教育机构需要将优质课程资源分发给各大视频平台,通过腾讯云导播项目可以解决优质资源快速分发等问题。可以在云导播平台实现音视频轨道的切换、特效叠加等效果,未来也会向智能化和多人协同的方向发展。
除此之外,腾讯云还推出了云剪服务,在疫情期间这项服务也得到广泛应用,可实现轻量化的Web在线编辑,可以实现较为初级的处理能力,未来也会增加更加智能化和多人协作能力。
另外云剪也支持公有云Paas方案,目前与虎牙的合作,提供了内嵌的腾讯云剪编辑器到虎牙主播助手中,支持主播在直播结束后可以快速编辑视频进一步分发。
由于疫情的原因,越来越多的网红大V开始接触直播带货,同时越来越多的线下电商平台以及微信内小型电商平台都开始将直播作为基础功能,搬进其应用中。
腾讯提供的小程序云直播插件在疫情期间得到了非常广泛的应用,可以支持目前微信生态中很多电商的小程序,可以使用小程序插件的方式集成直播功能,进一步结合IM能力,即可快速构建小程序直播应用,实现完整的电商带货能力。
4.3 腾讯视频云小程序直播插件
据统计,小程序电商直播方案相较于普通APP,可以带来2倍以上的转化率提升,用户的流量和使用频率都更大,活跃用户次日留存率提升将近35%,在小程序中以轻量化方式构建直播带货,下单速度可以提升将近2.28倍。
沉浸式多媒体技术在疫情期间迎来了在线营销的新机遇,疫情期间无法实现车、房等大件的线下购物,因此腾讯云利用沉浸式多媒体技术将其搬到了线上。
线上汽车销售场景,全景车内和3D外观演示,再叠加图文介绍和实时音视频通信,实现真人在线销售。
基于腾讯云强大的音视频及通讯能力,快速接入沉浸式代看、沉浸式客服坐席、沉浸式视频讲解、沉浸式实时通讯等营销能力,可以快速实现相应功能。
腾讯云和腾讯多媒体实验室也做了很多技术储备和研究,点云涉及海量数据及计算问题,例如大量点的集合、6DOF数据和静、动态的千万级的数据量,如何利用这些数据实现高维数据生成、三维场景重建以及相关数据的存储和管理等,都是我们主要的技术课题。
疫情期间,用户都是居家隔离状态,以致于游戏需求呈现井喷式增长。因此,云游戏发展迎来了历史性拐点。
如上图是一些腾讯云云游戏的应用和进展,目前已经对很多设备完成了很好的适配,例如将PC端的网游搬到手机端实现,在TV端、Web端也已经完成了对很多网游大作的适配。
云游戏的发展中,底层计算技术具有不可忽视的重要作用,包括大计算量的画面渲染和编解码,需要使用到GPU虚拟化技术,利用底层服务引擎进行游戏适配,以及大规模的性能提升、数据计算等的应用。
传输部分,低延时音视频通讯能力非常重要,需要使用到资源的调度管理、高性能的JS-API/SDK集成技术。
6.2 Tencent-RTC技术
腾讯云的Tencent-RTC技术在云游戏中保证了低时延,高质量的视频展示效果。
6.3 云游戏未来发展趋势
云游戏未来的发展趋势:
腾讯云希望可以通过一体化的云游戏平台帮助客户高效、低成本获取云游戏技术能力,让云游戏成为未来游戏的基础设施。
在疫情之下,危机催熟了在线行业的应用,很多应用都是由音视频技术的驱动,目前腾讯云视频的产品已经涵盖了方方面面,背后依赖的是腾讯云视频技术以及上层一体化的解决方案。