LiveVideoStack

金山“云”上音乐节 —— 一文带你看懂如何支持一场线上演出

云演出网络传输视频技术

LiveVideoStack 2020年3月31日

疫情当下，线上演艺活动受到巨大冲击，娱乐行业展开一场自救大行动，把演出从线下搬到了线上。

转到线上的演出目前主要是以直播形式出现在各大直播平台，比如最近迅速蹿火的One Third（OT）云蹦迪、“宅草莓不是音乐节”、”SNH48 云公演”、音乐人的“宅现场”、“云相声”等。丰富的在线演艺内容让无法去现场的观众感到欣喜和安慰，同时也让重创中的演艺行业依然保持着活力，并且催生出新的希望。

热门的线上演出在线观看人数在几十万到上百万级别不等，演出时长在2小时到5小时不等，观众观看时长在30-50分钟居多。

比如之前的北京OT（One Third)酒吧 “云蹦迪”，抖音直播长达5个小时，累计在线人数超过121.3万人，OT累计收到网友们200多万元的打赏。金山云为这场云蹦迪提供带宽支持的同时，也算是蹦了场野迪哈哈。

还有今年2月转到线上的草莓音乐节，可以说是开启了音乐节的新变种。线上首日40分钟观看人数破百万、最后一天直播间观看峰值达到了152万、相关话题阅读超1.3亿。我们也很开心和乐迷朋友一起免费参与了一次音乐节，为草莓音乐节提供相应带宽技术支持的同时，也有被新裤子圈粉哦～

?：抖动与实时

对于线上音乐节等线上演出这种重大的直播事件，最大的技术难点就是解决CDN分发网络内部的偶尔抖动问题，每一次内部微小的网络抖动，都会造成大量的观众卡顿、黑屏，非常影响用户的体验。

为了给用户提供极致的观看体验，金山云采用了多流择优技术，即允许同一个直播信号频道多点同时注入CDN，通过对多个原始信号源的对齐编排，确保信号共存，并通过自研的高敏感度抖动算法，及时感知不同信号源的抖动情况，在毫秒尺度上筛选出最优的信号源作为向下分发的主信号，且支持最优信号源在毫秒级别上平滑切换而不引起跳帧或者重复播放。

对于实时性，金山云主要采用的是智能gop缓存发送算法。传统的gop缓存发送方式是将节点内部的gop缓存一次性的发送给观众，这样虽然可以减少端上的卡顿率，但却增大了延时。我们可以通过请求参数、关键帧间隔、播放端buffer大小等因素决定发送gop缓存的大小。

此外，直播存在一个特点，就是随着播放时间的增长，延时会越来越大，金山云分发服务会监控每个播放端的发送缓存区，适时丢弃一些非关键数据，来降低延时。

?：画质增强与AI算法

试想下，当秀场、话剧演出达到高潮时，突然画面变模糊、或者出现了抖动等，大家的心情会很受影响。金山云正在致力于视频画质增强、AI超分算法领域的研究，通过技术来优化画质。

人工智能是一种非常先进的算法设计理念，利用深度学习技术，基于大数据下学习到的先验知识，为每个视频实现更加定制化的精细处理。基于深度学习的评价指标应用前景巨大，也是我们非常看好的方向，在大数据的支持下，这些训练得到的评价指标可以高效的指导算法的优化。

画质增强方面，我们将其区分为信号消除，信号增强，与信号生成三类算法。

信号消除负责消除视频中对视觉效果产生不良影响的部分，包括视频在采集过程中引入的采集噪声以及多次压缩时引入的压缩噪声，以及去抖动，去运动模糊等技术。这一类技术的关键点在于如何区分有效信息和无效信息方面，如果去噪能力过强，则容易损失有效信息，反之则可能会留下过多噪声，我们一般采用多个模型加噪声强度预估的方案进行算法优化。

信号增强主要是将原本存在的信息量放大，比如暗场增强，锐化等技术。金山云的暗场增强的算法不仅可以有效的进行局部增强，还可以很好的避免过曝。同时，自适应锐化算法能够配合去噪，有效的补充丢失的信息量，而不显得违和。

信号生成是通过先验知识，有效的补充原始视频中并不存在的信息量，利用了GAN网络来生成细节。其中最有效的是人脸增强，金山云通过分割网络将眉毛，鼻子，嘴唇，头发，脸部分割后分别进行增强补偿细节。

在提升用户体验的算法研发中，最常遇到的问题是如何评价算法效果的优劣、发现算法的不足。

我们也为此建立了完整的主观评价体系，并称之为基于感知愉悦度的无参考评价体系，其中包含了如何筛选合理的最具代表性的测试视频集合，如何有效的设计评价维度，如何测量视频在不同播放器中的表现，如何提升评测员的评测质量等。

为此打造的KQoE评测平台(kingsoft quality of experience)目前收集了大规模的评测数据进行训练，该平台也已经开始提供给客户一起使用，以合作的方式进一步优化主观质量。

此外，我们的“集智高清”相比传统云转码最大的区别在于对视频质量评价的理念不同。传统的云转码采用psnr来衡量转码后的视频质量，然而云转码的输入视频本身是带噪声的，去除噪声能让质量变好，但psnr的评分反而会变低。而“集智高清”采用主观质量的评价方式，利用预处理和感知编码等技术，有效地降低了对视觉而言不必要的信息量，从而大幅度降低了码率。同时，我们利用高效的gpu集群调度算法，保证了在高计算复杂度下，仍然可以支持1080P的实时直播转码。

我们目前重点优化的是AV1的编码器，支持RTMP、HLS、HDL、QUIC等协议，不久的将来也会支持SRT。

?️ ：VR直播

从2016年在上海举办的备受瞩目的王菲“幻乐一场”演唱会开始，VR直播在明星演唱会、明星粉丝见面会、文艺汇演、晚会等综艺节目中也得到了广泛应用。观众通过VR直播可以近距离全方位欣赏自己的偶像，感觉明星就在自己眼前，还能感受到现场粉丝热情的欢呼声、尖叫声。