“芯片不仅仅是一个硬件产品，为了更好的贴近用户、服务用户，我们需要在固件和软件的框架上投入足够的研发资源，与客户同步迭代更新，以适应其快速的业务迭代要求。在深入理解用户需求和痛点的基础上，满足用户差异化的功能需求。”LiveVideoStack 很荣幸地邀请到了镕铭微电子 解决方案架构总监 蔡媛老师，和大家聊一聊硬件芯片在当前视频行业环境下所面临的机遇与挑战，以及硬件芯片产品开发与方案设计应该如何更好地贴近用户、服务用户，满足其更深层次的需求。

蔡媛 (Amy.Cai)，镕铭微电子，解决方案架构总监

LiveVideoStack：Amy 老师您好，非常高兴能邀请到您接受采访。首先，跟读者朋友们介绍下您自己吧。

Amy：大家好，我是蔡媛 Amy。目前在镕铭微电子负责产品解决方案相关的工作，主要面向视频行业客户提供 VPU 芯片和高性能存储的产品解决方案。此前我在国内独立云计算公司担任视频云产品技术总监，主导点直播 / 云游戏相关的媒体处理、265 编码、视频质量评测体系的建设和产品研发工作。更早时间就职于搜索公司基础架构团队，从事分布式存储系统和存储引擎相关的质量和开发工作。

LiveVideoStack：说一说您所关注的领域、技术以及目前的一些工作重点吧，有哪些有意思的事情或心得体会？可以跟大家分享一下。

Amy：近几年我主要是在视频处理和视频分发领域从事产品技术方面的工作，加入镕铭微电子后开始深入了解 VPU 芯片以及 AI 处理与视频芯片结合相关的产品，并与我们的产品技术团队一起打磨行业解决方案，包括视频直播、点播、云游戏、云桌面、OTT 等领域，实现行业功能需求，为客户提供高效的视频处理方案。

以云游戏为例，为了满足云游戏全链路百毫秒以下延迟的要求，我们采用低延迟模式、零拷贝、多线程编码等技术，实现更低、更稳定的编码延迟。对于云游戏服务提供商而言，成本方面目前压力还是非常大的，其中带宽成本占超过 50%。镕铭微电子最新一代编码器 Quadra 在相同画质下，较 NVIDIA T4 llhp 模式可节省 30% 以上的带宽。同时，我们还提供了码率平滑的功能，方便客户对码控有更多的控制，降低带宽波动。这些都是在与客户磨合过程中，从硬件层到软件层逐步完善优化的结果，为云游戏客户提供更具产品竞争力的解决方案。

在与客户对接的过程中我们体会到芯片不仅仅是一个硬件产品，为了更好地贴近用户、服务用户，我们需要在固件和软件的框架上投入足够的研发资源，与客户同步迭代更新，以适应其快速的业务迭代要求。在深入理解用户需求和痛点的基础上，满足用户差异化的功能需求。

LiveVideoStack：互联网视频内容的爆发增长，以及内容质量、分辨率要求的不断提升，带来了更高的视频处理算力及编解码性能需求。在这样的市场环境下，存在哪些机遇与挑战？镕铭微电子有哪些相应的工作与布局？

Amy：互联网视频内容的爆发增长对算力和带宽的要求急剧提高，视频流媒体已取代文字、图片等形式成为主流，直播、点播、短视频等视频应用已经占据互联网 80% 以上的流量。视频行业对于清晰度和流畅性的追求贯穿始终，需要不断提升分辨率、帧率、色域等参数以实现更好的视觉效果，4K、8K、10bit、HDR 已逐步在各大视频平台呈现出很好的效果。更进一步，视频将以感知和连接现实与虚拟世界为出发点，向三维立体的维度发展，衍生出原生云游戏、实时渲染、数字孪生等需求。传统的软件编码方式、其密度和 TCO 成本，已经无法应对这些带来的爆炸式的算力需求增长，VPU 解决方案是一个必然的选择。

镕铭微电子最新一代产品 Quadra 单卡最高支持 8K 60FPS 的实时编解码，并实现低于百毫秒的延时。而 H.265 软编在 8K 60FPS 场景需要做大量的帧级 / 宏块级并行优化 + 复杂的分布式系统才能实现秒级延迟的直播效果。Quadra 同时支持 H.264/H.265/VP9 解码，以及 H.264/H.265/AV1 的编码，是全球首个支持 AV1 编码的硬件编码器。在画质方面，Quadra 较上一代产品从直播画质提高到点播处理要求的画质水平。在密度方面，在 PCIe lane 充足的 NVME SSD 机型的服务器，最高可以支持 24 张 U.2 形态的卡，整机可达 768 路 1080P 30FPS 编解码。在互联网对媒体算力要求爆炸性增长的环境下，镕铭微电子 VPU 能够帮助客户以最低的成本实现媒体处理能力的迭代升级。

LiveVideoStack：对比 CPU、GPU、FPGA、ASIC 等硬件方案，考虑需求以及各项条件因素的影响应该怎样选择？

Amy：头部互联网公司和云计算公司都有异构计算平台，不同的方案有各自适合的场景以达到成本最优的目标。

GPU 相对而言单路码流成本是非常高的，更适合对超级热流做超分超帧、画质质量检测、深度画质增强的处理。FPGA 具备可编程的属性，成本也非常高，一块高性能 FPGA 成本就要几千美金。ASIC 编解码芯片在满足超高清视频编解码的需求前提下，其 TCO 成本仅为行业性能领先的软件编码器成本的 1/15 - 1/20，在密度和能耗上有显著优势，适合于大规模的视频编解码处理。谷歌在 2021 发布了其 Argos ASIC 视频处理芯片用于 YouTube/Google  album 等应用，每年节省数亿美元的费用。镕铭微电子的 VPU 视频处理芯片相较谷歌的 Argos 拥有更多功能和更强能力、更低功耗、以及更加优秀的系统适配能力，并已经得到海内外市场上多家大型客户的广泛使用和验证。

LiveVideoStack：镕铭微电子推出了首款商业硬件 AV1 编解码芯片，过去一段时间，其在性能、规模化应用等各方面的表现和反馈如何？后续还会有怎样的优化？

Amy：我们在 2021 年 11 月发布了全球首款 AV1 硬件编码器，为 AV1 在线视频处理提供了可行的选项。新一代产品 Quadra 的 AV1 编码器单芯片最高编码性能可达 32 路 1080P 30FPS 实时编码，在一台 1U 的服务器上插上 10 块 Quadra U.2 形态的卡，整机可支持 320 路 AV1 实时编码。高性能模式下，画质优于开源软编器 SVT-AV1 的画质；高画质模式下，性能消耗远低于 SVT-AV1。

在部署方面，AOM 联盟创始成员对 AV1 的部署会更加积极，海外的应用也较国内更快，海外目前 AV1 主要应用在点播 / 短视频上，分发的目标设备主要在智能电视和移动设备上。而迟迟未有动作的苹果，在最近的 Safari 新 beta 版本上也把 AV1 放到媒体支持 API 中。

目前我们正在与头部流媒体公司做 AV1 编码集成的验证工作，在这个过程也会持续对 AV1 的画质质量做调整优化。

LiveVideoStack：ASIC 芯片开发无论是对硬件架构设计，软件实现或是场景优化等各项能力的要求都会非常高。镕铭微电子在这些方面具有怎样的优势？

Amy：确实是这样的，从业务要求、场景适配到运维层面要求都很高。镕铭微电子（NETINT）在创业之初，就定位在可计算存储和视频编解码领域，在芯片设计之初即面向云数据中心服务器端，在芯片架构层次上做了很多创新设计，全球率先采用了先进的 Computational Storage 架构，视频编解码通过标准的 NVMe 接口来处理，不需要私有的驱动程序。也因此实现业界最广泛的服务器硬件以及操作系统兼容性，保证了数据中心大规模部署上线的运维稳定性。

从软件实现上，我们从 Logan 这一代芯片 2019 年量产发布后，持续与头部互联网客户协同进行集成功能开发，并且做了大量音视频码流的兼容性工作， 仅在测试场景的积累上已超过 5 万 + 用例覆盖，也帮助我们自己深刻理解客户应用场景。大家看我们的芯片规格也知道我们的重点之一是编解码。我们在编解码算法方面有很深的积累，通过服务全球的头部客户在应用领域积累了大量的经验，这些都体现在我们的硬件和软件系统中，得到客户的认可和信赖。

LiveVideoStack：当前，许多互联网厂商已经开始纷纷发力走上芯片自研的道路。对此，您如何看待？

Amy：数据中心计算最密集的应用程序就是视频，视频编解码更是如此，非常适合采用专用集成电路 ASIC 来完成。头部互联网厂商本身有巨大的视频流量，部分客户投入自研说明头部客户对 VPU 市场需求和解决方案的高度认可。但术业有专攻，互联网公司和芯片公司各有自己擅长的领域，预计未来 VPU 市场会形成头部自研客户和专业 VPU 芯片公司某种程度合作的局面。

另外，芯片的竞争也是生态体系的竞争，场景越丰富、用量越大、兼容的服务器厂商和操作系统越多，生态会更健全，也更理解海量客户的场景。镕铭微电子 VPU 作为一直深耕这个领域的领军者和专业厂商，我们也在不断地创新和优化，努力提供更加适用于不同场景、更加可靠的解决方案，成为客户可信赖的合作伙伴。

LiveVideoStack：对于未来下一代硬件视频编解码方案，在技术创新以及场景应用等方面，有哪些值得期待的可能？

Amy：对于下一代产品，向大家透露一些值得期待的方向。一方面是画质，片上的专用处理芯片将会把 AI 与视频编码结合，将原来 GPU 才能完成的画质增强、超分超帧能力、画质质量探测以更高效、更低的成本实现规模化应用；第二方面，对新的视频编码标准的支持也在产品规划内；第三方面是应用场景的适配，也将是未来的重点工作，包括互动娱乐场景、云渲染编码、云桌面场景、视频会议场景、OTT 场景等都是值得期待的场景。

LiveVideoStack：接下来 LiveVideoStackCon 2022 北京站 大会现场您还会带来怎样的精彩分享？可否提前跟大家剧透下，有哪些关键内容是值得关注的？

Amy：本次会议我将重点介绍镕铭微电子 VPU 如何帮助客户实现极致增效降 "本"，在媒体计算上为客户实现 20-40 倍 TCO 成本下降，并提供稳健的运维方法、全面的服务器和内核兼容、免驱动适配能力，在运维层面保障在大规模数据中心的顺利落地，这些与镕铭微电子 VPU 的软硬件设计密切相关，我本次会对此做重点分享。同时，我将介绍基于新一代 Quadra VPU 的全球首个硬件智能极速高清产品，如何将历来成本高企的 AI 增强视频产品带入到规模应用中。欢迎大家前来会场一起探讨。

LiveVideoStack：好的，感谢您接受采访，期待您在大会上的精彩分享。