作者 | 邢怀飞
编辑 | Alex
策划 | Alex、包研
年终盘点#008#——HDR
1. HDR视频技术简介
1.1 HDR技术概述
在5G+AI的大时代背景下，超高清（UHD）视频将取得更快的发展，不单是在传统的广播电视领域，而且在互联网视频、OTT领域也会有越来越多应用上线。超高清视频不仅在分辨率、帧率上有提升，更重要的是体现在高动态范围（HDR）和宽色域（WCG）上。与传统的SDR视频相比，HDR视频具有更高的亮度范围、更宽的色域范围、更深的位深（10bit/12bit）。
2020年，苹果公司宣布了iPhone 12系列手机对于HDR视频的支持，成为了HDR发展的一个重要的里程碑。苹果采用了杜比公司的Dolby Vision技术，在手机上就可以实现HDR视频内容的拍摄、录制和编辑，极大地降低了HDR视频内容创作门槛。
HDR视频的对比度更高，尤其是在一个画面里亮部和暗部对象同时存在的场景，HDR更接近人眼对于物理世界的感受。另外，HDR视频颜色更加丰富，色彩饱和度更高，更贴近于人眼看到的实际生活场景。如下图所示，与左边的SDR对比，HDR视频有更好的亮部和暗部细节。
1.2 HDR视频三要素
1.2.1 高动态范围
HDR是高动态范围（High Dynamic Ranging）的缩写，与传统的SDR相比，可以显示更大的亮度范围。举一个例子，如果我们白天用手机在室内对着窗户拍照，就会发现如果室内的场景拍摄清晰，窗户的部分就会出现过曝；反之，如果我们将窗户的部分拍摄清楚，可能室内的部分就会非常的昏暗。这种现象就是动态范围不足导致的。下图说明了人眼能够感受到的最亮和最暗的范围，以及HDR和SDR定义的亮度范围。
宽色域（WCG）是HDR视频的第二个重要特性，能够表示比现行的SDR视频系统更宽的色彩范围。SDR视频采用的是BT.709的色彩空间，只能涵盖CIE 1931色彩空间的35.9%，而采用BT.2020的HDR视频占比可以达到75.8%。这样在显示器上呈现的图像与实际物理世界也会更加贴近。
1.2.3 高位深
传统的SDR视频是用8 bit位深来表示，BT.2020 标准提高到了 10 bit /12 bit，从而使灰阶过渡更加平滑，可以提升图像的细节表现，这意味着图像具有更加丰富的颜色表现。除此之外，BT.2020 在 Gamma 校正方面也进行了一定的修正。[2]
人眼对于物理世界的感知是非线性的，即对于中等亮度和暗部区间的敏感程度远高于高亮度区间，于是就有了SDR领域的Gamma曲线。我们倾向于用更多的比特数来表示中等亮度或者暗部的区域，以提高压缩率，取得更贴近人眼的效果。
在HDR时代，Gamma曲线已经不能满足最大亮度的需求。基于人眼的对比敏感度函数（Contrast Sensitivity Function，CSF），在SMPTE ST 2084标准中规定了EOTF曲线，就是感知量化（PQ）曲线。亮度范围可从最暗0.00005 nits到最亮10000 nits。PQ曲线最早是由Dolby公司开发的，并且在ST 2084中进行了标准化。
混合对数伽马（HLG）是另外一个重要的HDR传输曲线，由BBC和NHK公司开发。这个曲线与PQ曲线不同，HLG规定的是OETF曲线，因为在低亮度区域基本与Gamma曲线重合，所以提供了与SDR显示设备很好的兼容性，在广播电视系统里有着广泛的应用。HLG曲线最早在ARIB STD-B67中进行了标准化，后面也进入了ITU-R BT.2100。
上图来自SONY
色调映射（Tone Mapping）是一个将HDR的图像或者视频转换成SDR的图像，并在SDR显示设备上正确显示的技术。目前HDR的内容还不是很多，HDR和SDR混合的内容会长期存在，而且能够支持HDR显示的屏幕是非常匮乏的，要让HDR的内容能够有一个正确的显示，色调映射是一个经常用到的技术。
HDR的元数据表示描述视频或图像处理过程中的关键信息或者特征， 主要有两种：静态元数据和动态元数据。
静态元数据规定了整个片子像素级别最大亮度上限，在ST 2086中有标准化的定义。静态元数据的缺点是必须做全局的色调映射，没有足够的调节空间，兼容性不好。
动态元数据可以很好地解决这个问题。动态元数据主要有两个方面的作用：与静态元数据相比，它可以在每一个场景或者每一帧画面，给调色师一个发挥的空间，以展现更丰富的细节；另一个方面，通过动态元数据，在目标显示亮度上做色调映射，可以最大程度在目标显示器上呈现作者的创作意图。
SMPTE ST 2094标准中定义了一系列的动态元数据。ST 2094-10、ST 2094-20、ST 2094-30、ST 2094-40分别给出了杜比、飞利浦、特艺和三星四家公司的动态元数据和色域转换的方案。
从我们的讨论来看，HDR技术不是一个单点的技术，而是一个端到端的生态系统。从下图中可以看到，前端摄像机的拍摄开始就需要HDR的设置，之后的后期制作环节需要导演和调色师一起，确定片子的风格。调色师可以在每一帧、每一个场景上进行调色，调色后的结果会以元数据进行存储。随后进入编码环节，将采集的电信号用视频编码的方式，嵌入元数据，传输至解码端。播放器在解码的时候，提取元数据，根据动态元数据进行动态映射和色彩校正。
上图来自Philips
在整个生态系统的每一个环节，都有很多核心的技术供应商和厂家进行支持。由于各个标准之间技术不统一，各家之间的竞争也是异常激烈，形成了开放与商业授权，效果与兼容性之间的矛盾持续存在的现状。
2. HDR的技术现状
2.1 HDR视频的标准
HDR有很大的潜在市场，经过多年的发展，目前有HDR10、HLG、HDR10+、Dolby Vision等多个竞争的标准。HDR10具有开放和免费的优势，但是静态元数据兼容性不足；HDR10+则通过添加动态元数据的方式，提供了更高的画质质量。Dolby Vision具有非常强的技术竞争优势，但它是一个封闭的生态，商业授权费用很高。下表对各个标准做出了一些对比的总结。
HDR10是比较基础的一个版本，也是一个开放的标准，于 2014 年被采用。HDR10 由于其易用性和免许可费而获得广泛的接受。该标准描述了符合 UHDTV Rec.ITU-R BT.2020 标准建议的视频内容。HDR10采用的是PQ EOTF传输曲线，SDR显示器不兼容。HDR10采用了静态元数据，主要有三个部分组成：
SMPTE ST 2086：描述了渲染内容的显示器能力的要求，比如颜色、白点、最小最大亮度
MaxFALL（Maximum Frame Average Light Level）：表示整个视频任意一帧的最大平均亮度
MaxCLL（Maximum Content Light Level ）：表示视频里最亮的像素水平
因为不能满足不同场景或者不同帧调色的需求，所以HDR10的效果展现能力比较有限。
HLG标准出现于2015年，是由英国BBC公司和日本的NHK电视台共同开发，也被广泛采用。该标准描述了符合 BT.2020 要求的内容。如前所述，HLG广泛地应用到广电系统中，有很好的兼容性。
HDR10+是三星提出的用于对抗Dolby Vision的技术，在HDR10的基础上，添加了动态元数据的支持。可以针对每一个视频场景或者视频帧进行亮度和色彩的调节，支持动态色调映射，向后也可兼容HDR10的格式。
Dolby Vision是杜比公司具有知识产权的技术，需要授权费用才能使用。也因为需要授权费用，所以内容还不是特别丰富。Dolby Vision实际是国际上首个推出的商业化版本的HDR标准，具备非常强的竞争力。它采用动态元数据，可以最高支持10000 nits的峰值亮度。为了增强码流播放和显示兼容性，设计了众多的Profile支持不同的应用。
iPhone手机拍摄的HDR视频就是采用了Profile 8.4，可以看到其传输曲线是HLG，色彩空间是10比特，采用HEVC 10bit(色度格式4:2:0)的编码。
HDR Vivid是CUVA联盟推进的国产HDR标准，主要有有三大核心技术：动态元数据（Dynamic Metadata）、色调映射(Tone Mapping)和饱和度调节（Saturation Adjustment）。
HDR Vivid在现有HDR标准的基础上，增加了动态元数据，为显示终端提供了更加准确的动态范围映射方式，最大限度还原HDR内容原有的艺术效果。与业界私有HDR技术相比，HDR Vivid是一种更开放更普世的技术标准及开放方案。对产业各方来说，技术开放性以及安全性都更适于产业部署。[3]
通过CUVA标准的形式，定义了超高清视频呈现处理HDR过程，截止到2021年的10月份，CUVA联盟总共发表了3个部分的标准：涵盖从元数据和适配、应用指南和技术要求到测试方法标准的规定；其中第2部分，也包括系统集成和后期制作两个子部分；第3部分的测试包括显示设备、便携式显示设备、播放设备和播放软件这4个子部分。
制作端可以不修改已有的HDR10和HLG HDR制作流程，只增加动态元数据产生环节。采用符合调色习惯的图形界面，协助制作人员人工调试HDR Vivid动态元数据。提供自动化动态元数据生成工具，支撑大量内容的批量生产，降低开发成本。在元数据的Codec传输上，支持HEVC/AVS2/AVS3/VVC元数据的适配。
2.2 竞争业态的分析
HDR技术和系统包括的专利技术众多，选择什么样的技术路线意味着可能会有专利授权的问题，因此HDR技术的标准化也一直是全球各个厂商争夺的焦点。多个重要的技术提供商形成了几个大的技术阵营。
出于简化的考虑，本文主要从与互联网视频联系紧密的生态角度分析，包括传统的HDR解决方案厂商与网络视频运营商、编转码厂商、操作系统这几方面进行分析。
传统的支持HDR制作端到端的厂商有索尼、Dolby等公司，在调色工具方面有Davinci Resolve、Apple Pro等。总的来说可以分为两大阵营，即HLG和PQ阵营。
以上图片来自SONY
在广播电视领域，考虑到更好的兼容性，大约81%的运营商采用了HLG格式，仅有11%采用了PQ。但是在OTT或者互联网视频领域，尤其是点播视频，正好相反，约有88%的视频服务提供商选择了PQ，而有12%选择了HLG。[4]
在移动互联网时代，互联网视频占据了接近90%以上的网络流量，而且进一步呈现上升的趋势。在互联网视频的HDR分发方面，超高清视频也成为了重要的组成部分。
视频编码和封装是承载HDR视频的重要技术部分，从技术供应商的类型来看可以分为专业的设备供应商、云视频转码厂商这两个大的类别。HDR10作为一个基础功能，几乎得到了所有厂家的支持；而Dolby Vision和HDR10+的竞争则更加激烈，都呈现了上升趋势。这两个技术都提供了对动态元数据的支持，弥补了HDR10的缺陷，在提升细节和画质的同时也增强了系统的向下兼容性。[4]
云转码厂商比如AWS，BITMOVIN，MediaKind等，除了支持HDR10的基本功能之外，也都在向更高级的HDR10+，甚至Dolby Vision进行扩展，至少能够支持对动态元数据的解析或者透传。
微软公司的Windows系统，从Windows 10/11系统开始支持HDR视频的游戏和视频，这两个方向也是非常大的市场。Windows系统对开启HDR功能也提出了在显示和Codec支持方面的要求，显示器建议Display HDR 500以上，同时需要HEVC、VP9或者AV1的Codec扩展支持。[5]
苹果公司在2018年以后推出的机型开始，支持了HDR的功能，但是要求比较新的操作系统版本（比如Big Sur）。MAC系统内置的XDR显示器支持Dolby Vision、HDR10和HLG的格式，当外接兼容HDR10格式的显示器，将自动从Dolby Vision、HLG格式转换成为HDR10格式。[6]
3. HDR的应用挑战
3.1 HDR内容匮乏
HDR的内容是非常匮乏的，原因是传统的HDR制作工艺非常复杂，制作门槛高，运用HDR技术制作的片源少，超高清高质量的片源供给不足，不能满足用户对于超高清日渐增长的需求。
在当前UGC视频的时代背景下，尤其是短视频行业的快速发展极大地降低了视频的制作门槛，但是现在的HDR内容主要还是PGC为主。主要的编辑软件包括Final Cur Pro X、Adobe Premiere Pro CC、Davinci Resolve 等等。
所以，如何快速产出或者补足HDR超高清内容的素材，就成为了一个巨大的市场机会。基于AI的智能视频处理技术有着广阔的发展空间，可以通过智能处理，进行存量老电影、电视剧素材的修复，通过超分技术进行标清到4K的转换，通过HDR技术进一步提升效果，达到接近真4K的标准节目效果。
3.2 HDR屏幕不足
支持真的HDR播放和显示的播放器和屏幕还比较少，OTT大屏、不同移动端的终端屏幕参数也参差不齐，终端呈现的效果差异也很明显，用户难以获得一致的视觉体验。所以使用一定的策略，进行色调映射和各种设备的适配，各种HDR格式和标准之间的转换，是一个长期需要解决和优化的问题。
在智能手机的生态上，HDR的解码、显示等基础技术的支持也还没有那么普遍。比较基础的是对HDR标准的支持，少数手机能够支持HDR10+，支持Dolby Vision的手机则更少。走在前面的还是苹果公司，iPhone支持了Dolby Vision，而Android生态上支持的较少。很多厂商采用伪HDR内容生成的技术，在普通手机屏幕上呈现接近HDR效果的视频。
3.3 HDR的标准竞争与生态碎片化
如2.2部分的介绍，目前HDR标准和格式共存，标准之间的兼容性也不一样，处于百家争鸣的状态，甚至可以说是一场战争。同时，部分技术领先的标准，比如Dolby Vision的专利授权费用非常高，导致产业链的成本居高不下，不能端到端的形成规模化的生成，呈现碎片化，所以需要一个统一的技术来进行支持。
HDR10是一个基础的、完全开放的标准，获得了比较好的支持，包括HEVC标准也是率先支持了HDR10的元数据。但是HDR10的效果和兼容性问题是短板。
HDR视频技术是一个端到端的生态系统，几个不同阵营各有各的规范，很难达成统一。归纳起来，有4种常用的HDR解决方案：HDR10、Dolby Vision、BBC/NHK和Technicolor/Philips。
Dolby使用现有的解决方案和工具，提出一个从拍摄、制作到分发和显示的完整的HDR系统 Dolby Vision。其中 EOTF使用其提出的基于 Barten 模型的 PQ 曲线，支持的最大亮度可以达到 10000nits。编解码方面，Dolby使用称为 Dolby Layered 的双层编码方案，需要元数据，并需要支付专利费用。
个人预测，未来的HDR技术竞争将会在Dolby Vision的封闭生态，与新的HDR10+和HDR Vivid开放生态之间展开。
4. HDR的发展趋势预测
4.1 基于AI的HDR内容生产
AI在视频领域的技术发展，为视频内容的重建提供了新的技术手段。基于AI的超分辨率技术可以实现标清到高清（SD转HD）、或者高清到4K甚至8K的分辨率的提升，可以弥补大量的图像细节；通过基于AI的逆色调映射（Inverse Tone Mapping）技术和色彩增强技术，可以实现对比度、色彩饱和度等多个层面的提升。这些提升的细节，需要用HDR视频的高动态范围和宽色域来进行表达。NTIRE 2021首次举办了HDR视频图像生成技术的大赛。[7]
我们根据典型的应用场景，可以将智能视频重制划分为智能画质提升和智能老片修复两个分类。其中智能老片修复可以极大地提升传统的人工修复效率，而超分和HDR则进一步提升弥补细节，调节亮度和饱和度，尽量提升到接近真4K的水平。
4.2 HDR的互联网应用趋势上升
随着HDR显示技术、HDR终端播放设备、移动终端尤其是智能手机的不断发展，HDR的内容会越来越多，大家对于HDR的认知也会进一步加强。预计在未来2到3年内，HDR技术会取得一个蓬勃的发展。
爱奇艺融合4K+HDR+高帧率+全景声的技术，打造一个比“蓝光”更高档次的选项“帧绮映画”，可以通过VIP观看。HDR在亮度、广色域和对比度三个方面，让画面呈现更接近真实的世界。预测未来2到3年，4K+HDR的视频体验会成为互联网视频的一个基本配置。
4.3 HDR的游戏应用推广
游戏是HDR一个重要的应用。HDR技术可以让游戏的渲染更加正确，能够更加清晰地提升亮部和暗部的细节，还原真实的场景。
HDR10+ Gaming标准是今年十月三星宣布的HDR10+延伸标准，这项标准相对HDR10有更高的峰值亮度，支持自动低延迟与可变刷新率，同时可以让输出的视频源自动适配显示设备，来获得更好的游戏性能与视觉效果。
微软选择了Dolby Vision，开发者可以选择将Dolby Vision集成到他们的游戏引擎中，或者利用Xbox开发者平台进行内置。有超过100款的HDR游戏采用Dolby Vision和Atmos标准发布。微软也一直在与杜比合作，为现有的HDR10和自动HDR游戏带来更好的体验。[5]
游戏的视频化也是重要的市场方向，主要包括游戏直播和云游戏两个方面。游戏直播是单向的，而云游戏是以视频的形式呈现互动的游戏形态。那么已经支持了HDR效果的游戏，就可以提供HDR视频化的游戏服务了。
4.4 HDR Vivid商用加速
自2020年9月4日CUVA联盟HDR Vivid标准发布以来，产业生态基本成熟，产业链各环节均有产品支持，内容规模超过一万小时，并在持续增长。目前已经发布了七项标准，涵盖了从内容制作到传输、解码和显示的整个生态。同时HDR Vivid标准也正在升级成国家广播电视行业标准。[8]
在内容平台方面，爱奇艺、腾讯视频等厂家都推出了采用HDR Vivid标准制作的节目内容，对4K画质进行了全新的升级，咪咕也首次将该标准应用到了互联网直播场景。在视频转码与处理方面，百度智能云作为智能视频处理的厂商，同时也是HDR Vivid标准的参与者，也会尽快完成HDR Vivid端到端处理的解决方案的建设。在芯片和终端支持方面，包括海思、MediaTek、Amlogic等厂商已经率先支持Vivid标准，其他半导体厂商也都会及时跟进。
可以看到，HDR Vivid生态圈在进一步扩大，大规模商用指日可待。
注释：
[1]【Multi-exposure HDR capture】
https://en.wikipedia.org/wiki/Multi-exposure_HDR_capture
[2]【High-dynamic-range_video】
https://en.wikipedia.org/wiki/High-dynamic-range_video
[3]【HDR Vivid技术白皮书】http://www.cuva.org.cn/ueditor/php/upload/file/20210415/1618456877397969.pdf
[4]【UHD ServiceTracker Summary】
https://ultrahdforum.org/uhd-service-tracker/summary/
[5]【Windows 2021 HDR getting started guide】
https://devblogs.microsoft.com/directx/windows-2021-hdr-getting-started-guide/
[6]【Hybrik】
https://professional.dolby.com/technologies/cloud-media-processing/#gref
[7]【NTIRE 2021Challenge on High Dynamic Range Imaging: Dataset, Methods and Results】
https://arxiv.org/pdf/2106.01439.pdf
[8]【HDR Vivid应用进展】
http://www.cuva.org.cn/cuva/gzjz/lmdt/344.html
参考文献：
【Play HDR video on Mac】
https://support.apple.com/en-us/HT210980
【4K HDR VOD workflows using AWS Elemental MediaConvert and AWS Elemental Server】
https://aws.amazon.com/cn/blogs/media/part-2-4k-hdr-vod-workflows-using-aws-elemental-mediaconvert-and-aws-elemental-server/
【HDR10+ Technologies unveils new HDR10+ GAMING standard】
https://hdr10plus.org/wp-content/uploads/2022/01/HDR10-Gaming-Release-Final-01052022.pdf
【The HDR Ecosystem Tracker (mid-2019)】
https://www.flatpanelshd.com/focus.php?subaction=showfull&id=1559638820
【The HDR Ecosystem Tracker (mid-2020)】
https://www.flatpanelshd.com/focus.php?subaction=showfull&id=1606977052
【HDR in depth】
https://www.elecard.com/page/article_hdr
【UHD Service Tracker Summary】
https://ultrahdforum.org/uhd-service-tracker/summary/
作者简介：邢怀飞，博士，百度智能云、视频云音视频处理技术架构师。目前担任视频云音视频处理技术产品技术负责人。在视频编解码、处理算法以及云转码工程架构方面具有十余年的行业经验，目前致力于百度“智感超清”系列产品的性能优化与产业化落地。
@2017-2024 LiveVideoStack版权所有. 京ICP备20010033号-1 
京公网安备 11010502042092号
