向后兼容的HDR视频多层压缩技术制造技术

可缩放编码系统将视频编码为基层表示和增强层表示。基层编码器可编码源视频的LDR表示。预测器可从经编码的基层数据来预测源视频的HDR表示。比较器可生成表示源视频的HDR表示与源视频的预测HDR表示之间的差异的预测残差。量化器可将残差向下量化到LDR表示。增强层编码器可编码LDR残差。在其他实施方案中，增强层编码器可直接编码LDR转换的HDR视频。

【技术实现步骤摘要】
【国外来华专利技术】向后兼容的HDR视频多层压缩技术相关申请的引用本申请要求于2015年5月5日提交的美国专利申请14/704,707，该美国专利申请享受于2014年11月5日提交的美国临时申请62/075,563的优先权，其公开内容以引用方式并入本文。
技术介绍
本公开涉及视频编码系统，尤其涉及编码高动态范围(“HDR”)视频内容的系统。现代视频输送和显示系统在其可支持的视频信号的动态范围方面是不同的。如果可使用8位或10位深度颜色值限定图像数据值，较新图像处理应用生成12位或大概16位值的此类图像数据值。增大的动态范围允许比以前通过表示比低动态范围(“LDR”)表示更大范围的亮度和颜色信息更细量化水平来呈现图像内容。因此，对HDR图像内容的支持可以更高图像质量支持视频输送和显示。存在极少能对HDR内容进行编码和解码的部署的编码系统。然而存在支持LDR内容的种类众多的编码/解码系统。因此，专利技术人觉察到对能支持HDR内容的基于LDR的编码系统的需要。附图说明图1是根据本公开的实施方案的编码器/解码器系统的框图。图2示出了根据本公开的实施方案的编码端子。图3示出了根据本公开的又一实施方案的系统。图4示出了根据本公开的另一实施方案的编码端子。图5示出了根据本公开的又一实施方案的编码端子。图6示出了根据本公开的实施方案的方法。具体实施方式本公开的实施方案提供使用LDR编码器对HDR内容进行编码的技术。系统可将视频编码为基层表示以及增强层表示。基层编码器可编码源视频的LDR表示。预测器可从经编码的基层数据预测源视频的HDR表示。比较器可生成表示源视频的HDR表示与源视频的预测HDR表示之间的差异的预测残差。量化器可将残差向下量化到LDR表示。增强层编码器可编码LDR残差。在其他实施方案中，增强层编码器无需预测可直接编码LDR转换的HDR视频。存在此类系统的若干益处。由于仅使用低位深度编码解码器，所以较容易在设备上部署该系统而无需高位深度解码器。基层位流可使得向后兼容仅限于LDR的设备。图1示出了根据本公开的实施方案的系统100。系统100可包括通过通信信道190耦接的编码端子110和解码端子150。编码端子110可包括基层编码器115、层间预测器120、减法器125、开关控制器130、增强层预处理器135、非线性量化器140和增强层编码器145。解码端子150可包括基层解码器155、层间预测器160、增强层解码器165、反向非线性量化器170、增强层后处理器175、开关控制器180和加法器185。在图1的实施方案中，编码端子110可编码源视频的两个实例-高动态范围实例和较低动态范围实例。典型地，LDR实例表示比HDR实例较小位深度、以8位或10位值表示的颜色分量数据的视频，HDR实例可表示较高位深度(例如，10位或12位值)的图像数据。在一些实施方案中，LDR视频可被编辑用于呈现在比HDR视频具有较低动态范围的显示设备上。因此，LDR和HDR实例各自可被调节用于不同类型的显示设备，并且因此它们可具有针对此设备中的差异而定制的图像数据。基层编码器115可编码LDR源视频以实现比特率压缩。例如，基层编码器115可执行运动补偿预测，运动补偿预测利用LDR源视频中的空间和/或时间冗余来开发LDR源视频的压缩表示。基层编码器115可将压缩的基层视频输出到信道190。在实施方案中，基层编码器115可根据诸如在ITUH.263、H.264、H.265等中定义的预先确定的编码协议进行操作。基层编码器115还可解码压缩的LDR视频(未示出)用于本地使用来开发预测基准以将稍后接收的LDR源视频编码为时间预测的一部分。基层编码器115还可解码压缩的LDR视频用于本地使用在层间预测中。层间预测器120可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器120可生成从基层编码器115可用的解码LDR视频的HDR表示并且将HDR表示输出到减法器125。层间预测器120可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。另外，如果HDR源视频在与LDR视频比较时包括颜色偏移或强度映射以解决HDR和LDR显示环境中的差异，则层间预测器120可向解码的LDR视频施加效果以将LDR视频适应HDR视频。减法器125可在HDR源视频的帧以及层间预测器120输出的预测视频之间执行逐像素比较。减法器125可输出表示在HDR源视频以及层间预测器120输出的预测视频之间的差异的像素残差信号。开关控制器130可选择像素残差或者HDR源视频用于输入到增强层编码器145。开关控制器130可响应于由编码端子110的控制器(未示出)执行的估计来执行其选择，该控制器估计将由基于预测的信号的编码或HDR源视频的直接编码实现的相对效率和得到的编码质量。切换判决可由输入视频的不同部分自适应地执行，诸如不同序列、场景、帧、或帧中的块。可响应于这些判决来开发切换标记，切换标记可作为包含在编码的增强层数据中的元数据流被传输到解码端子150。增强层预处理器135可施加预处理操作以使得HDR信号与编码的稍后阶段相符。典型地，增强层预处理器135可执行缩放和信号成形以在增强层编码器145编码之前减小分辨率以及复杂度。非线性量化器140可在编码之前量化输入视频。非线性量化器140可量化输入视频以将其位深度减小到适合用于增强层编码器145编码的水平。在一个示例中，增强层编码器145可基于对具有8位的位深度的输入视频数据进行编码的LDR编码器，在此类实施方案中，非线性量化器140可将其输入数据向下量化为8位的位深度。非线性量化器140可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化。量化中的变化可作为编码视频数据中的元数据报告给解码端子150。增强层编码器145可编码量化后的视频以实现比特率压缩。例如，增强层编码器145可执行运动补偿预测，运动补偿预测利用量化后的视频中的空间和/或时间冗余来开发量化后的视频的压缩表示。增强层编码器145可将压缩的增强层视频输出到信道190。在实施方案中，增强层编码器145可根据诸如在ITUH.263、H.264、H.265等中定义的预先确定的编码协议进行操作。在实施方案中，增强层编码器145可指代开关控制器130在针对输入到其中的视频数据做出编码判决时切换标记。例如，增强层编码器145可针对表示存在层间预测残差的区域以及存在HDR视频的区域之间的边界的帧的空间区禁用预测(帧内和帧间预测两者)。此类技术将有可能使得增强层编码器145更快，并且减小解码视频中不利的视觉伪影。类似地，非线性量化器140可在其操作中使用该标记。例如，非线性量化器140可在标记指示输入数据直接取自HDR源数据(例如，非残差数据)时使用比在标记指示输入数据由预测残差表示时相对更大的量化步长大小。编码端子110的元件布置可不同于图1中示出的实施例。例如，如果需要，非线性量化器140可提供在增强层处理器135的上游。另外，如果需要，增强层处理器135可提供在开关控制器130的上游，在此情况下，增强层处理器135可复制和布置在HDR源路径和像素残差路径中。在此实施方案中，增强层处理器135的操作可针对每种类型的数据而定制。尽管图1将基层编码器本文档来自技高网...

【技术保护点】
一种视频编码器，包括：基层编码器，所述基层编码器用于编码视频序列的第一表示；比较器，所述比较器具有用于所述视频序列的第二表示的输入并且具有用于预测视频数据的输入，所述第二表示具有比所述第一表示高的动态范围；层间预测器，所述层间预测器从所述基层编码器以该较高动态范围生成的编码视频数据来生成所述预测视频数据；量化器，所述量化器将从所述比较器输出的数据向下量化到较低动态范围；和增强层编码器，所述增强层编码器对从所述量化器输出的数据进行编码。

【技术特征摘要】
【国外来华专利技术】2014.11.05 US 62/075,563;2015.05.05 US 14/704,7071.一种视频编码器，包括：基层编码器，所述基层编码器用于编码视频序列的第一表示；比较器，所述比较器具有用于所述视频序列的第二表示的输入并且具有用于预测视频数据的输入，所述第二表示具有比所述第一表示高的动态范围；层间预测器，所述层间预测器从所述基层编码器以该较高动态范围生成的编码视频数据来生成所述预测视频数据；量化器，所述量化器将从所述比较器输出的数据向下量化到较低动态范围；和增强层编码器，所述增强层编码器对从所述量化器输出的数据进行编码。2.根据权利要求1所述的视频编码器，还包括转换器，所述转换器具有用于所述视频序列的第二表示的输入，以将所述视频序列的第二表示转换为所述视频序列的第一表示。3.根据权利要求1所述的视频编码器，还包括选择器，所述选择器使得所述视频序列的第二表示绕过所述比较器。4.根据权利要求1所述的视频编码器，其中所述量化器使用不同的量化值来量化来自所述视频序列的公共帧的数据的两个部分。5.根据权利要求1所述的视频编码器，还包括参数选择器，所述参数选择器联合地选择所述基层编码器和所述增强层编码器的编码参数。6.根据权利要求5所述的视频编码器，其中所述编码参数为速率分配、帧类型、模式判决以及对预测基准的选择中的一者。7.根据权利要求5所述的视频编码器，其中所述编码参数为时间编码帧次序和帧组(GOP)结构中的一者。8.根据权利要求1所述的视频编码器，还包括失真建模器，所述失真建模器基于所述量化器、所述增强层编码和所述基层编码的失真来估计编码的增强层数据的失真。9.一种方法，包括：在基层中对源视频的第一表示进行编码，从编码的第一表示来预测所述源视频的第二表示，所述第二表示具有比所述第一表示高的动态范围，从处于该较高动态范围中的源视频与所预测的第二表示的比较来生成残差，将所述残差量化到较低动态范围，以及在增强层中对所量化的残差进行编码。10.根据权利要求9所述的方法，还包括将处于所述较高动态范围的输入源视频下变换以生成所述源视频的第一表示。11.根据权利要求9所述的方法，还包括联合地选择基层编码和增强层编码的编码参数。12.根据权利要求11所述的方法，其中所述编码参数为速率分配、帧类型、模式判决以及对预测基准的选择中的一者。13.根据权利要求11所述的方法，其中所述编码参数为时间编码帧次序和帧组(GOP)结构中的一者。14.根据权利要求9所述的方法，还包括：对所述源视频的第二部分进行量化和增强层编码而不生成残差，其中编码的增强层数据包括标记，以将对具有残差的视频数据应用了增强层编码的部分与对不具有残差的视频数据应用了增强层编码的另一部分进行区别。15.根据权利要求14所述的方法，其中所述量化按照所述标记的指示对不具有残差的视频数据比具有残差的视频数据使用相对较大的步长大小。16.根据权利要求14所述的方法，其中所述增强层编码按照所述标记的指示针对...

【专利技术属性】
技术研发人员：苏野平，C·Y·郑，吴锡荣，翟杰夫，张珂，周小松，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US