用于环内转换的方法、装置和计算机可读存储介质制造方法及图纸

本公开内容涉及一种用于环内转换的方法、装置和计算机可读存储介质。使用高位深度缓存器来存储输入数据和先前解码的参考数据，前向环内再成形函数和后向环内再成形函数允许在低于输入位深度的目标位深度处执行视频编码和解码。还提出了用于对再成形函数进行聚类以减少数据开销的方法。

【技术实现步骤摘要】
用于环内转换的方法、装置和计算机可读存储介质本申请为于2017年9月30日提交、申请号为201680020406.3、专利技术名称为“高动态范围视频编码中的在环且基于块的图像再成形”的中国专利申请的分案申请。所述母案申请的国际申请日为2016年3月30日，国际申请号为PCT/US2016/025082。相关申请的交叉引用本申请要求于2015年4月6日提交的美国临时专利申请第62/143,478号的优先权，其全部内容通过引用并入本文。
本专利技术一般涉及图像。更具体地，本专利技术的实施方式涉及用于具有高动态范围的图像和视频序列的环内且基于块的图像再成形。
技术介绍
如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中例如从最黑暗的暗(黑色)到最明亮的亮(白色)的强度范围(例如，发光度、亮度)的能力。在这个意义上，DR涉及“参考场景”的强度。DR还可以涉及显示装置充分地或近似地渲染特定宽度的强度范围的能力。在这个意义上，DR涉及“参考显示”的强度。除非特定含义在本文的描述中的任何点处明确地被指定为具有特定意义，否则应当推断该术语可以在任何意义上例如可互换地使用。如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR宽度。在实践中，人类可以同时感知强度范围中的广泛宽度的DR可能会相对于HDR有所截短。如本文所使用的，术语“增强动态范围(EDR)”或“视觉动态范围(VDR)”可以单独或可互换地涉及由包括眼睛运动的人类视觉系统(HVS)在场景或图像内可感知的DR，从而允许跨场景或图像的一些光适应变化。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，尽管相对于真实的参考场景的HDR有所变窄，但是EDR仍然表现出宽的DR宽度，并且也可以被称为HDR。在实践中，图像包括一个或更多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度(例如，n＝8)表示。使用线性亮度编码，其中，n≤8的图像(例如，颜色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。还可以使用高精度(例如，16位)浮点格式(诸如由工业光魔(IndustrialLightandMagic)开发的OpenEXR文件格式)来存储和分发EDR和HDR图像。用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)之间的关系，以输出由显示器产生的屏幕颜色值(例如，屏幕亮度)。例如，ITURec.ITU-RBT.1886，“Referenceelectro-opticaltransferfunctionforflatpaneldisplaysusedinHDTVstudioproduction”(03/2011)——其全部内容通过引用包括在本文中——基于阴极射线管(CRT)的测量的特性定义了平板显示器的参考EOTF。给定视频流，关于其EOTF的信息通常作为元数据嵌入在位流中。如本文所使用的，术语“元数据”涉及作为编码位流的一部分而被发送的任意辅助信息，并且辅助解码器渲染解码图像。这样的元数据可以包括但不限于如本文所描述的颜色空间或色域(gamut)信息、参考显示参数和辅助信号参数。大多数消费者的桌面显示器目前支持200cd/m2或尼特至300cd/m2或尼特的亮度。大多数消费者的HDTV范围从300尼特至500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这样的常规显示器代表相对于HDR或EDR较低的动态范围(LDR)，也称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)两者的进步而增加，HDR内容可以被颜色分级并显示在支持更高的动态范围(例如，从1,000尼特到5,000尼特或更大)的HDR显示器上。可以使用支持高亮度能力(例如，0尼特至10,000尼特)的替选EOTF来定义这样的显示器。这样的EOTF的示例在SMPTEST2084:2014“HighDynamicRangeEOTFofMasteringReferenceDisplays”——其全部内容通过引用并入本文——中定义。通常，不限于此，本公开内容的方法涉及高于SDR的任意动态范围。如本专利技术人在此所理解的，期望用于视频编码中的高动态范围图像的自适应环内再成形的改进技术。本部分中描述的方法是可以追求的方法，但不一定是先前已经设想或追求的方法。因此，除非另有说明，否则不应假设本部分中描述的任何方法仅仅因为包含在本部分中而成为现有技术。类似地，除非另有说明，否则不应假设在基于本部分的任何现有技术中已经认识到针对一个或更多个方法确定的问题。
技术实现思路
本专利技术的一方面涉及一种用于通过编码器在帧内编码中进行环内再成形的方法，该方法包括：访问位于输入位深度的输入图像；将输入图像划分成编码区域；以及对于位于输入位深度的输入图像的编码区域：针对编码区域选择前向再成形函数和后向再成形函数，其中，前向再成形函数被配置成将位于输入位深度的图像数据转换到目标位深度，其中，后向再成形函数被配置成将位于目标位深度的图像数据转换到输入位深度，并且其中，目标位深度低于或等于输入位深度；访问位于输入位深度的参考数据，参考数据是来自先前编码区域的像素数据；将前向再成形函数施加于编码区域的像素数据和参考数据，以生成位于目标位深度的第二编码区域像素数据和第二参考数据；基于第二参考数据和第二编码区域像素数据执行帧内预测，以生成预测像素数据；基于预测像素数据生成残差像素数据；使用编码器对残差像素数据进行编码，以生成位于目标位深度的编码位流；基于对编码位流的环内解码，使用编码器生成重构残差像素数据；以及将后向再成形函数施加于重构残差像素数据，以生成位于输入位深度的未来参考数据，未来参考数据被存储在帧缓存器中，以在未来编码区域的编码中用作参考数据。本专利技术的另一方面涉及一种用于通过解码器在帧内编码中进行环内再成形的方法，该方法包括：访问位于编码位深度的编码位流；访问数据，数据表征编码位流中的一个或更多个编码区域的前向再成形函数和/或后向再成形函数，其中，前向再成形函数被配置成将位于输出位深度的图像数据转换到编码位深度，其中，后向再成形函数被配置成将位于编码位深度的图像数据转换到输出位深度，并且其中，编码位深度低于或等于输出位深度；对于编码位流中的编码区域：为编码区域分配前向再成形函数和后向再成形函数；访问位于输出位深度的参考数据，其中，输出位深度大于或等于编码位深度，参考数据是来自先前解码区域的像素数据；将前向再成形函数施加于参考数据，以生成位于编码位深度的第二参考数据；基于编码位流数据和第二参考数据，使用解码器中的帧内预测针对编码区域生成位于编码位深度的解码像素数据；以及将后向再成形函数施加于解码像素数据，以生成位于输出位深度的未来参考数据和输出数据，未来参考数据被存储在帧缓存器中，以在未来编码区域的解码中用作参考数据。本专利技术的另一方面涉及一种设备，其包括处理器并且被配置成执行上述方法中的任一种。本专利技术的又一方面涉及一种非暂态计算机可读存储介质，本文档来自技高网...

【技术保护点】
1.一种用于通过编码器在帧内编码中进行环内再成形的方法，所述方法包括：访问位于输入位深度的输入图像；将所述输入图像划分成编码区域；对于位于所述输入位深度的输入图像的编码区域(207)：针对所述编码区域选择前向再成形函数(310)和后向再成形函数(335)，其中，所述前向再成形函数(310)被配置成将位于所述输入位深度的图像数据转换到目标位深度，其中，所述后向再成形函数(335)被配置成将位于所述目标位深度的图像数据转换到所述输入位深度，并且其中，所述目标位深度低于或等于所述输入位深度；访问位于所述输入位深度的参考数据(237)，所述参考数据(237)是来自先前编码区域(207)的像素数据；将所述前向再成形函数(310)施加于所述编码区域的像素数据和所述参考数据，以生成位于所述目标位深度(212)的第二编码区域像素数据和第二参考数据；基于所述第二编码区域像素数据和所述第二参考数据的像素数据执行帧内预测，以生成预测像素数据；基于所述预测像素数据生成残差像素数据；使用编码器对所述残差像素数据进行编码(315)，以生成位于所述目标位深度的编码位流(317)；基于对所述编码位流的环内解码，使用所述编码器生成(325)重构残差像素数据；以及将所述后向再成形函数(335)施加于所述重构残差像素数据，以生成位于所述输入位深度的未来参考数据(237)，所述未来参考数据(237)被存储在帧缓存器中，以在未来编码区域(207)的编码中用作参考数据(237)。...

【技术特征摘要】
2015.04.06 US 62/143,4781.一种用于通过编码器在帧内编码中进行环内再成形的方法，所述方法包括：访问位于输入位深度的输入图像；将所述输入图像划分成编码区域；对于位于所述输入位深度的输入图像的编码区域(207)：针对所述编码区域选择前向再成形函数(310)和后向再成形函数(335)，其中，所述前向再成形函数(310)被配置成将位于所述输入位深度的图像数据转换到目标位深度，其中，所述后向再成形函数(335)被配置成将位于所述目标位深度的图像数据转换到所述输入位深度，并且其中，所述目标位深度低于或等于所述输入位深度；访问位于所述输入位深度的参考数据(237)，所述参考数据(237)是来自先前编码区域(207)的像素数据；将所述前向再成形函数(310)施加于所述编码区域的像素数据和所述参考数据，以生成位于所述目标位深度(212)的第二编码区域像素数据和第二参考数据；基于所述第二编码区域像素数据和所述第二参考数据的像素数据执行帧内预测，以生成预测像素数据；基于所述预测像素数据生成残差像素数据；使用编码器对所述残差像素数据进行编码(315)，以生成位于所述目标位深度的编码位流(317)；基于对所述编码位流的环内解码，使用所述编码器生成(325)重构残差像素数据；以及将所述后向再成形函数(335)施加于所述重构残差像素数据，以生成位于所述输入位深度的未来参考数据(237)，所述未来参考数据(237)被存储在帧缓存器中，以在未来编码区域(207)的编码中用作参考数据(237)。2.根据权利要求1所述的方法，还包括：对于位于所述输入位深度的输入图像的编码区域，将所述编码位流与元数据进行复用，所述元数据表征所述前向再成形函数和/或所述后向再成形函数。3.根据权利要求1所述的方法，其中，使用编码器对所述残差像素数据进行编码以生成位于所述目标位深度的编码位流包括：将编码变换施加于所述残差像素数据，以生成变换的残差数据；将量化施加于所述变换的残差数据，以生成量化数据；以及将熵编码施加于所述量化数据，以生成所...

【专利技术属性】
技术研发人员：苏冠铭，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US