像素处理和编码制造技术

一种处理包括多个画面的视频序列的画面中的像素的方法包括：识别画面中要处理的像素，针对所述像素，小于第一阈值的所述像素的颜色的线性表示的变化导致大于第二阈值的所述颜色的非线性表示的变化。所述颜色的线性表示的变化也导致小于第三阈值的所述颜色的基于亮度和色度的表示的变化。所述方法还包括：通过修改所述像素的至少一个颜色分量的值来处理所识别的像素。所述方法在某些情况下实现了对特定颜色分量的选择性去噪，以降低编码成本，但不会显著影响视觉质量。

Pixel processing and coding

The method includes a pixel processing includes multiple video sequences of the picture in the picture: the pixel to be processed to identify the picture, for the pixel, the pixel linear variation is smaller than the first threshold color representation of the non linear lead to changes in the color threshold that is greater than second. The change of the linear representation of the color also leads to a change in the representation of the color based on the brightness and chromaticity of the color less than the third threshold. The method also includes that the identified pixels are processed by modifying the value of at least one color component of the pixel. In some cases, the method realizes the selective denoising of a specific color component to reduce the coding cost, but it does not significantly affect the visual quality.

【技术实现步骤摘要】
【国外来华专利技术】像素处理和编码
本实施例总体上涉及对画面中的像素的处理和编码，并且具体涉及在感知到的质量没有显著恶化的情况下提高编码效率这样的处理和编码。
技术介绍
高度非线性传递函数4∶2∶0或4∶2∶2二次采样和非恒定亮度排序的组合导致饱和颜色中的严重伪像，即接近色域边缘的颜色值。在附录B中描述了一个示例，其中两种相似亮度的颜色之间的变化可能导致具有非常不同亮度的重构图像或画面。解决问题的一种方法是不使用亮度值Y′和色度值Cb′和Cr′进行编码，而是使用一些其他颜色表示。然而，有迹象表明，除Y′Cb′Cr′以外的颜色表示不能很好地压缩。举例来说，MPEG(运动图像专家组)尝试了YdZdX，但是压缩效率相对于Y′Cb′Cr′没有竞争力。此外，许多系统已经使用Y′Cb′Cr′或R′G′B′用于到显示器的信号的最后一步。例如，HDMI(高清晰度多媒体接口)标准最近已经采纳了使用ST2084的Y′Cb′Cr′4∶2∶0的利用，以用于如CEA-861.3[4]中规定的从机顶盒到TV的图像传输。这意味着，即使编码是在一些其他颜色表示中完成的，解码后仍然需要转换为Y′Cb′Cr′4∶2∶0，这会产生伪像。与其他解码链相比，正确地进行这种转换可能相当复杂，而在编码器中做同样的事情相对来说并不昂贵；编码已经比解码复杂得多了。因此，最好在编码器中已经对Y′Cb′Cr进行了高质量的转换。由于这些原因，能够使用Y′Cb′Cr′表示来进行HDR(高动态范围)数据的编码是有利的。应对这个问题的另一种方法是简单地确保色域的边缘从不被使用。然而，这将严重限制可以再现的颜色的种类，所以这不是一个好的解决方案。该问题的另一个解决方案是使用具有较低陡度(即较小非线性)的传递函数，如BT.1886。然而，这种方法的问题是需要更多的比特(bit)来表示像素的每个颜色分量以避免带状伪像。备选地，可以使用相同数量的位，但限制峰值亮度。因此，需要对视频序列的画面中的像素进行有效处理，以克服至少一些上述问题，并且不具有上述解决方案的缺点。
技术实现思路
本专利技术的一般目的在于，提供对视频序列的画面中的像素的改进处理。实施例的一个方面涉及用于处理包括多个画面的视频序列的画面中的像素的方法。该方法包括识别画面中要处理的像素，针对该像素，小于第一阈值的该像素的颜色的线性表示的变化导致大于第二阈值的该颜色的非线性表示的变化。该颜色的线性表示的变化也导致小于第三阈值的该颜色的基于亮度和色度的表示的变化。该方法还包括通过修改像素的至少一个颜色分量的值来处理识别的像素。实施例的另一方面涉及一种用于处理包括多个画面的视频序列的画面中的像素的设备。该设备被配置为识别画面中要处理的像素，针对该像素，小于第一阈值的该像素的颜色的线性表示的变化导致大于第二阈值的该颜色的非线性表示的变化。该颜色的线性表示的变化也导致小于第三阈值的该颜色的基于亮度和色度的表示的变化。该设备还被配置为通过修改像素的至少一个颜色分量的值来处理识别的像素。实施例的另一方面涉及一种用于处理包括多个画面的视频序列的画面中的像素的设备。该设备包括：确定单元，用于识别画面中要处理的像素，针对该像素，小于第一阈值的该像素的颜色的线性表示的变化导致大于第二阈值的该颜色的非线性表示的变化。该颜色的线性表示的变化也导致小于第三阈值的该颜色的基于亮度和色度的表示的变化。该设备还包括像素处理器，通过修改该像素的至少一个颜色分量的值来处理识别的像素。实施例的又一方面涉及一种用于对包括多个画面的视频序列的画面中的像素进行编码的设备。该设备包括：确定单元，用于识别画面中要处理的像素，针对该像素，小于第一阈值的该像素的颜色的线性表示的变化导致大于第二阈值的该颜色的非线性表示的变化。该颜色的线性表示的变化也导致小于第三阈值的该颜色的基于亮度和色度的表示的变化。该设备还包括像素处理器，用于通过修改该颜色的线性表示中的至少一个颜色分量的值来处理识别的像素。该设备还包括用于将该颜色的线性表示转换为该像素的颜色的非线性表示的转换器。该设备另外包括用于对该颜色的非线性表示进行编码的编码器。实施例的另一方面涉及一种用于对包括多个画面的视频序列的画面中的像素进行编码的设备。该设备包括处理器和包括可由处理器执行的指令的存储器。处理器可操作以识别图像中要处理的像素，针对该像素，小于第一阈值的该像素的颜色的线性表示的变化导致大于第二阈值的该颜色的非线性表示的变化。该颜色的线性表示的变化也导致小于第三阈值的该颜色的基于亮度和色度的表示的变化。处理器还操作为通过修改该颜色的线性表示中的至少一个颜色分量的值来处理所识别的像素。处理器进一步操作以将该颜色的线性表示转换为该像素的颜色的非线性表示。另外，处理器操作为对该颜色的非线性表示进行编码。实施例的另一方面涉及一种包括指令的计算机程序，所述指令在由处理器执行时使所述处理器识别包括多个画面的视频序列的画面中要处理的像素，针对该像素，小于第一阈值的该像素的颜色的线性表示的变化导致大于第二阈值的该颜色的非线性表示的变化。该颜色的线性表示的变化也导致小于第三阈值的该颜色的基于亮度和色度的表示的变化。还使处理器通过修改该像素的至少一个颜色分量的值来处理所识别的像素。实施例的相关方面定义了一种包括如上所述的计算机程序的载体。所述载体是以下之一：电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质。实施例的另一方面涉及表示包括多个画面的视频序列的画面中的像素的编码版本的信号。所述编码版本包括根据任何实施例的像素的颜色的编码的非线性表示。实施例的处理实现了对具有满足定义的标准的颜色的像素的颜色分量的选定的去噪。该去噪导致编码更便宜但针对肉眼不会与原始像素可见地不同(即没有任何去噪)的像素的颜色表示。附图说明通过参考以下结合附图的描述，可以最好地理解实施例及其进一步的目的和优点，在附图中：图1是示出根据一个实施例的处理画面中的像素的方法的流程图；图2是示出图1中的识别步骤的实施例的流程图；图3是示出根据另一实施例的处理画面中的像素的方法的流程图；图4是示出图1中的处理步骤的实施例的流程图；图5是示出图1中的处理步骤的另一实施例的流程图；图6是示出图1中的处理步骤的另外的实施例的流程图；图7是示出根据实施例的用于形成对像素进行编码的方法的图1所示的方法的附加步骤的流程图；图8示出了原始图像(A)的色调映射版本，用PQ(.)处理以显示细节(B)，u′(C)和v′(D)的线性亮度Y；图9示出了图像的R′G′B’版本，即在将非线性PQ(.)函数应用于每个分量(A)，Y′分量(B)，Cb′(C)和Cr′(D)之后的R′G′B’版本；图10示出了与图9B(A)中相同的Y′、二次采样的Cb′分量(B)、二次采样的Cr′分量(C)以及所得到的图像(D)的色调映射版本；图11示出了锚图像(A)的PQ(Y)、u′分量(B)和v′分量(C)；图12示出了使用附件A(A)的Ajusty方法的校正的Y′、Cb′分量(B)、Cr′分量(C)、PQ(Y)和所得图像(E)的色调映射版本；图13示出了函数PQ(x)的曲线图；图14示出了使用简单伪代码识别的问题区域；图15示出了在模糊(B)之后模糊(A)之前的绿色分量(PQ(G)本文档来自技高网...

【技术保护点】
一种用于处理包括多个画面的视频序列的画面中的像素的方法，所述方法包括：识别(S1)在所述画面中要处理的像素，针对所述像素：小于第一阈值的所述像素的颜色的线性表示的变化导致大于第二阈值的所述颜色的非线性表示的变化；以及所述颜色的所述线性表示的所述变化导致小于第三阈值的所述颜色的基于亮度和色度的表示的变化；以及通过修改所述像素的至少一个颜色分量的值来处理(S2)所识别的像素。

【技术特征摘要】
【国外来华专利技术】2015.05.20 US 62/164,1601.一种用于处理包括多个画面的视频序列的画面中的像素的方法，所述方法包括：识别(S1)在所述画面中要处理的像素，针对所述像素：小于第一阈值的所述像素的颜色的线性表示的变化导致大于第二阈值的所述颜色的非线性表示的变化；以及所述颜色的所述线性表示的所述变化导致小于第三阈值的所述颜色的基于亮度和色度的表示的变化；以及通过修改所述像素的至少一个颜色分量的值来处理(S2)所识别的像素。2.根据权利要求1所述的方法，其中，识别(S1)所述要处理的像素包括：识别(S1)所述画面中具有小于第四阈值的所述颜色的所述线性表示的颜色分量的值的像素，以及针对所述像素，所述颜色分量的所述值与所述颜色的所述线性表示的另一颜色分量的值之比小于第五阈值。3.根据权利要求1或2所述的方法，其中，识别(S1)所述要处理的像素包括：识别(S1)所述画面中具有小于第四阈值的所述颜色的所述线性表示的颜色分量的值的像素，以及针对所述像素，所述颜色的所述线性表示的至少一个颜色分量的值大于第六阈值。4.根据权利要求3所述的方法，其中，识别(S1)所述要处理的像素包括：识别(S1)所述画面中具有小于所述第四阈值的所述颜色的所述线性表示的所述颜色分量的所述值的像素，以及针对所述像素，所述颜色的所述线性表示的所述至少一个其他颜色分量的所述值等于或大于所述颜色的所述线性表示的所述颜色分量的所述值的因子倍数，其中所述因子大于1。5.根据权利要求1至4中任一项所述的方法，其中，识别(S1)所述要处理的像素包括识别所述画面中的要处理的像素，针对所述像素：小于所述第一阈值的所述颜色的所述线性表示的变化导致大于所述第二阈值的所述颜色的Y′Cb′Cr′表示的变化；以及所述颜色的所述线性表示的所述变化导致小于所述第三阈值的所述颜色的PQ(Y)u′v′或PQ(Y)xy表示的变化。6.根据权利要求5所述的方法，其中所述颜色的所述线性表示是所述颜色的RGB表示，并且识别(S1)所述要处理的像素包括：针对所述像素，基于亮度分量Y′、色度分量Cb′和色度分量Cr′相对于所述颜色的所述RGB表示中的至少一个颜色分量的导数和基于亮度的分量PQ(Y)和基于色度的分量u′v′或xy相对于所述RGB表示中的所述至少一个颜色分量的导数来计算(S20)不稳定性系数；以及如果所述不稳定性系数高于第七阈值，则选择(S21)所述要处理的像素。7.根据权利要求6所述的方法，其中，计算(S20)所述不稳定性系数包括基于下式来计算(S20)所述不稳定性系数Ci：或者其中w1...w6是非零权重或不存在，并且A表示所述RGB表示中的红色分量R、绿色分量G和蓝色分量B中的一个。8.根据权利要求6或7所述的方法，其中处理(S2)所识别的像素包括：如果所述不稳定性系数高于所述第七阈值，则用所述像素的至少一个颜色分量的修改值替换(S22)所述至少一个颜色分量的原始值；如果所述不稳定性系数等于或小于所述第七阈值但等于或大于第八阈值，则用所述至少一个颜色分量的所述原始值和所述至少一个颜色分量的所述修改值的线性组合替换(S24)所述至少一个颜色分量的所述原始值；以及如果所述不稳定性系数小于所述第八阈值，则保持(S25)所述至少一个颜色分量的所述原始值。9.根据权利要求1至8中任一项所述的方法，其中处理(S2)所识别的像素包括：通过修改所述颜色的所述线性表示的至少一个颜色分量的值来处理(S2)所识别的像素。10.根据权利要求1至9中任一项所述的方法，其中，处理(S2)所识别的像素包括：用所述画面中的相邻像素的所述至少一个颜色分量的值的加权平均来替换(S31)所述像素的所述至少一个颜色分量的所述值。11.根据权利要求10所述的方法，还包括识别(S30)所述画面中的相邻像素，针对所述相邻像素：小于所述第一阈值的所述相邻像素的颜色的线性表示的变化导致大于所述第二阈值的所述相邻像素的所述颜色的非线性表示的变化；以及所述相邻像素的所述颜色的所述线性表示的所述变化导致小于所述第三阈值的所述相邻像素的所述颜色的基于亮度和色度的表示的变化，其中替换(S31)所述值包括：用所述画面中的所识别的相邻像素的所述至少一个颜色分量的值的加权平均来替换(S31)所述像素的所述至少一个颜色分量的所述值。12.根据权利要求10所述的方法，还包括识别(S30)所述画面中的相邻像素，针对所述相邻像素：所述像素的亮度分量的值与所述相邻像素的亮度分量的值之间的绝对差等于或小于第九阈值；以及所述像素的色度分量的相应值与所述相邻像素的色度分量的相应值之间的相应绝对差等于或小于第十阈值，其中替换(S31)所述值包括：用所述画面中的所识别的相邻像素的所述至少一个颜色分量的值的加权平均来替换所述像素的所述至少一个颜色分量的所述值。13.根据权利要求1至7中任一项所述的方法，其中处理(S2)所识别的像素包括：将所述至少一个颜色分量的所述值设置(S40)为固定值。14.根据权利要求1至7中任一项所述的方法，其中处理(S2)所识别的像素包括：对所述像素的所述至少一个颜色分量的所述值进行过滤(S41)。15.根据从属于权利要求6或7时的权利要求14所述的方法，其中对所述值进行过滤(S41)包括：利用滤波器对所述像素的所述至少一个颜色分量的所述值进行过滤(S41)，所述滤波器具有基于所述不稳定性系数确定的滤波器系数。16.一种对包括多个画面的视频序列的画面中的像素进行编码的方法，所述方法包括：根据权利要求1至15中任一项所述的方法对所述像素进行处理(S1，S2)，以修改所述像素的颜色的线性表示中所述像素的至少一个颜色分量的值；将所述颜色的所述线性表示转换(S3)为所述像素的所述颜色的非线性表示；以及对所述颜色的所述非线性表示进行编码(S4)。17.一种用于处理包括多个画面的视频序列的画面中的像素的设备(100，110)，其中，所述设备(100，110)被配置为识别所述画面中要处理的像素，针对所述像素：小于第一阈值的所述像素的颜色的线性表示的变化导致大于第二阈值的所述颜色的非线性表示的变化；以及所述颜色的所述线性表示的所述变化导致小于第三阈值的所述颜色的基于亮度和色度的表示的变化；以及所述设备(100，110)被配置为通过修改所述像素的至少一个颜色分量的值来处理所识别的像素。18.根据权利要求17所述的设备，其中，所述设备(100，110)被配置为：识别所述画面中具有小于第四阈值的所述颜色的所述线性表示的颜色分量的值的像素，针对所述像素，所述颜色分量的所述值与所述颜色的所述线性表示的另一颜色分量的值之比小于第五阈值。19.根据权利要求17或18所述的设备，其中，所述设备(100，110)被配置为：识别所述画面中具有小于第四阈值的所述颜色的所述线性表示的颜色分量的值的像素，以及针对所述像素，所述颜色的所述线性表示的至少一个颜色分量的值大于第六阈值。20.根据权利要求19所述的设备，其中，所述设备(100，110)被配置为：识别所述画面中具有小于所述第四阈值的所述颜色的所述线性表示的所述颜色分量的所述值的像素，以及针对所述像素，所述颜色的所述线性表示的所述至少一个其它颜色分量的所述值等于或大于所述颜色的所述线性表示的所述颜色分量的所述值的因子倍数，其中所述因子大于1。21.根据权利要求17至20中任一项所述的设备，其中，所述设备(100，110)被配置为识别所述画面中要处理的像素，针对所述像素：小于所述第一阈值的所述颜色的所述线性表示的变化导致大于所述第二阈值的所述颜色的Y′Cb′Cr′表示的变化；以及所述颜色的所述线性表示的所述变化导致小于所述第三阈值的所述颜色的PQ(Y)...

【专利技术属性】
技术研发人员：雅各布·斯特罗姆，乔纳坦·萨缪尔森，肯尼思·安德森，马丁·彼得松，奥利·鲍曼，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE