像素预处理和编码制造技术

对图片中像素的预处理包括基于用于像素的最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。预处理改善了图片的视觉质量，但相对于额外处理时间是低成本的。

【技术实现步骤摘要】
【国外来华专利技术】像素预处理和编码
提出的实施例一般涉及图片中像素的预处理和编码，并且具体而言，涉及以计算高效的方式改善像素的亮度和/或色度值的此类预处理和编码。
技术介绍
高度非线性的传递函数、4:2:0二次采样和非恒定亮度排序的组合引发了在视频序列的图片中在饱和颜色中的严重伪影。非线性传递函数将线性样本转换成非线性样本，意图模仿人类视觉。非线性传递函数的简单样本是x（1/gamma），其中gamma为2.2。另一传递函数的示例是在电影&电视工程师协会（SMPTE）规范ST2084[1]中使用的一个传递函数。在显示前，一般使用非线性传递函数的逆，但也可能使用某一函数，该函数不是非线性传递函数的逆。在gamma示例中，xgamma能够用于回到线性示例。一个示例是在[2]中描述的执行从RGB4:4:4到Y'CbCr4:2:0的转换的方式，我们将在本文档中称其为处理的“锚”方式。RGB4:4:4是一般由摄像机用于捕捉视频和显示器用于呈现视频所使用的颜色格式。为以更小的感知伪影压缩视频，RGB4:4:4一般在压缩前被转换到Y'CbCr4:2:0。在此情况下，由非线性传递函数将RGB4:4:4传递到R'G'B'4:4:4，其随后由线性颜色变换转换到Y'CbCr4:4:4。最后，在垂直和水平两个方向上按因子二将chroma样本Cb和Cr二次采样到四分之一分辨率，从而产生Y'CbCr4:2:0。如在附件B中所述，处理的锚方式引发了其中在类似亮度的两个颜色之间的更改能够产生亮度大不相同的重构图片或图像的情况。
技术实现思路
一般目的是提供像素的预处理以防止视觉伪影。特定目的是提供改善质量但相对于额外处理时间是成本低的此类预处理。这些和其它目的通过如本文中公开的实施例而得以满足。实施例的一方面涉及预处理图片中像素的方法。方法包括基于用于像素的最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。实施例的另一方面涉及用于预处理图片中像素的装置。装置配置成基于用于像素的最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。实施例的进一步方面涉及用于预处理图片中像素的装置。装置包括确定单元，确定单元用于基于用于像素的最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。装置还包括导出器，导出器用于根据默认处理链，导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者根据辅助处理链，导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。实施例还有的另一方面涉及用于对图片中像素进行编码的装置。装置包括处理器和存储器，存储器包括由处理器可执行的指令。处理器操作以基于最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。处理器还操作以根据默认处理链，导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者根据辅助处理链，导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。处理器进一步操作以对luma分量值、第一二次采样的chroma分量值和第二chroma分量值进行编码。实施例的进一步方面涉及用于对图片中像素进行编码的装置。装置包括确定单元，确定单元用于基于最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。装置还包括导出器，导出器用于根据默认处理链，导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者根据辅助处理链，导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。装置进一步包括用于对luma分量值、第一二次采样的chroma分量值和第二chroma分量值进行编码的编码器。实施例的另一方面涉及一种包括指令的计算机程序，指令在由处理器执行时促使处理器基于用于图片中像素的最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值中的至少一个。实施例的有关方面定义包括根据以上的计算机程序的载体。所述载体是电信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质之一。提出的实施例提供像素预处理和编码，其防止否则可由于与chroma二次采样组合的非线性传递函数的使用而发生的伪影。相对于处理时间，以低成本实现了在亮度和/或色度中的质量改善。附图说明通过参考以下描述并结合附图一起理解，可最好地理解实施例连同其进一步的目的和优点，其中：图1是图示了根据一实施例，预处理图片中像素的方法的流程图；图2是图示了根据一实施例，图1中示出的方法的另外可选步骤的流程图；图3是图示了根据另一实施例，预处理图片中像素的方法的流程图；图4是图示了根据又一实施例，预处理图片中像素的方法的流程图；图5是图示了根据还有的另一实施例，预处理图片中像素的方法的流程图；图6是图示了根据一另外实施例，预处理图片中像素的方法的流程图；图7是图示了根据一实施例的默认（“锚”）处理链的步骤的流程图；图8是图示了根据一实施例的第一辅助（“Ajusty”）处理链的步骤的流程图；图9是图示了根据一实施例的第二辅助（“Ajustc”）处理链的步骤的流程图；图10是图示了根据一实施例，用来形成对像素进行编码的方法的在图1中示出的方法的另外步骤的流程图；图11图示了根据一个实施例的方法的流程图；图12A和12B示意性地图示了在有序通过（sequentialpass）中执行Ajusty处理链；图13A图示了根据锚处理链和Ajusty处理链在导出luma分量值之间的差别；图13B示意性地图示了用于图13A中示出的图片的maxRGB/（minRGB+s）的商；图14是根据实施例的装置的硬件实现的示意图；图15是根据实施例的带有处理器和存储器的装置的实现的示意图；图16是根据一实施例的用户设备的示意图；图17是根据实本文档来自技高网...

【技术保护点】
一种预处理图片中像素的方法，所述方法包括：基于用于所述像素的最小颜色分量值，确定（S1）是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的至少一个。

【技术特征摘要】
【国外来华专利技术】2015.06.05 US 62/171,7471.一种预处理图片中像素的方法，所述方法包括：基于用于所述像素的最小颜色分量值，确定（S1）是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的至少一个。2.根据权利要求1所述的方法，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括如果所述最小颜色分量值低于阈值，则选择（S1）所述辅助处理链，以及否则选择所述默认处理链。3.根据权利要求1所述的方法，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括基于用于所述像素的所述最小颜色分量值和最大颜色分量值，确定（S1）是否所述默认处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，或者是否所述辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的所述至少一个。4.根据权利要求3所述的方法，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括基于在所述最大颜色分量值或其加权版本与1）所述最小颜色分量值或其加权版本，或2）所述最小颜色分量值或其所述加权版本与某个常数的和之间的商，确定（S1）是否所述默认处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，或者是否所述辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的所述至少一个。5.根据权利要求4所述的方法，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括如果所述商超过阈值，则选择（S1）所述辅助处理链，以及否则选择所述默认处理链。6.根据权利要求5所述的方法，进一步包括：按照计算（S10）函数值，其中max表示所述最大颜色分量值或其所述加权版本，min表示所述最小颜色分量值或其所述加权版本，并且s是所述常数；以及比较（S11）所述函数值和所述阈值。7.根据权利要求4或5所述的方法，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括：在查找表中输入（S20）用于所述像素的颜色分量值，所述查找表配置成如果所述商超过阈值，则输出第一值，以及否则输出第二值；如果从所述查找表输出的值等于所述第一值，则选择（S21）所述辅助处理链；以及如果从所述查找表输出的所述值等于所述第二值，则选择（S21）所述默认处理链。8.根据权利要求1到7中任一项所述的方法，进一步包括：使用所述默认处理链，导出（S30）所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括基于所述最小颜色分量值，确定（S31）是否所述默认处理链用于导出所述luma分量值，或者是否第一辅助处理链用于导出所述luma分量值。9.根据权利要求1到7中任一项所述的方法，进一步包括：使用所述默认处理链，导出（S40）所述luma分量值，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括基于所述最小颜色分量值，确定（S41）是否所述默认处理链用于导出所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，或者是否第二辅助处理链用于导出所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值。10.根据权利要求1到7中任一项所述的方法，其中确定（S1）是使用所述默认处理链还是所述辅助处理链包括基于所述最小颜色分量值，确定（S50）是否所述默认处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，或者是否第一辅助处理链用于导出所述luma分量值，并且第二辅助处理链用于导出所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值。11.根据权利要求1到10中任一项所述的方法，其中所述默认处理链包括：对第一颜色空间中的线性颜色应用（S60）第一传递函数，以获得所述第一颜色空间中的非线性颜色；对所述第一颜色空间中的所述非线性颜色应用（S61）第一颜色变换，以获得第二颜色空间中的所述luma分量值和两个chroma分量值；以及对所述第二颜色空间中的所述两个chroma分量值进行二次采样（S62），以获得所述第二颜色空间中的所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值。12.根据权利要求8或10，或在从属于权利要求8或10时的权利要求11所述的方法，其中所述第一辅助处理链包括：获得（S70）基于第一颜色空间中所述像素的线性颜色所确定的第三颜色空间中所述像素的原始线性亮度分量值；以及基于第二颜色空间中的两个chroma分量值和所述第三颜色空间中的所述原始线性亮度分量值，导出（S71）所述第二颜色空间中的所述luma分量值。13.根据权利要求9或10，或在从属于权利要求9或10时的权利要求11所述的方法，其中所述第二辅助处理链包括：对第一颜色空间中的线性颜色进行二次采样（S80），以获得所述第一颜色空间中的二次采样的线性颜色；对所述第一颜色空间中的所述二次采样的线性颜色应用（S81）第一传递函数，以获得所述第一颜色空间中的二次采样的非线性颜色；以及对所述第一颜色空间中的所述二次采样的非线性颜色应用（S82）第一颜色变换，以获得第二颜色空间中的所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值。14.一种对图片中像素进行编码的方法，所述方法包括：根据权利要求1到13中任一项来预处理（S1）所述像素，以导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值；以及对所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值进行编码（S2）。15.一种用于预处理图片中像素的装置（100，110），其中所述装置（100，110）配置成基于用于所述像素的最小颜色分量值，确定是否默认处理链用于导出luma分量值、第一二次采样的chroma分量值和第二二次采样的chroma分量值，或者是否辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的至少一个。16.根据权利要求15所述的装置，其中所述装置（100，110）配置成如果所述最小颜色分量值低于阈值，则选择所述辅助处理链，以及否则选择所述默认处理链。17.根据权利要求15所述的装置，其中所述装置（100，110）配置成基于用于所述像素的所述最小颜色分量值和最大颜色分量值，确定是否所述默认处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，或者是否所述辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的所述至少一个。18.根据权利要求17所述的装置，其中所述装置（100，110）配置成基于在所述最大颜色分量值或其加权版本与1）所述最小颜色分量值或其加权版本，或2）所述最小颜色分量值或其所述加权版本与某个常数的和之间的商，确定是否所述默认处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值，或者是否所述辅助处理链用于导出所述luma分量值、所述第一二次采样的chroma分量值和所述第二二次采样的chroma分量值中的所述至少一个。19.根据权利要求18所述的装置，其中所述装置（100，110）配置成如果所述商超过阈值，则选择所述辅助处理链，以及否则选择所述默认处理链。20.根据权利要求19所述的装置，其中所述装置（100，110）配置成按照计算函数值，其中max表示所述最大颜色分量值或其所述加权版本，min表示所述最小颜色分量值或其所述加权版本，并且s是所述常数；以及所述装置（100，110）配置成比较所述函数值和所述阈值。21.根据权利要求18或19所述的装置，其中所述装置（100，110）配置成在查找表中输入用于所述像素的颜色分量值，所述查找表配置成如果所述商超过阈值，则输...

【专利技术属性】
技术研发人员：J施特雷姆，K安德森，M彼得森，J萨米尔森，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE