抑制HDR视频系统中的像素着色误差技术方案

本公开涉及抑制HDR视频系统中的像素着色误差，部分或完全抑制或限制像素着色误差的过程。在高动态范围(HDR)视频信号的信号处理期间，可能引入由小噪声值表示的这些像素着色误差。将可视内容转换为半精度浮点表示(例如，FP16)可能由于值四舍五入而引入少量信号噪声。在HDR信号处理期间，噪声可能倍增和累积，从而产生视觉伪像并降低图像质量。本公开可以检测像素颜色分量值中的这些噪声量，并且抑制或部分抑制噪声以防止噪声在随后的HDR信号处理期间累积。

Suppressing pixel coloring error in HDR video system

【技术实现步骤摘要】
抑制HDR视频系统中的像素着色误差相关申请的交叉引用本申请要求YanboSun等人于2018年8月21日提交的题为“采用抑制量化噪声改善HDR质量(HDRQUALITYIMPROVEMENTWITHQUANTIZATIONNOISESUPPRESSION)”、序列号为62/720635的美国临时申请的权益，其通过共同转让给本申请并通过引用并入本文。
本申请总地涉及像素颜色分量校正方法，并且更具体地，涉及抑制高动态范围(HDR)视频系统中的着色误差。
技术介绍
在计算机图形和视频系统中，HDR图形和视频内容可以在线性扩展红-绿-蓝(scRGB)颜色空间中生成，具有半精度浮点格式(FP16，在IEEE754-2008中定义)。为了驱动HDR显示器，可以将FP16像素转换为感知量化器(PQ)编码的RGB或YCbCr(由ITU-RBT2100标准定义)HDR信号。在该编码处理期间，由于颜色空间转换、PQ编码、色度过滤和子采样的组合，原始FP16内容中存在的量化误差可能放大。HDR显示器将进一步放大这些误差，HDR显示器通过执行例如色度上采样、颜色空间转换矩阵和PQ解码操作来处理PQ编码的HDR信号。这种放大的误差导致在HDR显示器上显示伪像，这些伪像对于观看HDR显示器上的内容的用户是可见的，从而降低了所显示的内容的质量。
技术实现思路
在一个方面，描述了一种抑制高动态范围(HDR)信号中的像素颜色分量噪声的方法。在一个实施例中，该方法包括：(1)将像素的颜色值表示转换为具有较低精度的颜色值表示，其中所述转换在像素的一个或更多个颜色分量值中创建噪声级，(2)将颜色分量值与像素的噪声阈值进行比较，以及(3)利用所述比较减小像素的一个或更多个颜色分量值，其中从噪声级中计算噪声阈值。在另一方面，描述了一种计算机程序产品，具有存储在非暂时性计算机可读介质上的一系列操作指令，所述操作指令在被执行时指示数据处理装置执行操作以抑制用于HDR信号的像素的颜色分量值中的噪声。在一个实施例中，操作包括：(1)将像素的颜色值表示转换为具有较低精度的颜色值表示，其中所述转换在像素的一个或更多个颜色分量值中创建噪声级，(2)将颜色分量值与像素的噪声阈值进行比较，以及(3)利用所述比较减小像素的一个或更多个颜色分量值，其中从噪声级中计算噪声阈值。在另一方面，描述了用于像素颜色分量值的噪声抑制系统。在一个实施例中，噪声抑制系统包括：(1)接收器，可操作以接收HDR内容作为HDR信号；以及(2)其中HDR信号处理之一是用于所述HDR信号的一个或更多个像素的噪声抑制处理，其中所述噪声抑制处理将计算的噪声阈值与所述像素的颜色分量值进行比较以将所述像素的一个或更多个颜色分量值钳位到零值，并且其中所计算的噪声阈值利用像素的噪声级和噪声因子来计算。附图说明现在结合附图参考下面的描述，在附图中：图1是示例高动态范围(HDR)信号处理系统的框图的例示；图2是示例HDR信号处理流程的框图的例示；图3是抑制HDR信号中噪声的示例方法的流程图的例示；图4是基于图3的演示计算和利用噪声阈值以抑制HDR信号中的噪声的示例方法的流程图的例示；以及图5是基于图3的演示使用负噪声和像素颜色分量矩阵以抑制HDR信号中的噪声的示例方法的流程图的例示。具体实施方式用户通过他们的动作可以使内容显示在观看系统上，例如电视、监视器、智能手机和其他设备。内容可以是各种类型的内容，诸如来自在计算系统上执行的应用程序的视觉输出或来自服务器或数据中心的视频回放。内容可以以不同的格式提供给观看系统，例如标准动态范围(SDR)(一般用于一些网络内容和较旧的电视节目的类型)和高动态范围(HDR)(一般用于游戏应用，较新的电视和电影内容，和其他高清内容的类型)。在HDR观看系统上显示图形、图像或视频内容期间，可以在为用户显示之前通过一个或更多个HDR信号处理来处理内容。可以以不同方式处理表示内容的HDR信号。可以选择处理步骤以降低存储和传输带宽要求，或者改善HDR内容，例如，通过由于观看系统所在的房间中的环境照明而调整颜色或发光。处理步骤可以是改变HDR信号以使用半精度浮点格式(例如FP16)来降低信号的存储空间要求。也可以使用其他浮点表示，例如24位和12位。本公开将使用FP16作为演示表示。使用感知量化器(PQ)编码对HDR信号进行编码可以减小HDR信号的比特宽度，以允许更高效地存储和传输编码信号。可以应用于HDR信号的另一个处理是色度子采样，以进一步降低存储和传输带宽要求。还可以应用用于HDR信号的其他技术和处理。这些技术和处理也可以以各种组合应用，例如以减小存储要求并且还改善HDR信号。将这些技术和处理应用于HDR信号的一个潜在副作用可能是在各种处理步骤期间放大或累积信号中的少量噪声，例如误差。在处理开始时信号中的噪声对于用户而言是察觉不到的，在处理步骤结束时对用户而言是明显的干扰(视觉伪像)，因为这些处理可能无意对信号增大了噪声影响。本文呈现的是附加的处理步骤，以识别HDR信号中的噪声并轻轻地减小或从信号消除噪声。因此，在处理步骤结束时，信号不具有放大或累积的噪声导致用户的视觉伪像。附加处理步骤可以包括在HDR信号处理流程中。附加处理步骤可以包括在循环开始附近或在循环的各个点处。更详细地，在计算机图形系统中，HDR像素通常以光线性信号或PQ编码信号(即HDR10或其他标准)的形式表示。颜色空间转换(CSC)和其他光学到光学处理需要光线性信号。由于信号的高动态范围(通常为0.0-10000尼特(nit))，可以使用32位整数或FP16将像素表示为光线性信号。在将内容变换为HDR信号FP16scRGB表示之后，可能引入一些量化误差。该量化误差(即噪声)通常低于普通用户检测的能力，因此没有明显的视觉伪像。可以在CSC之后将每个scRGB分量值中的量化误差分布并贡献给其他分量。小的绝对噪声值可以在PQ中产生大的噪声值，因为PQ逆电光传递函数(EOTF-1)对小值敏感。另外，在视频处理、分布和传输中的RGB到YCbCr转换处理步骤和子采样以及相应逆处理改变了噪声分布。噪声可以通过这些过程累积，并成为每个颜色分量值的较大部分。由于PQEOTF-1可能对较大的颜色分量值(噪声是其中的一部分)敏感，因此当显示像素时，PQEOTF-1可在线性光空间中产生显著的颜色误差，从而产生用户能够注意到的视觉伪像。由于FP16量化误差可能是噪声的来源，因此一种解决方案是使用全单点浮点精度(FP32)或双浮点精度(FP64)数据值。该解决方案将导致需要更多帧缓冲存储和存储器带宽，并且可能需要额外的处理资源，从而增加了硬件和功率要求。另一种选择可以是引入抖动技术以减小量化噪声。这可以通过引入空间随机噪声消除重复的噪声模式来实现。这种方法可能导致内容质量损失。将颜色分量值钳位到绝对噪声阈值(即全局钳位值)以下的第三种方法，可以防止将噪声携带通过剩余的处理步骤。在某些信号情况下，可以钳位不应该被本文档来自技高网...

【技术保护点】
1.一种抑制高动态范围(HDR)信号中的像素颜色分量噪声的方法，包括：/n将像素的颜色值表示转换为具有较低精度的颜色值表示，其中所述转换在所述像素的一个或更多个颜色分量值中创建噪声级；/n将所述颜色分量值与所述像素的噪声阈值进行比较；以及/n利用所述比较减小所述像素的一个或更多个所述颜色分量值，其中从所述噪声级中计算所述噪声阈值。/n

【技术特征摘要】
20180821 US 62/720,635;20180828 US 62/723,625;20181.一种抑制高动态范围(HDR)信号中的像素颜色分量噪声的方法，包括：
将像素的颜色值表示转换为具有较低精度的颜色值表示，其中所述转换在所述像素的一个或更多个颜色分量值中创建噪声级；
将所述颜色分量值与所述像素的噪声阈值进行比较；以及
利用所述比较减小所述像素的一个或更多个所述颜色分量值，其中从所述噪声级中计算所述噪声阈值。


2.如权利要求1所述的方法，其中当所述颜色分量值小于所述噪声阈值时，所述减小将所述颜色分量值钳位到零。


3.如权利要求1所述的方法，其中所述减小发生在处理所述HDR信号期间、颜色空间转换(CSC)处理之后和感知量化器(PQ)逆电光传递函数(EOTF-1)处理之前。


4.如权利要求1所述的方法，其中对所述HDR信号执行空间或时间像素处理。


5.如权利要求1所述的方法，其中所述噪声阈值利用噪声因子和来自所述颜色分量值的最大值。


6.如权利要求1所述的方法，其中所述噪声阈值利用噪声因子和从所述颜色分量值中计算的发光值。


7.如权利要求6所述的方法，所述噪声因子是1/2048。


8.如权利要求7所述的方法，进一步包括：
增大所述噪声因子，其中累积噪声超过目标值。


9.如权利要求1所述的方法，其中所述噪声阈值是负噪声值，并且其中所述减小包括将所述噪声阈值与所述颜色分量值的矩阵相乘。


10.如权利要求9所述的方法，其中所述减小与scRGB到Rec2020RGB转换过程结合。


11.如权利要求9所述的方法，其中当所述颜色分量值小于所述噪声阈值的绝对值时，所述减小将所述颜色分量值钳位到零。


12.一种计算机程序产品，具有存储在非暂时性计算机可读介质上的一系列操作指令，在执行所述操作指令时指示数据处理装置执行操作以抑制用于高动态范围(HDR)信号的像素的颜色分量值中的噪声，所述操作包括：
将像素的颜色值表示转换为具有较低精度的颜色值表示，其中所述转换在所述像素的一个或更多个颜色分量值中创建噪声级；
将所述颜色分量值与所...

【专利技术属性】
技术研发人员：孙艳波，G·彼得罗夫，L·海沃瑞恩，刘伟万，柳东韩，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US