多颜色通道多元回归预测算子制造技术

本发明专利技术公开了一种多颜色通道多元回归预测算子。颜色间图像预测是基于多通道多元回归(MMR)模型。图像预测应用于图像的有效编码和高动态范围的视频信号。MMR模型可包括一阶参数，二阶参数以及交叉像素参数。还提出了利用包含了邻近像素关系的扩展参数的MMR模型。利用最小均方误差准则，针对多种MMR模型提出了预测参数的封闭式解。

【技术实现步骤摘要】
多颜色通道多元回归预测算子本申请为2012年4月13日提交的国际申请号为PCT/US2012/033605、专利技术名称为“多颜色通道多元回归预测算子”的PCT申请的分案申请，该PCT申请进入中国国家阶段日期为2013年10月11日，国家申请号为201280018070.9。相关申请的交叉引用本申请要求于2011年4月14日提交的美国临时专利申请No.61/475,359的权益，其全部内容通过引用结合于此。本申请还涉及于2011年4月14日提交的共同未决的美国临时专利申请No.61/475,372，其全部内容通过引用结合于此。
本专利技术总体上涉及图像。更具体地，本专利技术的实施例涉及高动态范围图像与标准动态范围图像之间的多颜色通道、多元回归预测算子。
技术介绍
如本文中所使用的术语“动态范围”(DR，dynamicrange)涉及人类视觉系统(HVS，humanpsychovisualsystem)对图像中例如从最暗的暗部到最亮的亮部的强度(例如，亮度)范围进行感知的能力。从这个意义上讲，DR涉及“与场景相关”的强度。DR还可涉及显示设备适当地或近似地呈现特定宽度的强度范围的能力。从这个意义上讲，DR涉及“与显示器相关”的强度。除非在本文的描述中的任何一点处明确地指出特定的意义具有特定含义，否则应推断该术语可以(例如，互换地)用在任意一种意义中。如本文中所使用的术语高动态范围(HDR，highdynamicrange)涉及跨越人类视觉系统(HVS)的某14-15个数量级的DR宽度。例如，基本正常的适应良好的人(例如，在一个或多个统计学意义上、计量生物学意义上或眼科学意义上)具有跨越约15个数量级的强度范围。适应的人可感知少到只有极少数光子的微弱光源。然而，同样的人可感知沙漠、海或雪中正午太阳的近乎刺痛的耀眼强度(或甚至看着太阳，然而只是短暂地看着，以防止伤害)。虽然这个跨度对“适应的”人而言是可达到的，但例如那些人的HVS具有进行重置和调节的时间段。相比之下，较之HDR，人类可同步感知强度范围中的扩展宽度的DR可在一定程度上缩短。如在本文中所使用的术语“视觉动态范围”或“可变动态范围”(VDR，variabledynamicrange)可单独地或互换地涉及可由HVS同时感知的DR。如本文中所使用的VDR可涉及跨越5-6个数量级的DR。因此，尽管与真实场景相关的HDR可能在一定程度上变窄，但VDR仍表示较宽的DR宽度。如本文中所使用的术语“同步动态范围”可涉及VDR。直至最近，显示器具有了比HDR或VDR明显更窄的DR。使用常规阴极射线管(CRT，cathoderaytube)，带有恒定的荧光白背光照明的液晶显示器(LCD，liquidcrystaldisplay)或等离子屏幕技术的电视(TV)和计算机监视装置在它们的DR呈现能力上会限制于约三个数量级。因此这种传统的显示器特征是低动态范围(LDR，lowdynamicrange)，对于VDR和HDR，还称为标准动态范围(SDR，standarddynamicrange)。然而，它们的基础技术中的进步允许更新式的显示器设计，以便相对于呈现在不够新式的显示器上的图像和视频内容，以在多种质量特征上具有显著改进的方式来呈现该内容。例如，更新式的显示设备可能能够呈现高清晰度(HD，highdefinition)内容和/或可根据多种显示能力(诸如，图像缩放器器(imagescaler))进行缩放的内容。此外，某些更新式的显示器能够以比传统显示器的SDR更高的DR来呈现内容。例如，某些新式LCD显示器具有包括发光二极管(LED，lightemittingdiode)阵列的背光单元(BLU，backlightunit)。BLU阵列的LED可与有源LCD元件的偏振态的调制分开地进行调制。这种双调制方法是可(诸如)通过BLU阵列与LCD屏幕元件之间的可控中间层来扩展的(例如，扩展成N调制层，其中N包括大于2的整数)。其基于LED阵列的BLU和双(或N)调制有效地增加了具有这种特征的LCD监视器的与显示器相关的DR。关于传统SDR显示器，通常所称的这种“HDR显示器”(尽管实际上，它们的能力可能更近似VDR的范围)和它们可能的DR扩展在显示图像、视频内容和其他视频信息的能力上表现出显著进步。这种HDR显示器可以呈现的色域还可显著地超出多数传统显示器的色域，甚至到能呈现宽色域(WCG，widecolorgamut)的程度。与场景相关的HDR或VDR和WCG图像内容，诸如可通过“下一代”电影和TV摄像机产生，现在可通过“HDR”显示器(下文中称为“HDR显示器”)来更真实有效地显示。就可扩展视频编码和HDTV技术而言，扩展图像DR通常涉及分叉方法。例如，通过新式HDR功能摄像机获取的与场景相关的HDR内容可用于产生内容的SDR版本，该内容的SDR版本可显示在传统SDR显示器上。在一种方法中，根据所获取的VDR版本产生SDR版本，可能涉及将全局色调映射算子(TMO，globaltonemappingoperator)应用于在HDR内容中的与强度(例如，亮度)相关的像素值。在第二种方法(如为了所有的目的通过引用结合在本文中的、于2011年8月23日提交的国际专利申请NO.PCT/US2011/048861中所描述的)中，产生SDR图像可涉及将可逆算子(或预测算子)应用在VDR数据上。为了保留带宽或出于其他考虑，传输实际获取的VDR内容可能不是最好的方法。因此，关于初始TMO的逆的逆色调映射算子(iTMO，inversetonemappingoperator)或者关于初始预测算子的逆算子可应用于所产生的SDR内容版本，这允许预测VDR内容的版本。所预测的VDR内容版本可与初始获取的HDR内容相比较。例如，从初始VDR版本减去预测的VDR版本可产生残余图像。编码器可将所产生的SDR内容作为基层(BL，baselayer)发送，并且将所产生的SDR内容版本、任意残余图像以及iTMO或其他预测算子打包作为增强层(EL，enhancementlayer)或作为元数据。相比于将HDR内容和SDR内容这两者直接发送进比特流所占用的带宽，将EL和元数据(具有其SDR内容、残余图像和预测算子)发送进比特流中通常占用更少的带宽。接收由编码器发送的比特流的可兼容解码器可对SDR进行解码并且呈现在传统显示器上。然而，可兼容解码器还可使用残余图像，iTMO预测算子或元数据，以根据它们来计算HDR内容的预定版本，以用在更多功能的显示器上。本专利技术的目的是提供用于产生预测算子的新方法，该预测算子允许利用对应的SDR数据对VDR数据进行有效的编码、传输以及解码。在这一部分中描述的方法是能够执行的方法，但并不一定是以前所设想或执行的方法。因此，除非另有指示，否则不应认为在这一部分所描述的方法中的任何一种因包括在这一部分中而被限定为现有技术。类似地，关于一种或多种方法所确定的问题不应认为已基于这部分在任何现有技术中确定，除非另有指示。附图说明通过示例(但不是通过限制的方式)在附图部分的图中例示了本专利技术的实施例，附图中相同的附图标记指示类似的元件，其中：图1描绘了根据本专利技术的实施例的VDR-SDR系统的示例数据流本文档来自技高网...

【技术保护点】
一种使用处理器根据具有第二动态范围的图像来近似具有第一动态范围的图像的方法，所述方法包括：接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；从一个或更多个多通道、多元回归MMR预测模型中选择MMR模型；确定所选择的MMR模型的预测参数的值；基于所述第二图像和所选择的MMR预测模型的预测参数的所确定值来计算对所述第一图像进行近似的输出图像，其中，基于所述第二图像中的至少两个颜色成分的像素值来计算所述输出图像中的至少一个颜色成分的像素值；以及输出所述预测参数的所确定的值和所计算的输出图像；其中，从所述一个或更多个MMR预测模型中选择所述MMR模型进一步包括迭代选择处理，所述迭代选择处理包括：(a)选择并应用初始MMR预测模型；(b)计算所述第一图像与所述输出图像之间的残余误差；(c)如果所述残余误差小于误差阈值并且无其他MMR预测模型能够选择，则选择所述初始MMR模型；否则，从多种MMR预测模型中选择新MMR预测模型，所述新MMR预测模型与先前所选择的MMR预测模型不同；并且返回步骤(b)。

【技术特征摘要】
2011.04.14 US 61/475,3591.一种使用处理器根据具有第二动态范围的图像来近似具有第一动态范围的图像的方法，所述方法包括：接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；从一个或更多个多通道、多元回归MMR预测模型中选择MMR模型；确定所选择的MMR模型的预测参数的值；基于所述第二图像和所选择的MMR预测模型的预测参数的所确定值来计算对所述第一图像进行近似的输出图像，其中，基于所述第二图像中的至少两个颜色成分的像素值来计算所述输出图像中的至少一个颜色成分的像素值；以及输出所述预测参数的所确定的值和所计算的输出图像；其中，从所述一个或更多个MMR预测模型中选择所述MMR模型进一步包括迭代选择处理，所述迭代选择处理包括：(a)选择并应用初始MMR预测模型；(b)计算所述第一图像与所述输出图像之间的残余误差；(c)如果所述残余误差小于误差阈值并且无其他MMR预测模型能够选择，则选择所述初始MMR模型；否则，从多种MMR预测模型中选择新MMR预测模型，所述新MMR预测模型与先前所选择的MMR预测模型不同；并且返回步骤(b)。2.根据权利要求1所述的方法，其中，所述第一图像包括视觉动态范围VDR图像并且所述第二图像包括标准动态范围SDR图像。3.根据权利要求1所述的方法，其中，所选择的MMR预测模型是一阶MMR模型、二阶MMR模型、三阶MMR模型、具有交叉相乘的一阶MMR模型、具有交叉相乘的二阶MMR模型或者具有交叉相乘的三阶MMR模型中的至少一个。4.根据权利要求3所述的方法，其中，用于预测所述输出图像的像素的MMR模型中的任意一个进一步包括涉及所述第二图像中的相应像素的相邻像素的预测参数。5.根据权利要求4所述的方法，其中，所述相邻像素包括所述第二图像中的相应像素的左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。6.根据权利要求2所述的方法，其中，所述第一图像中的像素具有比所述第二图像中的像素更多的颜色成分。7.根据权利要求1所述的方法，其中，确定所选择的MMR预测模型的预测参数的值进一步包括应用使所述第一图像与所述输出图像之间的均方误差最小化的数值方法。8.根据权利要求3所述的方法，其中，所述二阶MMR模型包括根据下述公式的预测模型其中，表示所述第一图像的第i像素的所预测的三个颜色成分，si＝[si1si2si3]表示所述第二图像的第i像素的三个颜色成分，表示所述第二图像的第i像素的三个颜色成分的平方值，和是3×3预测参数矩阵，并且n是1×3预测参数向量，以及其中，所述二阶MMR模型进一步包括根据下述公式的交叉相乘其中，sci＝[si1·si2si1·si3si2·si3si1·si2·si3]，sci2＝[si12·si22si12·si32si22·si32si12·si22·si32]，并且和包括4×3预测参数矩阵。9.一种图像解码方法，包括：接收具有第一动态范围的第一图像；接收元数据，其中，所述元数据包括多元回归MMR预测模型，所述多元回归MMR预测模型适于根据所述第一图像以及所述MMR预测模型的预测参数来近似具有第二动态范围的第二图像，所述元数据进一步包括所述预测参数的先前确定值，以及将所述第一图像和所述预测参数的先前确定值应用于所述MMR预测模型，以计算用于近似所述第二图像的输出图像，其中，所述第二动态范围不同于所述第一动态范围，以及其中，基于所述第一图像中的至少两个颜色成分的像素值来计算所述输出图像中的至少一个颜色成分的像素值，其中，所述MMR模型是包括根据下述公式的预测模型的二阶MMR模型：其中，表示所述第二图像的第i像素的所预测的三个颜色成分，si＝[si1si2si3]表示所述第一图像的第i像素的三个颜色成分，表示所述第一图像的第i像素的三个颜色成分的平方值，和是3×3预测参数矩阵，并且n是1×3预测参数向量，以及其中，所述二阶MMR模型进一步包括根据下述公式的交叉相乘其中，sci＝[si1·si2si1·si3si2·si3si1·si2·si3]，sci2＝[si12·si22si12·si32si22·si32si12·si22·s...

【专利技术属性】
技术研发人员：苏冠铭，曲晟，胡贝特·克普费尔，袁玉斐，萨米尔·胡利亚尔卡尔，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US