张量乘积的B平滑曲线预测器制造技术

确定一组张量乘积的B平滑曲线(TPB)基函数。产生与所述组TPB基函数一起用于从源色彩等级的源图像中的源图像数据产生映射图像中的预测图像数据的一组选定TPB预测参数。通过最小化所述映射图像中的所述预测图像数据与参考色彩等级的参考图像中的参考图像数据之间的差来产生所述组选定TPB预测参数。所述参考图像对应于所述源图像且描绘与所述源图像描绘的视觉内容相同的视觉内容。使所述组选定TPB预测参数作为图像元数据的一部分与所述源图像中的所述源图像数据一起编码于视频信号中。使所述映射图像由所述视频信号的接收装置重建及再现。重建及再现。重建及再现。

【技术实现步骤摘要】
【国外来华专利技术】张量乘积的B平滑曲线预测器
[0001]相关申请案的交叉引用
[0002]本申请要求2019年10月1日申请的第62/908,770号美国临时专利申请案及2019年10月1日申请的第19200793.8号欧洲专利申请案的优先权，所述申请案的全部内容特此以引用的方式并入本文中。


[0003]本公开大体上涉及图像。更特定来说，本公开的实施例涉及张量乘积的B平滑曲线预测器。

技术介绍

[0004]如本文中所使用，术语“动态范围(DR)”可与人类视觉系统(HVS)感知图像的强度(例如亮度、明度)的范围(例如从最暗黑色(黑暗)到最亮白色(强光))的能力相关。在此意义上，DR与“场景参考”强度相关。DR也可与显示装置适当或大致再现特定宽度的强度范围的能力相关。在此意义上，DR与“显示参考”强度相关。除非在本文描述中的任何点明确说明特定意义具有特定含义，否则应推断，可以两种意义中的任一者(例如，可互换地)使用术语。
[0005]如本文中所使用，术语“高动态范围(HDR)”与跨越人类视觉系统(HVS)的约14个到15个或更多个数量级的DR宽度相关。实际上，可相对于HDR略微缩小人类可在其内同时感知强度范围的广泛宽度的DR。如本文中所使用，术语“增强动态范围(EDR)”或“视觉动态范围(VDR)”可个别或可互换地与可由包含眼睛移动的人类视觉系统(HVS)在场景或图像中感知以允许跨场景或图像的一些光适应改变的DR相关。如本文中所使用，EDR可与跨越5个到6个数量级的DR相关。因此，尽管可相对于真实场景参考HDR略微变窄，但EDR仍表示宽DR宽度且也可称为HDR。
[0006]实际上，图像包括色彩空间的一或多个色彩分量(例如明度Y及彩度Cb及Cr)，其中每一色彩分量由每像素n个位(例如n＝8)的精度表示。使用非线性亮度编码(例如γ编码)，其中n≤8的图像(例如彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强动态范围的图像。
[0007]给定显示器的参考电光转移函数(EOTF)特征化输入视频信号的色彩值(例如亮度)与由显示器产生的输出屏幕色彩值(例如屏幕亮度)之间的关系。例如，ITU Rec.ITU
‑
R BT.1886的“在HDTV演播室制作中使用的用于平板显示器的参考电光转移函数(Reference electro
‑
optical transfer function for flat panel displays used in HDTV studio production)”(2011年3月)(其全文以引用的方式并入本文中)界定平板显示器的参考EOTF。鉴于视频流式传输，关于其EOTF的信息可作为(图像)元数据嵌入于位流中。术语“元数据”在本文中与作为编码位流的部分传输的任何辅助信息相关且促进解码器再现解码图像。此元数据可包含(但不限于)色彩空间或色域信息、参考显示参数及辅助信号参数，如本文中所描述。
[0008]本文中所使用的术语“PQ”指感知亮度振幅量化。人类视觉系统以非常非线性方式响应增大亮度。人类看见刺激的能力受所述刺激的亮度、刺激的大小、组成刺激的空间频率及眼睛在人类观看刺激的特定时刻已适应的亮度水平影响。在一些实施例中，感知量化函数将线性输入灰度映射到更好地匹配人类视觉系统的对比敏感度阈值的输出灰度。SMPTE ST 2084:2014的“掌握参考显示器的高动态范围EOTF(High Dynamic Range EOTF of Mastering Reference Displays)”(下文中称为“SMPTE”)(其全文以引用的方式并入本文中)中描述实例性PQ映射函数，其中鉴于固定刺激大小，针对每一亮度水平(例如刺激水平等)，根据最敏感适应水平及最敏感空间频率(根据HVS模型)来选择所述亮度水平处的最小可见对比步阶。
[0009]支持200cd/m2或尼特到1,000cd/m2或尼特的亮度的显示器代表相对于EDR(或HDR)的较低动态范围(LDR)，也称为标准动态范围(SDR)。EDR内容可显示于支持较高动态范围(例如从1,000尼特到5,000尼特或更大)的EDR显示器上。此类显示器可使用支持高亮度能力(例如0尼特到10,000或更大尼特)的替代EOFT界定。SMPTE 2084及Rec.ITU
‑
R BT.2100的“用于在制作及国际节目交换中使用的高动态范围电视的图像参数值(Image parameter values for high dynamic range television for use in production and international programme exchange)”(06/2017)中界定此EOFT的实例。本专利技术人应了解，我们期望得到可用于支持各种SDR及HDR显示装置的显示能力的用于组合视频内容数据的改进技术。
[0010]本章节中所描述的方法为可追寻的方法，但未必为先前已设想或追寻的方法。因此，除非另有指示，否则不应认为本章节中所描述的任何方法仅因其包含在本章节中而被视为现有技术。类似地，除非另有指示，否则相对于一或多个方法所识别的问题不应基于本章节来认为已在任何现有技术中被认定。
附图说明
[0011]附图中以举例而非限制方式说明本专利技术的实施例且在附图中相同元件符号是指类似元件，且其中：
[0012]图1A描绘视频传送管线的实例性过程；图1B说明TPB交叉通道预测的实例性处理块；图1C及图1D说明TPB基产生运算的实例性实施方案；图1E及图1F说明TPB交叉乘积运算的实例性实施方案；图1G及图1H说明用于应用TPB预测的实例性流程图；
[0013]图2A到图2C说明实例性编解码器构架；
[0014]图3A到图3D说明均匀分布结的B平滑曲线基函数的实例性全集；
[0015]图4A及图4B说明实例性过程流程；及
[0016]图5说明其上可实施本文中所描述的计算机或计算装置的实例性硬件平台的简化框图。
具体实施方式
[0017]在以下描述中，为了解释而阐述许多特定细节以提供本公开的透彻理解。然而，应明白，可在无这些特定细节的情况下实践本公开。在其它例子中，未详尽描述众所周知的结构及装置以免不必要地妨碍、模糊或混淆本公开。
[0018]概述
[0019]本文中描述张量乘积的B平滑曲线(TPB)预测器。本文中所描述的技术可用于执行视频内容处理管线中的预测运算且使用上游视频内容处理器来产生组合器元数据以使下游视频内容处理器能够从载送于视频信号中的第二动态范围(例如SDR、HDR等)的解码视频内容重建第一不同动态范围(例如HDR、SDR等)的视频内容。在一些操作方案中，可使用单通道明度预测器及单件式(例如可应用于一些或所有可能输入亮度及色度码字等)多通道多元回归(MMR)彩度预测器来产生组合器元数据。单通道明度预测器可限制具有相同亮度的像素的色彩饱和度。单件式M本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：产生一组预测参数，用于从源色彩等级的一或多个源图像中的源图像数据产生一或多个映射图像的至少一个色彩通道的预测图像数据，其中所述一或多个映射图像包括M个色彩通道，其中M>1，其中针对所述至少一个色彩通道产生所述组预测参数包括：确定一组张量乘积的B平滑曲线(TPB)基函数，对应于M组B平滑曲线基函数的张量乘积；作为所述至少一个色彩通道的所述组预测参数，产生一组选定TPB预测参数，以与所述组TPB基函数一起使用，用于从所述源色彩等级的所述一或多个源图像中的所述源图像数据产生所述一或多个映射图像的所述至少一个色彩通道的预测图像数据，其中通过最小化所述一或多个映射图像中的所述至少一个色彩通道的所述预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生所述组选定TPB预测参数，其中所述一或多个参考图像对应于所述一或多个源图像且描绘与由所述一或多个源图像描绘的视觉内容相同的视觉内容；使所述组选定TPB预测参数作为图像元数据的一部分与所述一或多个源图像中的所述源图像数据一起编码于视频信号中，以使得能够使用所述视频信号的接收装置重建及呈现所述一或多个映射图像。2.根据权利要求1所述的方法，其中确定所述组TPB基函数包括：针对所述M个色彩通道中的每一者确定一组B平滑曲线基函数；及将所述组TPB基函数确定为所述组B平滑曲线基函数中的每一者的张量乘积。3.根据权利要求1或权利要求2所述的方法，其中所述源图像数据或所述参考图像数据中的至少一者以色彩空间的子取样格式表示。4.根据权利要求1到3中任一权利要求所述的方法，其中所述一或多个源图像表示以下一者：构成媒体程序中的视觉场景的图像、在滑动窗口内选择的图像或在线性分段内选择的图像。5.根据权利要求1到4中任一权利要求所述的方法，其中所述组B平滑曲线基函数中的至少一者表示特定阶的B平滑曲线基函数的全集。6.根据权利要求1到5中任一权利要求所述的方法，其中所述组B平滑曲线基函数中的每一者使用一组均匀分布结点产生。7.根据权利要求1到6中任一权利要求所述的方法，其中所述组B平滑曲线基函数中的每一者使用截断多项式产生。8.根据权利要求1到7中任一权利要求所述的方法，针对所述多个色彩通道中的每一者产生一组选定TPB预测参数，其中使用相同组TPB基函数产生至少两个色彩通道的所述组选定TPB预测参数。9.根据权利要求1到8中任一权利要求所述的方法，其中所述组选定TPB预测参数及所述组TPB基函数的组合表示用于产生所述一或多个映射图像中的所述预测图像数据的交叉通道预测器。10.根据权利要求1到9中任一权利要求所述的方法，其中使用多个映射对来产生所述组TPB预测参数，所述多个映射对中的每一者包括从所述源图像数据产生的一或多个源码
字的第一阵列及从所述参考图像数据产生的一或多个参考码字的第二阵列。11.根据权利要求10所述的方法，其中基于三维映射表(3DMT)来产生所述多个映射对。12.根据权利要求10或11所述的方法，其中所述源图像的像素的源码字被划分为固定数目的仓，且针对每一仓，计算对应于所述相应仓中所述源图像的所述像素的所述参考...

【专利技术属性】
技术研发人员：苏冠铭，H，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：