使用训练SDR图像和相应的训练HDR图像来训练反向整形元数据预测模型。接收内容创建用户输入，其为对应的训练HDR图像定义了用户调整的HDR外观。基于所训练的预测模型和内容创建用户输入，生成内容创建用户特定的修正反向整形元数据预测模型。内容创建用户特定的修正预测模型用于预测内容创建用户特定的反向整形映射的操作参数值，以将SDR图像反向整形为至少一个内容创建用户调整的HDR外观的映射HDR图像。HDR图像。HDR图像。
【技术实现步骤摘要】
【国外来华专利技术】利用模型模板的高效的用户定义SDR到HDR转换
[0001]相关应用的交叉引用
[0002]本申请要求2019年8月15日提交的美国临时专利申请第62/887,123号和2019年8月15日提交的欧洲专利申请第19191921.6号的优先权，它们通过引用而全文并入此。
[0003]本公开总体上涉及图像。更具体地说，本公开的实施例涉及利用模型模板的用户定义的SDR到HDR转换。
技术介绍
[0004]如此处所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如亮度、明度)的范围(例如从最暗的黑色(暗)到最亮的白色(高亮))的能力。从这个意义上说，DR与“场景相关”强度有关。DR还可能涉及显示设备充分或近似渲染特定广度的强度范围的能力。从这个意义上说，DR与“显示相关”强度有关。除非明确指定特定的意义在本文的说明书中的任何点都具有特定的意义，否则应当推断该术语可以在任一意义上使用，例如可互换地使用。
[0005]如这里所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14
‑
15或更多数量级的DR广度。在实践中，相对于HDR，在其上人类可以同时感知强度范围中的广泛广度的DR可能会被稍微截断。如这里所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地涉及可由包括眼球运动的人类视觉系统(HVS)在场景或图像内感知的DR，从而允许场景或图像上的一些光适应变化。如本文所用，EDR可涉及跨越5至6个数量级的DR。因此，尽管相对于真实场景相关的HDR可能略窄，但EDR代表了宽的DR广度，也可以称为HDR。
[0006]实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n比特的精度(例如，n＝8)来表示。使用非线性亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而其中n>8的图像可以被认为是增强动态范围的图像。
[0007]给定显示器的参考电光传递函数(EOTF)表征了输入视频信号的颜色值(例如亮度)与显示器产生的输出屏幕颜色值(例如屏幕亮度)之间的关系。例如，ITU Rec.ITU
‑
R BT.1886，“Reference electro
‑
optical transfer function for flat panel displays used in HDTV studio production”(2011年3月)定义了平板显示器的参考EOTF，其通过引用而全文并入此。给定视频流，关于其EOTF的信息可以作为(图像)元数据嵌入比特流中。这里的术语“元数据”涉及作为编码比特流的一部分传输的并帮助解码器渲染解码图像的任何辅助信息。这种元数据可以包括但不限于色彩空间或色域信息、参考显示参数和辅助信号参数，如本文所述。
[0008]这里使用的术语“PQ”指的是感知亮度幅度量化。人类视觉系统以非常非线性的方式对增加的光级做出反应。人类看到刺激的能力受到该刺激的亮度、刺激的大小、构成刺激
的空间频率以及眼睛在观看刺激的特定时刻已经适应的亮度水平的影响。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比灵敏度阈值的输出灰度级。示例PQ映射函数在SMPTE ST2084:2014“High Dynamic Range EOTF of Mastering Reference Displays”(以下为“SMPTE”)中描述，其通过引用而全文并入此，其中给定固定的刺激大小，对于每个亮度水平(例如，刺激水平等)，根据最敏感的自适应水平和最敏感的空间频率(根据HVS模型)选择该亮度水平下的最小可见对比度步长。
[0009]支持200至1000cd/m2或尼特的亮度的显示器代表相对于EDR(或HDR)而言较低的动态范围(LDR)，也称为标准动态范围(SDR)。EDR内容可以显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更多)的EDR显示器上。这种显示器可以使用支持高亮度能力(例如，0至10，000尼特或更高)的替代EOTF来定义。SMPTE2084和Rec.ITU
‑
R BT.2100中定义了这样EOTF的例子，“Image parameter values for high dynamic range television for use in production and international programme exchange”，(06/2017)。如专利技术人在此所理解的，需要可用于支持多种SDR和HDR显示设备的显示能力的用于编译视频内容数据的改进技术。
[0010]本节中描述的方法是可以采用的方法，但不一定是先前已设想或采用的方法。因此，除非另有说明，否则不应假设本节中描述的任何方法仅仅因为包含在本节中而被认为是现有技术。类似地，除非另有说明，否则关于一种或多种方法所识别的问题不应基于本节而被认为在任何现有技术中被认识到。
附图说明
[0011]在附图中，本专利技术的实施例以示例的方式示出，而不是以限制的方式示出，其中相同的附图标记表示相似的元件，其中:
[0012]图1描绘了视频传送流水线的示例过程；
[0013]图2A和图2B示出为了亮度预测而对高斯过程回归(GPR)模型进行全局和局部修改的示例图形用户界面(GUI)显示；
[0014]图3A示出了均值预测或估计的HDR色度码字值的示例分布；图3B示出了聚类(cluster)的示例角度分布；
[0015]图4A和图4B示出了示例过程流程；以及
[0016]图5示出了可以在其上实现这里描述的计算机或计算设备的示例硬件平台的简化框图。
具体实施方式
[0017]在以下描述中，出于解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，显而易见的是，本公开可以在没有这些具体细节的情况下实施。在其他情况下，为了避免不必要地遮蔽、模糊或混淆本公开，没有详尽地描述公知的结构和设备。
[0018]概述
[0019]本文描述了利用模型模板的高效的用户定义的SDR到HDR转换。这里描述的技术采用高效的用户定义的主题(theme)来生成用户定义的编译器元数据，该元数据使得接收设备能够从SDR图像生成具有用户定义的HDR外观或外貌的用户定义的映射HDR图像。用户定
义的主题可以在动态SDR+模型模板之上或以其为起点来实现。模型模板包括一个或多个机器学习(ML)生成的亮度高斯过程回归(GPR)模型和一个或多个ML生成的色度字典，它们先前是用训练数据集训练的。
[0020]这里描述的示例实施例涉及通过机器学习和用户输入的图像元数据生成/优化。访问包括反向整形元数据预测模型的模型模板。反向整形元数据预测模型用来自多个训练图像对中的多个训练标本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括:访问模型模板，所述模型模板包括反向整形元数据预测模型，其中反向整形元数据预测模型用来自多个训练图像对中的多个训练标准动态范围(SDR)图像的多个训练图像特征向量和通过所述多个训练图像对中的多个对应训练高动态范围(HDR)图像导出的真值来训练，其中所述多个训练图像对中的每个训练图像对包括所述多个训练SDR图像中的训练SDR图像和所述多个对应训练HDR图像中的对应训练HDR图像，其中每个这样的训练图像对中的训练SDR图像和对应训练HDR图像描绘同一视觉内容但是具有不同的亮度动态范围；接收内容创建用户输入，所述内容创建用户输入为所述多个对应的训练HDR图像定义一个或多个内容创建用户调整的HDR外观；基于模型模板和内容创建用户输入，生成内容创建用户特定的修正反向整形元数据预测模型；使用内容创建用户特定的修正反向整形元数据预测模型来预测用于将SDR图像反向整形为一个或多个内容创建用户调整的HDR外观中的至少一个内容创建用户调整的HDR外观的映射HDR图像的内容创建用户特定的反向整形映射的操作参数值。2.根据权利要求1所述的方法，其中一个或多个反向整形元数据预测模型包括多个高斯过程回归(GPR)模型，用于预测用以将输入亮度SDR码字反向整形为映射的亮度HDR码字的亮度反向整形映射；其中内容创建用户输入修改亮度反向整形映射的多个样本点。3.根据权利要求2所述的方法，其中，由内容创建用户输入修改的所述多个样本点被约束为将亮度反向整形映射保持为单调增加函数。4.根据权利要求1
‑
3中任一项所述的方法，其中所述多个图像对被分类成多个图像类别；其中，对于多个图像类别中的至少两个图像类别，内容创建用户输入不同地修改亮度反向整形映射。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述内容创建用户输入修改应用于所述多个图像对中的所有图像对的亮度反向整形映射。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述一个或多个反向整形元数据预测模型包括一组多元多重回归(MMR)映射矩阵，该映射矩阵用于生成用以从输入的SDR码字生成映射的色度HDR码字的MMR系数；其中所述内容创建用户输入利用乘法运算来修改所述一组MMR映射矩阵中的MMR映射矩阵的适当子集；其中所述一组MMR映射矩阵中的剩余MMR映射矩阵免于被内容创建用户输入修改。7.根据权利要求6所述的方法，其中所述多个图像对被分类成多个图像类别；其中，所述内容创建用户输入针对所述多个图像类别中的至少两个图像类别不同地修改所述MMR映射矩阵的所述适当子集。8.根据权利要求6或7所述的方法，其中基于多个区域对所述多个图像类别进行分类，所述多个区域中的每一个区域包括均值预测Cb值和均值预测Cr值的不同组。9.根据权利要求6
‑
【专利技术属性】
技术研发人员：苏冠铭，H，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。