【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及图像。更具体地，本公开的实施例涉及用于处理图像的视频编解码器。
技术介绍
1、如本文所使用的，术语“动态范围(dr)”可以涉及人类视觉系统(hvs)感知图像中的强度范围(例如，光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，dr与“参考场景的(scene-referred)”强度有关。dr还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，dr与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
2、如本文所使用的，术语“高动态范围(hdr)”涉及跨越人类视觉系统(hvs)的大约14至15个或更多数量级的dr阔度。实际上，相对于hdr，人类可以同时感知强度范围中的广泛阔度的dr可能会被稍微截短。如本文所使用的，术语“增强动态范围(edr)或视觉动态范围(vdr)”可以单独地或可互换地与这种dr相关：所述dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，允许场景或图像上的一些光适应变化。如本文所使用的，edr可以涉及跨越5个到6个数量级的dr。因此，虽然相对于真实场景参考的hdr可能稍微窄一些，但edr可以表示宽dr阔度并且也可以被称为hdr。
3、实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝
4、给定显示器的参考电光传递函数(eotf)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，iturec.itu-r bt.1886,“reference electro-optical transfer function for flat paneldisplays used in hdtv studio production[hdtv工作室制作中使用的平板显示器的参考电光传递函数]”(2011年3月)限定了平板显示器的参考eotf，所述文献通过引用整体并入本文。在给定了视频流的情况下，关于其eotf的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为已编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。
5、如本文所使用的术语“pq”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在smpte st 2084:2014“high dynamic range eotfof mastering reference displays[母版制作参考显示器的高动态范围eotf]”(下文称为“smpte”)中描述了示例pq映射函数，其通过引用整体并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据hvs模型)来选择所述光亮度水平处的最小可见对比度步长。
6、支持200至1,000cd/m2或尼特的光亮度的显示器代表了与edr(或hdr)相关的较低动态范围(ldr)，也被称为标准动态范围(sdr)。edr内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的edr显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代eotf来限定。在smpte 2084和rec.itu-rbt.2100,“image parameter values for high dynamic range television for use inproduction and international programme exchange[用于在制作和国际节目交换中使用的高动态范围电视的图像参数值]”(06/2017)中定义了这种eotf的示例。如本专利技术人在此理解的，期望可以用于支持各种sdr和hdr显示设备的显示能力的用于合成视频内容数据的改进技术。
7、在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
技术实现思路
0、概述
1、本文中针对包括但不限于移动(视频)捕获应用的视频捕获应用描述了图像优化，如与基于张量积b样条(tpb)的图像重塑解决方案有关的那些图像优化。基于tpb的解决方案可以使用用如向后兼容视频编解码器等视频编解码器实施的鲁棒预测器来提供或生成相对准确的经重建图像。这些预测器可以用静态映射进行操作，以从容地处理如丢帧等传输错误或从中恢复，最小化如电池功耗等功耗，减少数据开销和/或处理/传输时延等。在一些操作情景中，可以用要符合相对苛刻的电池或功率约束的移动应用来实施如本文所描述的一些或所有基于tpb的解决方案。
2、基于tpb的图像重塑解决方案可以适应于在不同用例中操作。一些用例允许自由地设计和/或应用hdr到sdr映射，以生成要编码在视频信号(的基础层)中的sdr图像，如本文所描述的。一些用例依赖于具有相对有限的可编程寄存器的移动图像信号处理器(isp)来生成要编码在视频信号(的基础层)中的sdr图像。可以使用不同架构来实施如本文所描述的基于tpb的解决方案。另外地、可选地或替代性地，可以使用这些架构或基于tpb的解决方案来提供或支持向后兼容性。
3、在给定了在sdr颜色空间或sdr域中的颜色空间中表示的参考sdr图像的情况下，基于tpb的解决方案可以使用tpb优化过程来实现或确定最大或最宽hdr颜色空间或hdr域中的颜色空间，以表示从sdr图像预测的对应经重建hdr图像。hdr颜色空间越宽，引入sdr颜色空间中的颜色偏差就越多。可以实施tpb优化过程以在一方面实现最大或最宽hdr颜色空间与另一方面引入sdr颜色偏差之间实现或确定优化的平衡点或权衡。另外地、可选地或替代性地，可以实施如本文所描述的tpb优化过程以结合中性颜色处理或执行约束优化，以帮助在从sdr图像预测的经重建hdr图像中保留在sdr图像中表示的灰度级。
4、随着各种配备有相机的计本文档来自技高网...
【技术保护点】
1.一种方法，包括：
2.如权利要求1所述的方法，其中，所述训练SDR图像和所述训练HDR图像分别由在SDR和HDR捕获模式下操作的捕获设备从三维(3D)视觉场景捕获。
3.如权利要求1或2所述的方法，其中，所述训练SDR图像和所述训练HDR图像形成多对训练SDR图像与训练HDR图像中的一对训练SDR图像与训练HDR图像；其中，所述优化的SDR到HDR映射是至少部分地基于从所述多对训练SDR图像与训练HDR图像得到的多组成对SDR色标与HDR色标生成的。
4.如权利要求1至3中任一项所述的方法，其中，将所述一个或多个SDR图像特征点的子集中的每个SDR图像特征点与所述一个或多个HDR图像特征点的子集中的相应HDR图像特征点相匹配；其中，所述SDR图像特征点和所述HDR图像特征点是使用常见特征点提取算法分别从所述训练SDR图像和所述HDR图像提取的。
5.一种方法，包括：
6.如权利要求5所述的方法，其中，所述训练SDR图像和所述训练HDR图像分别由在SDR捕获模式下操作的第一捕获设备和在HDR捕获模式下操作的第二捕获设备
7.如权利要求5或6中任一项所述的方法，其中，所述常见色表图像在常见参考图像显示器的屏幕上渲染并由所述第一捕获设备和所述第二捕获设备从所述屏幕捕获。
8.如权利要求5至7中任一项所述的方法，其中，所述相应相机失真校正操作至少部分地基于从利用用于获取所述训练图像的相机执行的相机校准过程生成的相机特定失真系数。
9.如权利要求5至8中任一项所述的方法，其中，所述一组SDR色标和所述一组HDR色标被用于得到三维映射表(3DMT)；其中，所述优化的SDR到HDR映射是至少部分地基于所述3DMT来生成的。
10.如权利要求5至9中任一项所述的方法，其中，所述优化的SDR到HDR映射表示以下项之一：基于张量积B样条(TPB)的映射或非基于TPB的映射。
11.一种方法，包括：
12.如权利要求11所述的方法，其中，所述剪切操作包括首先使用所述定界SDR颜色空间矩形来对所述编辑后SDR图像执行规则剪切以生成规则剪切的编辑后SDR图像，并且随后使用所述3D-LUT来对所述规则剪切的编辑后SDR图像执行不规则剪切以生成所述边界经剪切编辑后SDR图像。
13.如权利要求11或12中任一项所述的方法，其中，所述3D-LUT包括一个或多个节点，所述节点中的每一个包括查找键和查找值；其中，所述查找键在所述不规则形状外，而所述查找值在所述不规则形状内。
14.一种装置，包括处理器并且被配置用于执行如权利要求1至13所述的方法中的任一种方法。
15.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述计算机可执行指令用于利用一个或多个处理器来执行根据权利要求1至13中所述的方法中的任一种方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.如权利要求1所述的方法，其中，所述训练sdr图像和所述训练hdr图像分别由在sdr和hdr捕获模式下操作的捕获设备从三维(3d)视觉场景捕获。
3.如权利要求1或2所述的方法，其中，所述训练sdr图像和所述训练hdr图像形成多对训练sdr图像与训练hdr图像中的一对训练sdr图像与训练hdr图像；其中，所述优化的sdr到hdr映射是至少部分地基于从所述多对训练sdr图像与训练hdr图像得到的多组成对sdr色标与hdr色标生成的。
4.如权利要求1至3中任一项所述的方法，其中，将所述一个或多个sdr图像特征点的子集中的每个sdr图像特征点与所述一个或多个hdr图像特征点的子集中的相应hdr图像特征点相匹配；其中，所述sdr图像特征点和所述hdr图像特征点是使用常见特征点提取算法分别从所述训练sdr图像和所述hdr图像提取的。
5.一种方法，包括：
6.如权利要求5所述的方法，其中，所述训练sdr图像和所述训练hdr图像分别由在sdr捕获模式下操作的第一捕获设备和在hdr捕获模式下操作的第二捕获设备从常见色表图像捕获。
7.如权利要求5或6中任一项所述的方法，其中，所述常见色表图像在常见参考图像显示器的屏幕上渲染并由所述第一捕获设备和所述第二捕获设备从所述屏幕捕获。
8.如权利要求5至7中任一项所述的方法，其中，所述相应相机失真校正操作至少...
【专利技术属性】
技术研发人员：苏冠铭，H·卡杜，黄琮玮，J·S·麦克尔韦恩，陈涛，S·N·胡利亚卡尔，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。