视频编码中的受指导图像上采样制造技术

本发明专利技术公开了视频编码中的受指导图像上采样。编码器接收第一空间分辨率的第一图像和第二空间分辨率的第二图像，其中，所述第一图像和所述第二图像两者都表示相同场景，所述第二空间分辨率高于所述第一空间分辨率。选择滤波器以将所述第一图像上采样为具有与所述第二空间分辨率相同的空间分辨率的第三图像。通过使得所述第二图像与所述第三图像的像素值之间的误差度量（例如MSE）最小化来计算用于所述上采样滤波器的滤波系数。计算的滤波系数的集合被信传到接收机（例如，作为元数据）。解码器接收所述第一图像（或其近似）和所述元数据，并且可以使用与所述编码器推导出的相同的滤波器和优化选择的滤波系数来对所述第一图像进行上采样。

【技术实现步骤摘要】
相关申请的交叉引用本专利技术要求2011年8月9日提交的美国临时专利申请No.61/521,685以及2012年5月30日提交的美国临时专利申请No.61/653,234的优先权，出于所有目的通过引用将它们并入此。
本专利技术总体上涉及图像。更特别地，本专利技术实施例涉及视频编码中的数字图像的受指导上采样（guided up-sampling）。
技术介绍
如在此使用的那样，术语“动态范围”（dynamic range，DR）可以与用于感知图像中的强度（例如辉度、亮度）的范围（例如从最暗的暗到最亮的亮）的人类心理视觉系统（human psychovisual system，HVS）的能力有关。在此意义上，DR与“场景相关的（scene referred）”强度有关。DR也可以与显示设备足够地或近似地呈现特定宽度（breadth）的强度范围的能力有关。在此意义上，DR与“显示相关的”强度有关。除非在此描述中的任何点明确地指定特定意义具有特定重要性，否则应推断其可以例如可互换地用于任何意义。如在此使用的那样，术语“高动态范围（high dynamic range，HDR）”与跨越人类视觉系统（human visual system，HVS）的一些14-15个量级的DR宽度有关。例如，具有基本正态（例如在统计、生物计量或眼科（opthamological）意义中的一个或多个中）的良好适应的人具有跨越大约15个量级的强度范围。适应的人可以感知少至仅少数光子的昏暗光源。然而，这些相同的人可以感知沙漠、海洋或雪中的正午阳光的近乎灼目的明亮强度（或甚至对太阳的扫视，然而，短暂地扫视防止损伤）。这样的跨度对于“适应的”人（例如其HVS具有重置并且调整的时间段的人）可用。作为对比，相对于HDR，在其上人可以同时感知强度范围中的宽的宽度的DR可以被稍微截断。如在此使用的那样，术语“视觉动态范围”或“可变动态范围（variable dynamic range，VDR）”可以单独地或互换地与HVS同时可感知的DR有关。如在此使用的那样，VDR可以与跨越5-6个量级的DR有关。因此，尽管相对于真实场景相关的HDR稍微更窄，但VDR表示宽的DR宽度。如在此使用的那样，术语“同时动态范围”可以与VDR有关。直到最近，显示器已经具有比HDR或VDR明显更窄的DR。使用具有恒定荧光的白色背光或等离子体屏幕技术的典型阴极射线管（cathode ray tube，CRT）、液晶显示器（liquid crystal display，LCD）的电视（Television，TV）和计算机监视器装置可能在它们的DR呈现能力方面被约束为大约三个数量级。这些传统的显示器因此作为相对于VDR和HDR的低动态范围（low dynamic range，LDR），又称为标准动态范围（standard dynamic range，SDR）的代表。至于可缩放视频编码和HDTV技术，扩展图像DR典型地涉及分叉（bifurcate）方法。例如，以现代的能够HDR的相机捕获的场景相关HDR内容可以用于生成该内容的VDR版本或SDR版本，其可以显示在VDR显示器或传统SDR显示器上。在一种方法中，从捕获的VDR版本生成SDR版本可以涉及将全局色调映射算子（global tone mapping operator，TMO）应用于HDR内容中的强度（例如辉度、亮度）有关的像素值。在第二方法中，如在W.Gish等人2011年8月23提交的PCT申请PCT/US2011/048861中“Extending Image Dynamic Range”中描述的那样，生成SDR图像可以涉及对于VDR数据应用可逆算子（或预测器）。为了保留带宽或出于其它考虑，同时发送实际捕获的VDR内容和SDR内容两者可能不是最佳方法。因此，相对于初始TMO被反转的逆色调映射算子（iTMO）或相对于初始预测器的逆算子可以应用于生成的SDR内容版本，这允许预测初始VDR内容的版本。可以将预测的VDR内容版本和生成的VDR内容进行比较。例如，从初始VDR版本减去预测的VDR版本可以生成残差图像。编码器可以发送作为基本层（base layer，BL）的生成的SDR内容、作为增强层（EL）的任何残差图像，并且封装iTMO或其它预测器等作为元数据。在比特流中将EL和元数据与其SDR内容、残差和预测器一起发送典型地消耗比将HDR和SDR内容都直接发送到比特流中的情况所消耗的带宽更少的带宽。接收编码器发送的比特流的兼容解码器可以解码并且在传统显示器上呈现SDR。然而，兼容解码器也可以使用残差图像、iTMO预测器或元数据来从其计算HDR内容的预测版本，以用于更有能力的显示器上。在这样的分层VDR编码中，图像可以按不同空间分辨率、比特深度、颜色空间和色度子采样格式来表示，这些都可迫使进行从第一颜色格式到第二颜色格式的各种计算机密集变换。如在此使用的那样，术语“颜色格式”与包括以下两个变量的颜色表示有关：a）颜色空间变量（例如RGB、YUV、YCbCr等）和色度子采样变量（例如4：4：4、4：2：0等）。例如，VDR信号可以具有RGB 4：4：4颜色格式，而SDR信号可以具有YCbCr 4：2：0颜色格式。如在此使用的那样，术语“上采样”或“尺度上推”与将图像的一个或多个颜色分量从一个空间分辨率变换到更高的第二空间分辨率的处理有关。例如，可以将视频信号从4：2：0格式上采样为4：4：4格式。该部分中描述的方法是可以贯彻实施的方法，但不一定是先前已被构思或贯彻实施的方法。因此，除非另外指示，否则不应假设该部分中描述的任何方法仅仅由于它们包含在该部分中而被当作现有技术。相似地，除非另外指示，否则相对于一个或多个方法标识的问题不应基于该部分而被假定在任何现有技术中已经被认识到。附图说明在附图中通过示例的方式而不是限制的方式示出本专利技术实施例，并且其中，相似标号指代相似元件，并且其中：图1描述根据本专利技术实施例的用于分层编码系统的示例数据流；图2描述根据本专利技术实施例的示例分层解码系统；图3描述根据本专利技术实施例的分层编解码器中对残差信号进行编码中的受指导图像上采样的示例；图4描述根据本专利技术实施例的示例单层视频编码系统；图5描述根据本专利技术实施例的用于使用2D滤波器以因子2进行上采样的示例输入和输出像素阵列；...

【技术保护点】
一种方法，包括：接收第一空间分辨率的第一图像和第二空间分辨率的指导图像，其中，所述第一图像和所述指导图像两者都表示相似场景，并且所述第二空间分辨率高于所述第一空间分辨率；选择滤波器以将所述第一图像尺度上推到具有等于所述第二空间分辨率的空间分辨率的第三图像；计算用于所述滤波器的滤波系数集合，其中，滤波系数的计算至少部分地基于使得所述指导图像与所述第三图像的像素值之间的误差度量最小化；以及将所述滤波系数集合发送到解码器。

【技术特征摘要】
2011.08.09 US 61/521,685;2012.05.30 US 61/653,2341.一种方法，包括：
接收第一空间分辨率的第一图像和第二空间分辨率的指导图像，
其中，所述第一图像和所述指导图像两者都表示相似场景，并且所述
第二空间分辨率高于所述第一空间分辨率；
选择滤波器以将所述第一图像尺度上推到具有等于所述第二空
间分辨率的空间分辨率的第三图像；
计算用于所述滤波器的滤波系数集合，其中，滤波系数的计算至
少部分地基于使得所述指导图像与所述第三图像的像素值之间的误差
度量最小化；以及
将所述滤波系数集合发送到解码器。
2.如权利要求1所述的方法，还包括：输出所述第三图像。
3.如权利要求1所述的方法，其中，从多个可用的滤波器中选择
用于尺度上推所述第一图像的滤波器。
4.如权利要求3所述的方法，其中，所述多个可用的滤波器包括
普通2D滤波器、对称2D滤波器、普通3D滤波器和对称3D滤波器。
5.如权利要求3所述的方法，还包括：将从所述多个可用的滤波
器中选择的滤波器的特性信传给解码器。
6.如权利要求1所述的方法，其中，所述误差度量包括均方误差
（MSE）计算。
7.如权利要求1所述的方法，其中，所述第一图像至少包括第一
颜色分量和第二颜色分量，用于尺度上推所述第一图像的至少一个颜

\t色分量的滤波器包括普通3D滤波器，其中，所述普通3D滤波器包括
至少两个滤波系数集合，其中，所述第一滤波系数集合对所述第一图
像的所述第一颜色分量操作，所述第二滤波系数集合对所述第一图像
的所述第二颜色分量操作。
8.如权利要求7所述的方法，其中，所述第一图像的所述第一颜
色分量是亮度（Y）分量，所述第一图像的所述第二颜色分量是色度
（Cb或Cr）颜色分量。
9.如权利要求7所述的方法，其中，所述第一图像的所述第一颜
色分量是绿色（G）分量，所述第一图像的所述第二颜色分量是红色
（R）或蓝色（B）颜色分量。
10.如权利要求7所述的方法，其中，所述第一图像的所述第一
颜色分量具有第一空间分辨率，所述第一图像的所述第二颜色分量具
有第二空间分辨率，其中，所述第一颜色分量的所述第一空间分辨率
高于所述第二颜色分量的所述第二空间分辨率。
11.如权利要求1所述的方法，其中，所述第一图像是YCbCr 4：
2：0颜色格式，所述指导图像为YCbCr 4：4：4颜色格式。
12.如权利要求1所述的方法，其中，所述第一图像处于RGB 4：
2：0颜色格式，所述指导图像处于RGB 4：4：4颜色格式。
13.如权利要求1所述的方法，还包括：
接收所述第一图像的密切近似和滤波系数；
使用所述滤波系数将接收的所述第一图像的密切近似上采样为
输出图像，其中，所述输出图像具有与所述第二分辨率相同的分辨率。
14.如...

【专利技术属性】
技术研发人员：苏冠铭，曲晟，尹鹏，叶琰，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：