【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及图像。更具体地，本专利技术的实施例涉及在显示管理中进行精确渲染。
技术介绍
1、如本文所使用的，术语“动态范围(dr)”可以与人类视觉系统(hvs)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力有关，所述强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，dr与“参考场景的(scene-referred)”强度有关。dr还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，dr与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
2、如本文所使用的，术语“高动态范围(hdr)”涉及跨越人类视觉系统(hvs)的大约14至15个数量级的dr阔度。实际上，相对于hdr，人类可以同时感知强度范围中的广泛阔度的dr可能会被稍微截短。如本文所使用的，术语“增强动态范围(edr)或视觉动态范围(vdr)”可以单独地或可互换地与这种dr相关：所述dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，允许场景或图像上的一些光适应变化。
3、实际上，图像包括一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。例如，使用伽马光亮度编解码，其中n≤8的图像(例如，彩色24位jpeg图像)被认为是标准动态范围的图像，而其中n≥
4、如本文所使用的，术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的图像中的最小、平均和最大光亮度值、颜色空间或色域信息、参考显示器参数和辅助信号参数。
5、大多数消费类桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费类hdtv的范围为300到500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这种传统显示器代表了相对于hdr或edr的较低动态范围(ldr)，也被称为标准动态范围(sdr)。随着hdr内容的可用性由于捕获设备(例如，相机)和hdr显示器(例如，杜比实验室的prm-4200专业参考监视器)两者的发展而提高，hdr内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的hdr显示器上。总体上，非限制性地，本公开文本的方法涉及高于sdr的任何动态范围。
6、如本文所使用的，术语“显示管理”是指在接收器上执行的用于为目标显示器渲染图片的过程。例如但不限于，这种过程可以包括色调映射、色域映射、颜色管理、帧速率转换等。
7、如本文所使用的，术语“精确渲染”表示用于将输入图像分成以下两层的下采样和上采样/滤波过程，即：经滤波的基本层图像和细节层图像(参考文献[2])。通过在色调映射或显示映射中将色调映射曲线应用于经滤波的基本层，然后将细节层添加回结果中，可以全局以及局部地保留图像的原始对比度。这也可以称为“细节保留”或“局部色调映射”。稍后将提供精确渲染的更详细描述。
8、高动态范围(hdr)内容的创建和回放现在正变得普遍，因为hdr技术提供了比早期格式更逼真和栩栩如生的图像。与此同时，ic制造商已开始结合用于神经网络(nn)的硬件加速器。为了改进现有显示方案，同时利用这样的神经网络加速器，如本专利技术人在此所理解的，开发了使用神经网络进行精确渲染和显示管理的改进技术。
9、在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
技术实现思路
0、概述
1、本文描述的示例实施例涉及使用神经网络架构在显示管理中进行精确渲染的方法。在实施例中，神经网络系统接收第一动态范围和第一空间分辨率的输入图像。接下来，系统执行以下操作：
2、基于所述输入图像生成输入强度图像(i)；
3、使用金字塔减半网络通过对所述输入强度图像进行子采样直到其空间分辨率低于或等于第二空间分辨率来生成第二强度图像；
4、基于所述第二强度图像和金字塔下采样神经网络生成一组下采样图像；
5、基于所述一组下采样图像和包括边缘感知上采样滤波的金字塔上采样神经网络生成第二空间分辨率的两个上采样图像；以及
6、通过将所述两个上采样图像和所述输入强度图像在最终层神经网络中进行组合生成第一空间分辨率的输出基本层(bl)图像。
8、视频编解码流水线
9、图1描绘了传统视频传输流水线(100)的示例过程，所述传统视频传输流水线示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。
10、制作流(112)的视频数据然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)的后期制作编辑可以包括调节或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(115)处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间，在参考显示器(125)上观看视频图像。
11、在后期制作(115)之后，可以将最终作品(117)的视频数据传输到编码块(120)，以便向下游传输到如电视机、机顶盒、电影院等解码和回放设备。在一些实施例中，编码块(120)可以包括如由atsc、dvb、dvd、蓝光和其他传输格式定义的那些音频编码器和视频编码器，以生成编码比特流(122)。在接收器中，编码比特流(122)由解码单元(130)解码，以生成表示信号(117)的相同或接近近似版本的已解码信号(132)。接收器可以附接到目标显示器(140)，所述目标显示器可以具有与参考显示器(125)完全不同的特性。本文档来自技高网...
【技术保护点】
1.一种用于在显示映射中进行精确渲染的方法，所述方法包括：
2.如权利要求1所述的方法，其中，生成所述第二强度图像包括通过填充块和随后的偏置＝false且步幅＝1的2×2×1×1卷积块处理所述输入图像。
3.如权利要求1或2所述的方法，其中，所述一组下采样图像由所述金字塔下采样神经网络生成并形成所述第二强度图像的金字塔表示。
4.如权利要求3所述的方法，其中，所述金字塔下采样神经网络包括两个或更多个连续的卷积块，其中，每个卷积块被配置为生成所述金字塔表示的相应层的下采样图像。
5.如权利要求1至4中任一项所述的方法，其中，所述金字塔下采样神经网络包括两个或更多个偏置＝False且步幅＝2的4×2×1×1的连续卷积块。
6.如权利要求1至5中任一项所述的方法，其中，所述金字塔上采样神经网络包括多个处理层，其中，给定具有第i空间分辨率的输入层图像P(i)，第i处理层基于P(i)、F(i)、边缘滤波器神经网络和上采样滤波器神经网络计算a(i)和b(i)值，其中，
7.如权利要求6所述的方法，其中，所述边缘滤波器神经
8.如权利要求6或7所述的方法，其中，所述上采样滤波器神经网络包括：
9.如权利要求1至8中任一项所述的方法，其中，所述最终层神经网络将基本层(BL)图像计算为BL＝a(1)*I+b(1)，
10.如权利要求1至9中任一项所述的方法，进一步包括将细节层图像(DL)计算为DL(x，y)＝I(x，y)-BL(x，y)*dg，
11.一种装置，包括处理器并且被配置成执行如权利要求1至10中所述的任一种方法。
12.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述指令用于利用一个或多个处理器来执行根据权利要求1至10中任一项所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于在显示映射中进行精确渲染的方法，所述方法包括：
2.如权利要求1所述的方法，其中，生成所述第二强度图像包括通过填充块和随后的偏置＝false且步幅＝1的2×2×1×1卷积块处理所述输入图像。
3.如权利要求1或2所述的方法，其中，所述一组下采样图像由所述金字塔下采样神经网络生成并形成所述第二强度图像的金字塔表示。
4.如权利要求3所述的方法，其中，所述金字塔下采样神经网络包括两个或更多个连续的卷积块，其中，每个卷积块被配置为生成所述金字塔表示的相应层的下采样图像。
5.如权利要求1至4中任一项所述的方法，其中，所述金字塔下采样神经网络包括两个或更多个偏置＝false且步幅＝2的4×2×1×1的连续卷积块。
6.如权利要求1至5中任一项所述的方法，其中，所述金字塔上采样神经网络包括多个处理层，其中，给定具有第i空间分辨率的输入层图...
【专利技术属性】
技术研发人员：A·K·A·乔杜里，R·阿特金斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。