虚拟现实场景中的动态范围扩展的设备和方法技术

以弯曲形状形式表示的虚拟现实或VR场景的较低动态范围视觉内容(21)适应于虚拟现实场景的较高动态范围显示。获得VR场景区域的至少两个平面关键视图(230)，获得分别与那些平面关键视图相关联的至少两个参数值(240)，该参数值对应于适用于扩展视觉内容的动态范围的至少一个参数，以及基于参数值，确定与延伸超出平面关键视图的VR场景的至少一部分中的较低动态范围视觉内容相对应的较高动态范围视觉内容(22)。逆色调映射的应用。

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实场景中的动态范围扩展的设备和方法
本公开涉及虚拟现实(VirtualReality，VR)领域，并且更具体地涉及应用于弯曲形状表示的动态范围扩展。具体地涉及逆色调映射(InverseToneMapping，ITM)。
技术介绍
目前，媒体和娱乐领域的两项关键技术是高动态范围(HighDynamicRange，HDR)成像和虚拟现实(VR)。HDR是指相对于传统解决方案编码更宽范围的亮度和对比度的内容和显示，因此能够更好地在真实场景中表示照明。另一方面，VR是指模拟真实的、完整的视场的技术，允许观看者体验一个场景，就像他们在其中一样。与在传统显示器上观看图像相比，VR带来了更强的沉浸感和真实感。更准确地，在VR中，内容通常采用360°场景的形式，在这些场景中，观看者可以自由地环视(甚至移动)。这种场景通常可以被认为是圆柱体(水平360°)或球体(水平和垂直360°)，观看者位于中心点。近年来，这两种技术在消费市场上都获得了巨大的发展势头：HDR被用作当前面向电视和电影娱乐的增强，而VR主要在游戏环境中得到展示。鉴于这些技术发展的吸引力，在不久的将来，集成在VR设备中的显示器很可能会成为HDR，这就需要适当的内容准备工具。具体地，考虑到VR设备中的HDR显示器，色调管理解决方案对于同时控制和改善图像的视觉质量以及确保视觉舒适性和安全性是必要的。HDRVR设备的一个特别重要的方面涉及在HDRVR设备上显示传统的非HDRVR内容的情况。在传统显示器中，为了在HDR显示器上显示非HDR内容，采用通常称为逆色调映射(ITM)的算法，其目的是扩展和重塑内容的动态范围，以便后者更好地适合于HDR显示器。对于视频，这种解决方案需要处理时间方面，以便处理是在时间上是稳定的。并且，实施方式可能依赖于分析内容，以便适应于动态范围扩展的参数。WO2017/116952公开了与独立于视口的图像编码和渲染，其中设备接收空间环境的球形图像，该图像包含由时间值编索引的球形排列的像素值，并且在空间环境中，在内容创建坐标系中参考由时间值编索引的空间位置来表示。确定内容创建坐标系和球形图像参考坐标系之间的空间关系，并且至少部分基于空间关系和球形排列的像素值来针对球形图像确定图像元数据的球形分布。在“ExpandingLowDynamicVideosforHighDynamicRangeApplications”中，FrancescoBanterle等人通过使用逆色调映射来扩展低动态范围(LowDynamicRange，LDR)视频的对比度范围，以重新生成高动态范围(HDR)数据。在“ViewMorphing”中，S.M.Seitz等人描述了使用射影几何的基本原理对图像变形技术的扩展。然而，关于HDRVR设备，出现了更多挑战，特别是对VR格式。如果像这样应用与传统图像或视频相关的ITM方法，则它们表明远不是最佳的，因为整个VR场景被视为要被全局观看的图像。特殊的问题是由于这样一个事实，即这种全局的方法通常不适应于局部的变化，这可能对特定的视点至关重要。考虑到局部处理在VR场景的各个部分中的应用，由于需要在场景上保持连贯性，尤其是在用户环视场景的情况下，会出现其他问题。并且，处理成本可能变得过高，通常需要大量的处理能力。
技术实现思路
本公开的目的是启用适用于VR的ITM解决方案，并且更一般地，是适应于VR的范围扩展的解决方案。在有利的实施方式中，本公开提出了能够获得特别适应于VR场景的每个视点的内容的ITM结果的解决方案，当用户环视场景时保持连贯，和/或当VR场景随时间动态变化时在连续视图期间提供一致的外观。所公开的解决方案的其他潜在的有利方面是节省成本的实施方式，使得即使可能使用有限的资源也可以进行实时执行。它还可以进一步利用专用于传统视频图像的现有的ITM工具。在这方面，本公开的目的尤其是一种用于使以弯曲形状形式表示的虚拟现实场景的较低动态范围视觉内容适应于虚拟现实场景的较高动态范围显示的设备。根据本公开，该设备包括至少一个处理器，该处理器被配置为获得虚拟现实场景的至少两个平面关键视图，获得分别与平面关键视图相关联的至少两个参数值，这些参数值对应于适应于扩展视觉内容的动态范围的至少一个参数，并且基于该参数值，确定与延伸超出平面关键视图的虚拟现实场景的至少一部分(称为范围扩展区域)中的较低动态范围视觉内容相对应的较高动态范围视觉内容。“平面关键视图”是指VR场景的一部分的平面视图，即通过以其弯曲形状形式表示的VR场景的一部分的平面投影从VR场景中提取的平面图像。它有利地通过将该弯曲形状形式表示的表面的点从投影中心向与弯曲形状形式表示相切的平面投影来创建。当VR场景具有球形表示时，通过将相关球体的表面的点从球体中心向与该球体相切的平面投影，来有利地创建平面图像。在这方面，可以尤其使用球心投影。尽管平面关键视图不属于VR场景表示，但为了简明起见，它有时在下面被称为VR场景的“一部分”。平面关键视图有利地描绘了VR场景的重要或代表性部分。在特定实施方式中，虚拟现实场景是球形或圆柱形的。“较低”和“较高”动态范围彼此相对，从具有较低动态范围的内容到具有较高动态范围的内容的过程相当于动态范围扩展。有利地，该设备被配置用于逆色调映射(ITM)，即关于视觉内容亮度的动态范围。在变型中，动态范围与另一个实体相关，其可以与例如色度或深度场相关。根据场景中所考虑的位置，该设备可以为在VR场景上改变动态范围扩展提供很大的灵活性。事实上，VR场景的每个视点都有可能根据其内容，在范围扩展方面被单独处理。另外，在有利的实施方式中，用户可以观看通过利用平面关键视图获得的VR场景上的连贯结果。在其他潜在的优点当中，与通过将传统的范围扩展解决方案应用于投影的VR图像可行的方案相比，该设备可以允许更优化和精确的艺术控制。另外，本设备可以提供一种有吸引力的替代方案，以直接从平面关键视图中的用户参数值内插用户参数。事实上，不同的参数很可能以复杂的方式相互作用，因此两个关键视图之间的所有参数的中间值不一定得到令人满意的中间视觉结果。该设备有利地包括至少一个适配于接收VR场景(即对应的数据)的输入端和至少一个适配于输出范围扩展区域中的较高动态范围视觉内容的输出端。在特定实施方式中，与至少一个平面关键视图相关联的至少一个参数值取决于后者一个(或多个)平面关键视图中的较低动态范围视觉内容。有利地，这些参数值是基于对较低动态范围视觉内容的自动分析而自动确定的。可替代地或组合地，用户确定、选择或参与获得这些参数值。在这两种情况下(自动和至少部分由用户控制的确定)，利用平面关键视图有利地允许在确定参数值时应用已知的范围扩展方法。特别地，该设备有利地使得有可能选择场景中的可以在平面屏幕上观看或编辑的部分，其失真比全局平面投影小得多。以这种方式，平面关键视图上的图像可以具有良好控制本文档来自技高网...

【技术保护点】
1.一种用于使以弯曲形状形式表示的虚拟现实场景的较低动态范围视觉内容(21)适应于所述虚拟现实场景的较高动态范围显示的设备(1，7)，/n其中，所述设备包括至少一个处理器，被配置为：/n-获得所述虚拟现实场景的至少两个平面关键视图(230)，/n-获得分别与所述至少两个平面关键视图(230)相关联的至少两个参数值(240)，所述参数值对应于适用于扩展视觉内容的动态范围的至少一个参数，/n-基于所述至少两个参数值，确定与被称为范围扩展区域(25)的延伸超出所述平面关键视图的所述虚拟现实场景的至少一部分中的所述较低动态范围视觉内容(21)相对应的较高动态范围视觉内容(22)。/n

【技术特征摘要】
【国外来华专利技术】20170927 EP 17306281.11.一种用于使以弯曲形状形式表示的虚拟现实场景的较低动态范围视觉内容(21)适应于所述虚拟现实场景的较高动态范围显示的设备(1，7)，
其中，所述设备包括至少一个处理器，被配置为：
-获得所述虚拟现实场景的至少两个平面关键视图(230)，
-获得分别与所述至少两个平面关键视图(230)相关联的至少两个参数值(240)，所述参数值对应于适用于扩展视觉内容的动态范围的至少一个参数，
-基于所述至少两个参数值，确定与被称为范围扩展区域(25)的延伸超出所述平面关键视图的所述虚拟现实场景的至少一部分中的所述较低动态范围视觉内容(21)相对应的较高动态范围视觉内容(22)。


2.根据权利要求1所述的设备(1，7)，其中，与至少一个平面关键视图(230)相关联的所述参数值(240)中的至少一个取决于所述至少一个平面关键视图的较低动态范围视觉内容(21)。


3.根据权利要求1或2所述的设备(1，7)，其中，确定在所述范围扩展区域(25)中的所述较高动态范围视觉内容(22)包括：
-通过组合所述范围扩展区域中的至少两个基本范围扩展表示(26)，确定所述范围扩展区域中的范围扩展表示(27)，所述基本范围扩展表示分别与所述至少两个平面关键视图(23)相关联并基于所述至少一个参数，
-根据所述范围扩展表示来确定所述范围扩展区域中的所述较高动态范围视觉内容(22)。


4.根据权利要求3所述的设备(1，7)，其中，组合所述基本范围扩展表示(26)包括对所述基本范围扩展表示进行加权，其中各个权重随着从所述范围扩展区域(25)的至少一部分到相关联的平面关键视图(230)的距离而减小。


5.根据权利要求3或4所述的设备(1，7)，其中，确定所述较高动态范围视觉内容(22)包括以由所述范围扩展表示(27)给出的功率来提高所述较低动态范围视觉内容的亮度。


6.根据前述权利要求中任一项所述的设备(1，7)，其中，所述范围扩展区域(25)位于在所述虚拟现实场景中对用户可用的至少一个当前视图内。


7.根据权利要求1至5中任一项所述的设备(1，7)，其中，所述平面关键视图(230)和所述范围扩展区域(25)的结合完全覆盖所述虚拟现实场景。


8.根据前述权利要求中任一项所述的设备(1，7)，...

【专利技术属性】
技术研发人员：F保利，J克尔维克，H格尔穆德，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US