在头戴式显示器上渲染当前图像的方法、对应装置、计算机程序产品和计算机可读载体介质制造方法及图纸

提供了一种用于在头戴式显示器上渲染当前图像的方法。当前图像是由安装在运动对象上的相机采集的。首先，获得捕捉滚转角。将该捕捉滚转角与作为头戴式显示器的用户头部的当前滚转角的观看滚转角进行比较。如果捕捉滚转角和当前观看滚转角之间的差小于所确定的阈值，则激活检测标志。然后，将当前图像旋转根据捕捉滚转角、当前观看滚转角和检测标志而确定的角度。渲染经旋转的当前图像。

【技术实现步骤摘要】
【国外来华专利技术】在头戴式显示器上渲染当前图像的方法、对应装置、计算机程序产品和计算机可读载体介质
本公开涉及沉浸式系统领域。更具体地，本公开涉及一种用于在头戴式显示器上渲染当前图像的技术，该技术允许减少可能损害沉浸式体验的令人不快的副作用，例如电子晕动症(motioncybersickness)。
技术介绍
本章节旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本公开的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应理解，这些陈述应当从这个角度来理解，而不是作为对现有技术的承认。得益于诸如头戴式显示器之类的设备，360度视频和虚拟现实体验现在涌入娱乐市场，从而允许观众沉浸在媒体的中心。然而，用户的沉浸式的体验可能会被通常所说的电子晕动症所改变。电子晕动症是虚拟现实的一种常见的副作用，当视觉感知的运动和前庭系统的运动感觉之间存在分歧(即，大脑在身体感觉到的运动缺乏或不同步的情况下对协调眼睛看到的运动存在困难)时出现此副作用。因此，用户可能会感到令人不快的感觉，甚至可能使他恶心。当在显示设备(头戴式显示器)中渲染的场景是根据移动的视点采集的场景(例如，用嵌入在移动的车辆(汽车、过山车车厢等)中的相机捕捉的场景)时，这种副作用更可能发生。存在一些方法可以减轻这种不适感，例如，增加屏幕分辨率，减少头部运动与图像效果之间的延迟，或者在用户的视场内添加一些固定的视觉参考对象(例如虚拟驾驶舱或虚拟鼻子)。然而，实施这些方法并不允许在所有情况下防止电子晕动症。具体而言，这些方法不足以防止当在头戴式显示器内的图像渲染涉及用户头部滚转运动(rollmotion)以及由于在图像采集时图像捕捉设备的滚转角(rollangle)的变化而产生的虚拟滚转运动时可能出现的令人不快的感觉。针对图1a、图1b、图2a和图2b示意性地示出了这种情况的示例。在这些示例中，渲染的场景(平坦地形12上的竖直圆柱塔11)先前已被嵌入在移动车辆(例如过山车车厢)上的图像捕捉设备(例如，相机)捕获。该场景在用户佩戴的头戴式显示器的参考系14中进行渲染。相机的参考系也由图中的虚线矩形15示意性地表示。图1a和图1b属于在采集期间相机没有横向倾斜(零滚转角)的情况，例如，因为相机嵌入的车厢正笔直地在平坦的表面上行驶。因此，在相机的参考系中，地平线13是水平的。在关于图1a所示的初始情况下，头戴式显示器(即用户的头)是竖直的。如果用户横向向右倾斜其头部，如关于图1b所示，则常规的头戴式显示渲染器将考虑该滚转分量以补偿倾斜并保持地平线13水平。换句话说，渲染器根据头戴式显示器的参考系14操作图像的反向旋转，以保持图像的视觉感知与前庭系统感知一致。因此，如果头部运动和图像的反向旋转之间的延迟保持较低，则这种情况不应导致电子晕动症。尽管在关于图1a和图1b描述的用例中是高效的，但是在更复杂的情况下(如现在关于图2a和图2b呈现的情况)，此渲染器补偿头部滚转运动的常规方法达到了它的极限。图2a和图2b属于相机在在采集期间中横向向右倾斜(非零滚转角，例如，因为相机所在的车厢正在右转)的情况。因此，在相机的参考系15中，地平线13不是水平的，而是似乎在左侧俯冲。在关于图2a示出的初始情况下，头戴式显示器(即，用户的头)是竖直的。因此，用户看到地平线13时，就好像他将自己的头横向向右倾斜，尽管他没有这样做。因此，他已经处于不舒服的状态。试图找到图像和他的头部位置之间的对应关系时，用户可能被诱使将头部横向向右倾斜。这样的运动导致关于图2b示出的情况，其中渲染器已根据先前关于图1a和图1b呈现的常规方法补偿了头部滚转运动。但是，可以从图2b中看出，这样的运动不会改善用户的情况，因为头戴式显示器的参考系14和地平线13之间的角度变得更大。视觉感知和前庭系统感知之间的分歧仍然存在。情况没有得到改善，用户可能仍然感到不舒服：他可能运动不适或失去平衡。因此，期望提供一种允许在头戴式显示器中渲染当前图像的技术，该技术将至少避免现有技术的这些缺点中的一些缺点，从而改进沉浸式体验。
技术实现思路
根据本公开的一方面，公开了一种用于在头戴式显示器上渲染当前图像的方法。当前图像已由安装在运动对象上的图像捕捉设备采集。所提出的渲染当前图像的方法包括：-获得捕捉滚转角，该捕捉滚转角代表用于采集所述当前图像的所述图像捕捉设备的滚转角；-确定观看滚转角，该观看滚转角代表所述头戴式显示器的用户头部的当前滚转角，被称为当前观看滚转角；-比较所述捕捉滚转角和所述当前观看滚转角，并且如果捕捉滚转角和当前观看滚转角之间的差小于所确定的阈值，则激活检测标志；-将所述当前图像旋转一旋转角度，传送经旋转的当前图像，所述旋转角度被确定为所述捕捉滚转角、所述当前观看滚转角以及所述检测标志的函数；-渲染所述经旋转的当前图像。这样，在头戴式显示器上渲染当前图像不仅要考虑佩戴头戴式显示器的用户头部的当前滚转角，而且还要考虑当前图像采集时图像捕捉设备的滚转角。更具体地，所提出的技术允许实现根据观看滚转角是否已达到捕捉滚转角而不同的对当前图像的处理。这样，可以执行对当前图像的适应性渲染，并且可以减少观看内容的用户可能经历的不期望的副作用。根据实施例，当前图像属于图像序列，并且其中：-如果所述检测标志未被激活，则所述旋转角度作为所述当前观看滚转角的函数而被获得；-如果所述检测标志被激活，则所述旋转角度等于所述捕捉滚转角减去所述当前观看滚转角。这样，只要观看滚转角未达到捕捉滚转角，在头戴式显示器中渲染的图像就被当前观看滚转角所束缚，从而形成可以类似于一种随动系统的系统，此随动系统可以是线性的，也可以是非线性的。因此，所提出的技术允许用户找到其头部倾斜度与图像捕捉设备在捕捉当前图像时的倾斜度对准的位置，同时渲染经旋转的图像，以使经渲染的图像的视觉感知与前庭系统感知保持一致。一旦达到该位置，束缚关系被取消或至少被修改，并且然后通过对应的图像反向旋转来补偿低于或高于捕捉滚转角的任何当前观看滚转角。根据先前描述的实施例的特定特征：-如果所述检测标志未被激活，则该旋转角度等于所述当前观看滚转角；-如果所述检测标志被激活，则该旋转角度等于所述捕捉滚转角减去所述当前观看滚转角。这样，当检测标志被激活时，将旋转角度关联到当前观看滚转角的函数是线性函数，因此，对应于当头戴式显示器受到当前观看滚转角的束缚时对于用户更舒适的观看情况。根据实施例，在用户请求时或者如果捕捉滚转角为空值，所述检测标志被停用。这样，在某些情况下，该方法可以被重置或重新初始化，从而允许头戴式显示器再次受到当前观看滚转角的束缚。根据实施例，渲染所述经旋转的当前图像还包括渲染图形指示符，所述图形指示符被确定为所述当前观看滚转角和所述捕捉滚转角的函数。这样，用户的视场中会显示永久可访问和更新的位置反馈指示符，该指示符帮助用户认识到自己的位置，并快速找出可以执行以提高本文档来自技高网...

【技术保护点】
1.一种用于在头戴式显示器上渲染当前图像的方法，所述当前图像由安装在运动对象上的图像捕捉设备采集，所述方法包括：/n-获得(41)捕捉滚转角，所述捕捉滚转角代表用于采集所述当前图像的所述图像捕捉设备的滚转角；/n-确定(42)观看滚转角，所述观看滚转角代表所述头戴式显示器的用户头部的当前滚转角，被称为当前观看滚转角；/n-比较(43)所述捕捉滚转角和所述当前观看滚转角，并且如果所述捕捉滚转角和所述当前观看滚转角之间的差小于所确定的阈值，则激活检测标志；/n-将所述当前图像旋转(44)一旋转角度，传送经旋转的当前图像，所述旋转角度被确定为所述捕捉滚转角、所述当前观看滚转角以及所述检测标志的函数；/n-渲染(45)所述经旋转的当前图像。/n

【技术特征摘要】
【国外来华专利技术】20171130 EP 17306666.31.一种用于在头戴式显示器上渲染当前图像的方法，所述当前图像由安装在运动对象上的图像捕捉设备采集，所述方法包括：
-获得(41)捕捉滚转角，所述捕捉滚转角代表用于采集所述当前图像的所述图像捕捉设备的滚转角；
-确定(42)观看滚转角，所述观看滚转角代表所述头戴式显示器的用户头部的当前滚转角，被称为当前观看滚转角；
-比较(43)所述捕捉滚转角和所述当前观看滚转角，并且如果所述捕捉滚转角和所述当前观看滚转角之间的差小于所确定的阈值，则激活检测标志；
-将所述当前图像旋转(44)一旋转角度，传送经旋转的当前图像，所述旋转角度被确定为所述捕捉滚转角、所述当前观看滚转角以及所述检测标志的函数；
-渲染(45)所述经旋转的当前图像。


2.根据权利要求1所述的方法，其中：
-如果所述检测标志未被激活，则所述旋转角度作为所述当前观看滚转角的函数而被获得；
-如果所述检测标志被激活，则所述旋转角度等于所述捕捉滚转角减去所述当前观看滚转角。


3.根据权利要求2所述的方法，其中：
-如果所述检测标志未被激活，则所述旋转角度等于所述当前观看滚转角；
-如果所述检测标志被激活，则所述旋转角度等于所述捕捉滚转角减去所述当前观看滚转角。


4.根据权利要求1至3中任一项所述的方法，其中，在用户请求时或者如果所述捕捉滚转角为空值，则所述检测标志被停用。


5.根据权利要求1至4中任一项所述的方法，其中，渲染所述经旋转的当前图像还包括渲染图形指示符，所述图形指示符被确定为所述当前观看滚转角和所述捕捉滚转角的函数。


6.根据权利要求5所述的方法，其中，所述图形指示符包括代表所述捕捉滚转角的背景部分和代表所述当前观看滚转角的前景部分。


7.一种用于在头戴式显示器上渲染当前图像的装置，所述当前图像由安装在运动对象上的图像捕捉设备采集，...

【专利技术属性】
技术研发人员：奥利维尔·大仲马，伯特兰·勒罗伊，法比恩·丹尼奥，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR