用于提供具有六个自由度的至少部分内容的方法和系统技术方案

本发明专利技术提供一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：接收虚拟环境的部分内容；将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；将所述部分内容投影到第一几何形状的表面的第一点上；基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；将所述部分内容投影到第一几何形状的表面或第二几何形状的表面的第二点上，所述第二点与所述第一点不同；基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。

【技术实现步骤摘要】
【国外来华专利技术】用于提供具有六个自由度的至少部分内容的方法和系统
本专利技术涉及一种用于提供具有六个自由度的至少部分内容的方法和系统。
技术介绍
随着近来新一代虚拟现实(VR)硬件(例如GoogleCardboard，GoogleDaydream，SamsungGear，HTCVive，OculusRift)的普及，对VR体验的兴趣迅速增长。从观看360°照片和视频到合成环境的计算机生成图像(CGI)，范围广泛的VR体验均可获得。尽管前者(360°内容)由于是基于捕获的摄影内容而非常逼真，但它们不是交互式的。相反，尽管后者(CGI合成环境)通常是交互式的，但它们通常很不逼真。当前的360°VR体验允许用户环顾四周场景，但不能在场景内移动。从技术上讲，当前体验仅支持旋转运动的3自由度(DOF)。当前的360°体验不支持允许用户在场景内移动的3DOF位置(平移)移动。这打破了沉浸式360°内容提供的存在感。同时支持旋转和位置移动会产生6DOF移动，其中3DOF来自旋转移动，3DOF来自位置(平移)移动。缺乏对6DOF的支持也会导致网络晕动症。网络晕动症的主要原因之一是感觉冲突。感觉冲突发生在身体的不同感觉不协调时，就像他们在物理世界时通常遇到的感觉冲突一样。最常见的感觉冲突是视觉-前庭冲突。当视觉和前庭(即内耳)的感觉系统处于冲突时，就会发生视觉-前庭冲突。在当前的360°VR系统中，如果用户在物理世界中移动(例如，倾斜或向前迈步)，则内耳会感觉到该运动，但是相应的运动没有在虚拟环境中可视地反映出来。由于前庭系统(内耳)感知到运动，而视觉系统无法感知，因此这两个系统处于冲突中，这可能导致网络晕动症。已经尝试了其他方法来解决上述问题。下面概述两种这样的方法。体积捕获体积捕获方法试图获取完整的三维体积信息。一旦获取了完整的体积内容，就可以从任一视点重新渲染场景，从而支持6DOF运动。体积视频的效果令人印象深刻，但需要高度专业化的摄影装备来获取体积信息。获取体积信息的过程是很耗时的，并且数据量通常非常大。体积捕获装置需要额外的传感器，也非常昂贵。体积方法不能应用于标准消费者或专业360°摄像机获取的内容，也不能与无法获得完整三维体积信息的已有媒体和/或内容一起使用。三维几何结构的重构一种替代方法是尝试恢复场景的整个三维几何结构，然后使用恢复的几何结构合成场景的新的视图。几何结构可以从双目立体匹配(stereocorrespondence)中恢复。这可以通过一对立体摄像机或用于静态场景的运动摄像机(运动摄像机需要静态场景，以便可以恢复场景的帧之间的对应关系)来实现，在Huang，Chen，Ceylan，Jin，2017，IEEE虚拟现实，3744，https：//ieeexplore.ieee.org/document/7892229/的文章中，提出了一种通过从单个运动360°摄像机恢复几何结构来支持6DOF的系统。该系统不仅支持6DOF，而且还可以合成立体视图。然而，恢复完整的三维几何结构是一个具有挑战性的问题，正如在Huang等人的文章所提到的(2017)，效果的质量取决于恢复的几何结构的准确性。例如，由于噪声、无纹理区域、遮挡和照明变化而导致的几何结构中的大的孔洞将有问题的伪像引入场景中。此外，该系统需要一个移动摄像机，因此无法应用于单张360°照片。该系统还需要静态场景，因此无法应用于具有动态场景的视频。本专利技术试图通过在现有的沉浸式内容中提供对6DOF运动的支持来解决上述问题，以改善用户体验并减少可能由于用户的前庭和视觉系统之间的冲突而引起的恶心的情况和影响。
技术实现思路
本专利技术的一个方面提供了一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：a)接收所述虚拟环境的部分内容；b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；c)将所述部分内容投影到第一几何形状的表面的第一点上；d)基于步骤c)的输出，确定与第一位置处的部分内容有关的第一结果；e)将所述部分内容投影到位于以下表面上的第二点：ο第一几何形状的表面或ο第二几何形状的表面，所述第二点与所述第一点不同；f)基于步骤e)的输出，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动其中每个步骤均由至少一个处理器独立执行。本专利技术认识到，通过消除视觉-前庭冲突，支持用于通过VR头戴式设备观看的沉浸式内容的6DOF运动，显著减少了网络晕动症。上面概述的现有技术方法通常需要通过使用昂贵的视频捕获和处理装置来获取大量的体积数据或重新创建整个场景。此外，现有技术方法不能应用于某些内容类型或已有的内容。本专利技术提供了一种解决方案，该解决方案可以通过仅操作将由VR系统的用户立即观看的部分内容，来应用于现有的沉浸式内容。其数据规模可由诸如移动电话和个人计算机之类的普通消费电子装置管理。本专利技术的方法还可以应用于包括360°沉浸式内容、180°内容、标准照片和空间音频的现有内容。本专利技术的另一方面提供了一种系统，包括：存储器，其包括指令；以及至少一个处理器，其耦合到所述存储器，其中，所述指令被配置为使所述处理器：a)接收所述虚拟环境的至少部分内容；b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；c)将所述部分内容投影到第一几何形状的表面的第一点上；d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；e)将所述部分内容投影到位于以下表面上的第二点：ο第一几何形状的表面或ο第二几何形状的表面，所述第二点与所述第一点不同；f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。本专利技术的另一方面提供一种其上存储有指令的有形计算机可读装置，所述指令在由至少一个计算装置执行时，使所述至少一个计算装置执行以下操作：a)接收所述虚拟环境的至少部分内容；b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；c)将所述部分内容投影到第一几何形状的表面的第一点上；d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；e)将所述部分内容投影到位于以下表面上的第二点：ο第一几何形状的表面或ο第二几何形状的表面，所述第二点与所述第一点不同；f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及g)基于第一结本文档来自技高网...

【技术保护点】
1.一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：/na)接收所述虚拟环境的所述部分内容；/nb)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；/nc)将所述部分内容投影到第一几何形状的表面的第一点上；/nd)基于步骤c)的输出，确定与第一位置处的部分内容有关的第一结果；/ne)将所述部分内容投影到位于以下表面上的第二点：/no第一几何形状的表面或/no第二几何形状的表面，/n所述第二点与所述第一点不同；/nf)基于步骤e)的输出，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及/ng)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动/n其中每个步骤均由至少一个处理器独立执行。/n

【技术特征摘要】
【国外来华专利技术】20181026 GB 1817454.0;20190503 US 16/4027011.一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：
a)接收所述虚拟环境的所述部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于步骤c)的输出，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
o第一几何形状的表面或
o第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于步骤e)的输出，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动
其中每个步骤均由至少一个处理器独立执行。


2.根据权利要求1所述的方法，其中步骤c)包括：
-将所述部分内容映射到所述第一几何形状的表面的所述第一点上，并且
步骤e)包括：
-将所述部分内容映射到位于以下表面上的第二点：
o第一几何形状的表面或
o第二几何形状的表面。


3.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状的表面的第二点被投影到所述第一几何形状上，并且所述第一几何形状是球体。


4.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状的表面的第二点被投影到所述第二几何形状的表面上。


5.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状和所述第二几何形状中的每一个都是球体，并且其中，所述第一几何形状的中心与所述第二几何形状的中心发生位移。


6.根据前述权利要求中任一项所述的方法，其中：
将所述第二点投影到所述第一几何形状的表面和所述第二几何形状的表面上，并且
使用所述第一几何形状的表面和所述第二个几何形状的表面分开执行步骤f)。


7.根据前述权利要求中任一项所述的方法，其中步骤d)和/或步骤f)包括：
-将所述部分内容划分为多个区域，所述多个区域包括第一和第二前景区域以及第一和第二背景区域，其中
o第一前景区域和第一背景区域被投影到第一几何形状上，以及
o第二前景区域和第二背景区域被投影到第二几何形状上，
使得第一几何形状包括第一前景区域和第一背景区域，并且第二几何形状包括第二前景区域和第二背景区域；以及
-使第一几何形状和第二几何形状变形。


8.根据前述权利要求中任一项所述的方法，进一步包括转换所述部分内容以提供所述部分内容的360°信息。


9.根据前述权利要求中任一项所述的方法，其中：
-步骤a)包括从第一摄像机和第二摄像机接收所述部分内容，并且
-步骤b)包括将所述第一几何形状和所述第二几何形状中的至少一个分别与所述第一摄像机和第二摄像机相关联。


10.根据权利要求9所述的方法，其中，所述第一摄像机和/或所述第二摄像机被配置为基于运动的方向或对象的距离以给定的速度运动，其中，所述运动的方向和所述对象的距离中的每一个与虚拟环境的部分内容中的第一参考点和第二参考点有关...

【专利技术属性】
技术研发人员：J·D·麦克尤恩，M·安德，C·G·R·沃利斯，M·达维扎克，
申请(专利权)人：卡格诺瓦有限公司，
类型：发明
国别省市：英国;GB