虚拟现实视差校正制造技术

描述了被配置为对从单个原点捕获的VR数字内容的视差进行校正的虚拟现实视差校正技术和系统。在一个示例中，采用视差校正模块来对在从与VR数字内容相对应的原点到相对于VR数字内容的输出的新视点的变化中引起的伪像进行校正。如以下部分中进一步描述的，视差校正模块可以采用各种技术来校正视差。这些技术的示例包括深度过滤、边界标识、拖尾检测、网格切割、置信度估计、模糊和误差扩散。

Parallax correction in virtual reality

A virtual reality parallax correction technique and system configured to correct the parallax of VR digital content captured from a single origin are described. In one example, a parallax correction module is used to correct artifacts caused by changes from the origin corresponding to the VR digital content to the new viewpoint relative to the output of the VR digital content. As further described in the following sections, the parallax correction module may employ various techniques to correct the parallax. Examples of these technologies include deep filtering, boundary identification, tail detection, mesh cutting, confidence estimation, ambiguity and error diffusion.

【技术实现步骤摘要】
虚拟现实视差校正
本公开涉及计算机
，更具体地，涉及在数字媒体环境中用以校正视差以解决关于虚拟现实(VR)数字内容的视角变化的系统和方法。
技术介绍
虚拟现实(VR)数字内容(诸如VR数字视频或VR数字图像)采用相机系统(例如，数字相机阵列)来捕获物理环境的图像场景。因此，当查看该内容时，相机系统在物理环境中的位置作为与VR数字内容相关的原点。例如，为了渲染VR数字内容，左眼和右眼全景数字图像由VR设备显示为立体图像以支持深度的出现。因此，通过与VR设备的交互(例如通过用户头部的旋转运动)，用户可以在原点处相对于该显示器以不同的取向“环顾”。然而，该技术引入了挑战，因为相机系统被局限于从原点捕获物理环境，并且因此该内容的显示被局限于传统VR设备的原点。虽然用户的旋转头部移动可以用于正确地查看图像场景的不同部分，但是例如，用户头部的重新定位(例如，平移)(例如，左右、上下)不被支持或者导致无法通过传统VR设备正确地更新VR数字内容的输出。这是因为传统的VR设备没有正确地更新依赖于深度的视差，其中图像场景中原点(例如，相机)附近的对象比图像场景中更远离原点的对象表现出更大的移动量。本文档来自技高网...

【技术保护点】
1.一种在数字媒体环境中用以校正视差以解决关于虚拟现实(VR)数字内容的视角变化的系统，包括：三角网格生成模块，所述三角网格生成模块至少部分地在VR系统的硬件中被实施，以基于像素和相对于所述VR数字内容的原始视角的相关联三维坐标来生成原始三角网格；视角检测模块，所述视角检测模块至少部分地在所述VR系统的硬件中被实施以生成视角数据，所述视角数据描述相对于所述VR数字内容从原始视角到已改变视角的变化；视角改变模块，所述视角改变模块至少部分地在所述VR系统的硬件中被实施，以基于所述原始三角网格和所述视角数据来生成视角三角网格；视差校正模块，所述视差校正模块至少部分地在所述VR系统的硬件中被实施，以生...

【技术特征摘要】
2017.10.11 US 15/730,4781.一种在数字媒体环境中用以校正视差以解决关于虚拟现实(VR)数字内容的视角变化的系统，包括：三角网格生成模块，所述三角网格生成模块至少部分地在VR系统的硬件中被实施，以基于像素和相对于所述VR数字内容的原始视角的相关联三维坐标来生成原始三角网格；视角检测模块，所述视角检测模块至少部分地在所述VR系统的硬件中被实施以生成视角数据，所述视角数据描述相对于所述VR数字内容从原始视角到已改变视角的变化；视角改变模块，所述视角改变模块至少部分地在所述VR系统的硬件中被实施，以基于所述原始三角网格和所述视角数据来生成视角三角网格；视差校正模块，所述视差校正模块至少部分地在所述VR系统的硬件中被实施，以生成已校正视差三角网格，所述已校正视差三角网格对所述视角三角网格中的至少一个伪像进行校正；以及内容渲染模块，所述内容渲染模块至少部分地在所述VR系统的硬件中被实施，以基于所述已校正视差三角网格来渲染所述VR数字内容。2.根据权利要求1所述的系统，其中所述视差校正模块还包括深度过滤模块，所述深度过滤模块用以至少部分基于深度过滤来生成所述已校正视差三角网格。3.根据权利要求1所述的系统，其中所述视差校正模块还包括边界标识模块，所述边界标识模块用以基于作为通过使用神经网络的机器学习的一部分的深度边界的标识来生成所述已校正视差三角网格。4.根据权利要求1所述的系统，其中所述视差校正模块还包括拖尾检测模块，所述拖尾检测模块用以基于对作为所述视角三角网格的一部分而被包括的三角形的检查来生成所述已校正视差三角网格。5.根据权利要求4所述的系统，其中由所述拖尾检测模块的所述检查基于近似于相应的所述三角形的视图方向的表面法线、相应的所述三角形的边缘长度、或者相应的所述三角形的面积。6.根据权利要求1所述的系统，其中所述视差校正模块还包括置信度估计模块，所述置信度估计模块用以生成与所述视角三角网格的像素的深度相关联的置信度值。7.根据权利要求6所述的系统，其中所述置信度值至少部分基于作为所述VR数字内容的一部分的相应立体图像中的所述像素的差异。8.根据权利要求6所述的系统，还包括模糊模块，所述模糊模块被配置为基于针对VR数字内容的部分中像素的相应的所述置信度值来对相应部分进行模糊。9.根据权利要求8所述的系统，其中所述部分的所述模糊的量针对具有低置信度值的部分增加，并且针对具有高置信度值的部分减少。10.根据权利要求1所述的系统，其中所述视差校正模块还包括误差扩散模块，所述误差扩散模块用以生成所述已校正视差三角网格，所...

【专利技术属性】
技术研发人员：S·J·迪维尔迪，A·B·S·帕彻尤，A·P·赫茨曼，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US