用于3D内容的视差观察器系统技术方案

视差观察器系统允许用户通过传统的2D屏幕观看3D内容，例如360度3D全景或其他3D环境。在用户设备上操作的视差观察器系统可以使用面向用户的照相机和2D屏幕来为观看2D屏幕的用户模拟3D环境。当用户的头部关于屏幕移动时，通过改变3D环境的渲染视图，视差观察器系统可以使用传统2D显示器提供VR或3D显示器的许多沉浸感益处。在一些实施方式中，通过确定面向用户的照相机与用于显示虚拟环境的屏幕之间的关系，视差观察器系统可以被校准以在新的情况下(例如，在新的用户设备上)工作。

Parallax viewer system for 3D content

【技术实现步骤摘要】
【国外来华专利技术】用于3D内容的视差观察器系统背景虚拟现实(VR)内容、3D内容或其他360度全景内容可以向用户提供独特的沉浸式体验。例如，当用户周围发生运动或其他活动时，给予用户在虚拟环境或其他3D场景内“环视(lookaround)”的能力。然而，使用常规的显示方法，3D内容(例如360度3D全景或其他3D环境)可以通过传统的2D屏幕被观看，或者使用专用且昂贵的装备(例如头戴式VR显示器或被设计用于以3D显示内容的其他专用显示器)在3D中被体验。当使用头戴式VR显示器(或其他专用显示器)观看3D内容时，可以实现VR或360度全景内容的完全沉浸感益处。相比之下，在2D屏幕上显示内容的传统方法以与显示2D内容(例如电视节目或电影)相同的方式来显示3D内容，也就是说，3D内容呈现在2D屏幕上，假设用户具有静态视点。在许多情形中，在2D屏幕上呈现3D内容的传统方法不能有效地产生用户正在观看3D环境的印象，或者提供优于观看传统2D内容的沉浸感益处。由于头戴式VR显示器和其他3D显示系统的高成本和相对难以获得，许多用户无法利用VR和360度全景内容的沉浸感益处。因此，需要在2D屏幕上观看沉浸式VR或360度全景内容的改进方法。概述视差观察器系统(parallaxviewersystem)允许用户通过传统的2D屏幕观看3D内容(例如360度3D全景或其他3D环境)。在用户设备上操作的视差观察器系统可以使用面向用户的照相机和2D屏幕来为观看2D屏幕的用户模拟3D环境。当用户的头部关于屏幕移动时，通过改变3D环境的渲染视图，视差观察器系统可以使用传统2D显示器提供VR或3D显示器的许多沉浸感益处。例如，视差观察器系统可以允许用户通过移动他们/她们的头部来在3D环境内部“环视”，就像通过由屏幕形成的窗口向外看一样。在一些实施例中，面向用户的照相机用于跟踪用户在空间中相对于照相机的位置。然后，可以转换该相对于照相机的位置，以识别用户相对于用户设备屏幕的位置。在一些实施方式中，通过确定面向用户的照相机与用于显示虚拟环境的屏幕之间的关系，视差观察器系统可以被校准以在新的情况下(例如，在新的用户设备上)工作。根据本专利技术的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中被具体公开，其中，在一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如系统)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。在根据本专利技术的实施例中，一种方法可以包括：由用户设备跟踪用户视点关于屏幕的相对位置；由用户设备确定用户视点与用户参考位置之间的偏移量，该偏移量是基于用户视点和屏幕的相对位置确定的；基于偏移量，确定虚拟环境内的虚拟的用户视点位置和虚拟环境内的虚拟屏幕位置；以及由用户设备基于虚拟的用户视点位置和虚拟屏幕位置渲染(render)虚拟环境；以及由用户设备传输渲染的虚拟环境用于在屏幕上显示。跟踪用户视点和屏幕的相对位置可以包括：在用户设备处从面向用户的照相机接收照相机输出；以及对照相机输出执行面部识别，以确定用户视点和面向用户的照相机的相对位置。跟踪用户视点和屏幕的相对位置可以包括：基于屏幕和面向用户的照相机之间的空间关系，将用户视点和面向用户的照相机的相对位置变换为用户视点和屏幕的相对位置。在根据本专利技术的实施例中，一种方法可以包括：由用户设备基于校准过程来确定屏幕和面向用户的照相机之间的空间关系。确定虚拟的用户视点位置和虚拟屏幕位置可以包括：将虚拟的用户视点位置从虚拟的用户参考位置偏离偏移量；以及基于虚拟屏幕参考位置选择虚拟屏幕位置。基于虚拟屏幕参考位置选择虚拟屏幕位置可以包括：将虚拟屏幕位置从虚拟屏幕参考位置偏离与该偏移量成比例的量。基于虚拟屏幕参考位置选择虚拟屏幕位置可以包括：将虚拟屏幕位置设置为虚拟屏幕参考位置。基于虚拟的用户视点位置和虚拟屏幕位置渲染虚拟环境可以包括：选择用于渲染虚拟环境的视锥体(viewfrustum)，其中，虚拟屏幕位置形成视锥体的近平面。在根据本专利技术的实施例中，一种方法可以包括：由用户设备跟踪用户视点和照相机的相对位置；以及由用户设备通过以下方式确定照相机和屏幕之间的空间关系：在屏幕上选择屏幕定位(location)；将用户视点与屏幕定位对准；响应于将用户视点与选定的定位对准，捕获用户视点和照相机的第一相对位置；生成校准对，该校准对包括屏幕定位以及用户视点和照相机的第一相对位置；以及基于校准对确定照相机和屏幕之间的空间关系。照相机可以是面向用户的照相机，并且跟踪用户视点和照相机的相对位置可以包括：在用户设备处从面向用户的照相机接收照相机输出；以及对照相机输出执行面部识别，以确定用户视点和面向用户的照相机的相对位置。用户视点可以是用户一只眼睛的位置的指示符。将用户视点与屏幕定位对准可以包括：在屏幕定位处将屏幕定位的指示符显示在屏幕上；以及指示用户将他们/她们的眼睛在屏幕中的反射与屏幕定位的指示符对准。将用户视点与屏幕定位对准可以包括：在用户设备处接收用户已经将他们/她们的眼睛在屏幕中的反射与屏幕的指示符对齐的指示符。在根据本专利技术的实施例中，一种方法可以包括：在用户设备处接收用户已经将他们/她们的眼睛在屏幕中的反射与屏幕的指示符对齐的指示符。在根据本专利技术的实施例中，一种方法可以包括：在用户设备处接收校准照相机和屏幕之间的空间关系的请求。确定照相机和屏幕之间的空间关系可以基于附加的多个校准对。确定照相机和屏幕之间的空间关系可以包括使用非线性求解器来确定空间关系。在根据本专利技术的实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件在被执行时可操作来执行根据本专利技术或任何上面提到的实施例的方法。在根据本专利技术的实施例中，系统包括：一个或更多个处理器；以及耦合到处理器并包括由处理器可执行的指令的至少一个存储器，处理器当执行指令时可操作来执行根据本专利技术或任何上面提到的实施例的方法。在根据本专利技术的实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理系统上被执行时可操作来执行根据本专利技术本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n由用户设备跟踪用户视点关于屏幕的相对位置；/n由所述用户设备确定所述用户视点与用户参考位置之间的偏移量，所述偏移量是基于所述用户视点和所述屏幕的相对位置确定的；/n基于所述偏移量，确定虚拟环境内的虚拟的用户视点位置和所述虚拟环境内的虚拟屏幕位置；以及/n由所述用户设备基于所述虚拟的用户视点位置和所述虚拟屏幕位置渲染所述虚拟环境；以及/n由所述用户设备传输渲染的虚拟环境用于在所述屏幕上显示。/n

【技术特征摘要】
【国外来华专利技术】20170731 US 62/539,518;20180523 US 15/987,7471.一种方法，包括：
由用户设备跟踪用户视点关于屏幕的相对位置；
由所述用户设备确定所述用户视点与用户参考位置之间的偏移量，所述偏移量是基于所述用户视点和所述屏幕的相对位置确定的；
基于所述偏移量，确定虚拟环境内的虚拟的用户视点位置和所述虚拟环境内的虚拟屏幕位置；以及
由所述用户设备基于所述虚拟的用户视点位置和所述虚拟屏幕位置渲染所述虚拟环境；以及
由所述用户设备传输渲染的虚拟环境用于在所述屏幕上显示。


2.根据权利要求1所述的方法，其中，跟踪用户视点和所述屏幕的相对位置包括：
在所述用户设备处从面向用户的照相机接收照相机输出；以及
对所述照相机输出执行面部识别以确定所述用户视点和所述面向用户的照相机的相对位置。


3.根据权利要求2所述的方法，其中，跟踪用户视点和所述屏幕的相对位置还包括：
基于所述屏幕和所述面向用户的照相机之间的空间关系，将所述用户视点和所述面向用户的照相机的相对位置变换为所述用户视点和所述屏幕的相对位置。


4.根据权利要求1所述的方法，还包括：
由所述用户设备基于校准过程来确定所述屏幕和面向用户的照相机之间的空间关系。


5.根据权利要求1所述的方法，其中，确定虚拟的用户视点位置和虚拟屏幕位置包括：
将所述虚拟的用户视点位置从虚拟的用户参考位置偏离所述偏移量；以及
基于虚拟屏幕参考位置选择所述虚拟屏幕位置。


6.根据权利要求5所述的方法，其中，基于虚拟屏幕参考位置选择所述虚拟屏幕位置包括：
将所述虚拟屏幕位置从所述虚拟屏幕参考位置偏离与所述偏移量成比例的量。


7.根据权利要求5所述的方法，其中，基于虚拟屏幕参考位置选择所述虚拟屏幕位置包括：
将所述虚拟屏幕位置设置为所述虚拟屏幕参考位置。


8.根据权利要求1所述的方法，其中，基于所述虚拟的用户视点位置和所述虚拟屏幕位置渲染所述虚拟环境包括：
选择用于渲染所述虚拟环境的视锥体，其中，所述虚拟屏幕位置形成所述视锥体的近平面。


9.一种方法，包括：
由用户设备跟踪用户视点关于屏幕的相对位置；
由所述用户设备确定所述用户视点与用户参考位置之间的偏移量，所述偏移量是基于所述用户视点和所述屏幕的相对位置确定的；
基于所述偏移量，确定虚拟环境内的...

【专利技术属性】
技术研发人员：迈克尔·约翰·托克斯韦格，乔伊斯·许，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国;US