一种远程呈现系统技术方案

本发明专利技术涉及一种远程呈现系统，包括多个照相机，头戴式显示设备，处理系统和第一定向传感器的远程呈现系统，其中这些照相机定位在不同的视点处，这些视点被对准，使得每个照相机的视场至少部分地重叠与相邻照相机的照相机相比较，其中处理系统被布置成从多个照相机中的每一个接收图像数据，从定向传感器接收定向信息，选择一个或两个照相机，选择一个或两个照相机取决于接收到的方位信息，将从当前选择的摄像机接收的图像数据发送到头戴式显示设备，并且如果新接收到的方位信息指示跨过预定义的阈值的方位改变，则从当前选择的摄像机切换到新选择的一个或两个位于其他视点的相机。本发明专利技术提供一种给用户更真实的体验的远程呈现系统。

A Remote Presentation System

The present invention relates to a remote rendering system comprising a plurality of cameras, head-mounted display devices, processing systems and a remote rendering system of a first-direction sensor, in which these cameras are positioned at different viewpoints, which are aligned so that the field of view of each camera at least partially overlaps with the adjacent cameras. Comparing cameras, where the processing system is arranged to receive image data from each of the multiple cameras, receive orientation information from the orientation sensor, select one or two cameras, select one or two cameras depending on the received orientation information, and transmit the image data received from the currently selected camera. It is sent to the head-mounted display device, and if the newly received azimuth information indicates an azimuth change across a predefined threshold, it is switched from the currently selected camera to one or two newly selected cameras at other viewpoints. The present invention provides a remote rendering system for providing users with a more realistic experience.

【技术实现步骤摘要】
一种远程呈现系统
本专利技术涉及一种临场感系统和一种图像处理
，尤其涉及一种远程呈现系统。
技术介绍
在许多人中，有一种长期渴望在遥远的地方体验真实世界的物理环境或空间。这种远程体验已经尝试使用，随着时间的推移，赛璐珞电影，黑白电视，彩色电视，3D电视，以及最近，头戴式显示器(HMD)，如经常使用的那些在虚拟现实(VR)，增强现实(AR)和混合现实(MR)应用。所有这些技术的问题在于，观众不觉得她是在偏远的地方出现，因为她被她周围的真实环境分散注意力，或者当她移动或需要控制系统时，她的存在感被打破了。即使使用立体全景解决方案，用户在体验远程位置时也非常有限，因为她只能环顾四周，不能从不同角度看远程环境而不破坏沉浸感。专利出版美国6522325B1描述了一种使用微型相机的模块化互锁阵列的临场感系统。摄像机在轨道上，每个轨道保持多个摄像机。这些相机，每个锁定在阵列上的每个相邻相机的固定关系中，并且在给定环境中被分散，将图像输出发送到相关的存储节点，从而使远程观众能够通过相同的移动光反射来导航这样的环境。ND阴影的特点，在实际的环境中转。这些微型相机的输出可以在远程终端、交互式墙壁屏幕或移动图像设备上发送给观众。每个远程查看器，通过图形用户界面(GUI)，可以在环境中导航，通过事件实现无缝移动。已知技术的缺点是需要图形用户界面或其他导航手段，如键盘或操纵杆，以供用户改变摄像机并在远程世界中移动。技术方案本专利技术主要解决的技术问题是提供一种远程呈现系统，其特征在于：包括多个照相机，头戴式显示设备，处理系统和第一定向传感器，其中所述照相机定位在不同的视点处，所述视点被对准，使得每个照相机的视野至少部分地与其中所述处理系统被布置为：从所述多个相机中的每一个相机接收图像数据；从第一取向传感器接收取向信息；选择一个或两个摄像机，根据接收的方位信息选择一个或两个摄像机；将从当前选择的照相机接收的图像数据发送到头戴式显示设备，如果新接收的方向信息指示跨越预定阈值的方位改变，则从当前选择的摄像机切换到位于其他视点的一个或两个新选择的摄像机。可选的，其中第一定向传感器与头戴式显示装置分离。可选的，其中第一定向传感器被布置在可佩戴设备中，而不是头戴设备。可选的，其中摄像机基本上布置在水平平面中，其中处理系统被布置成检测第一方位传感器围绕垂直于水平平面的Y轴的旋转，并且当从上方看到时，检测第一方向传感器的顺时针旋转，处理系统将切换到新选择的摄像机，新选择的摄像机位于当前选择的摄像机右侧的当前摄像机的视场中，逆时针方向。检测第一方向传感器的旋转，当面对当前选择的摄像机到当前选择的摄像机的左侧的视场时，处理系统将切换到新选择的摄像机、新选择的摄像机。可选的，其中相邻的摄像机具有平行或会聚的光轴。本专利技术的有益效果是：本专利技术提供一种给用户更真实的体验的远程呈现系统。附图说明图1和2示意性地示出根据实施例的远程呈现系统的部分的顶视图。图3示意性地示出了根据另一实施例的场景与部分远程呈现系统的侧视图。实施例下面对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。图1和3显示位于视点16的摄像机10，在该遥现系统中，视点16处的摄像机10针对感兴趣的一个或多个对象，该对象可以是但不限于人、动物和无生命物体。当我们提到相机10的视点16时，我们指的是使用头戴式显示器观看相机图像时感兴趣的对象的位置。值得注意的是，在我们的观点定义中，当一个人观察者转动他的头而他的身体的其余部分停留在相同的位置时，他的视网膜的位置和他的眼睛的实际焦点改变，但是他的观点停留在与他仍然观察世界的地方。世界上的地位是一样的。图1和2示意性地示出了根据实施例的远程呈现系统的部分的顶视图。远程呈现系统100包括位于视点16的多个摄像机10、头戴式显示装置(HMD)20、处理系统101,102和第一方向传感器22，也称为主方位传感器22。图1示出了多个摄像机的示例，它们沿着围绕舞台的椭圆形14位于视点16。在这个例子中，竞技场15是拳击环15，其中发生拳击比赛。在视点16处的摄像机10对准，使得每个摄像机的视场至少部分地与相邻摄像机的视场重叠。事实上，在这个例子中，在视点16处的摄像机10沿曲线轨迹排列成椭圆14或椭圆14的一部分。在图1中，沿椭圆的14个摄像机被布置，但是在图1中，不是所有的都是可见的。在视点16处的摄像机10的光轴收敛，使得在视点16的摄像机10的视场向内指向一个特定区域，即朝向椭圆14的内部。需要注意的是，视点16的相机阵列10可以被安排在靠近竞技场15的位置，但是可选地，5月16日的视点被布置得离竞技场15更远，例如在公众的立场(未示出)后面。在这个例子中，处理系统101102是一个分布式系统，包括第一计算设备101和第二计算设备102，参见图2，远离第一计算设备101。第一和第二计算设备可以通过WAN或LAN进行通信，该WAN或LAN可以至少部分地是无线的，或者适合于传输图像数据的任何其他类型的通信，最好是实时的。对于无线(部分)连接，计算设备101,102可以分别包括天线105,106。第一计算设备101可以位于竞技场15的位置或附近，而第二计算设备102可以位于用户25附近，至少在使用中，穿着HMD20。在这个例子中，HMD20通过电缆27连接到第二计算设备102。注意，代替电缆27，第二计算设备102和HMD20之间的通信可以是无线的。第二计算装置102可以安装在用户25的背面上，以防止电缆27存在的问题。或者，第二计算设备102可以安装在HMD20上或内部，或者佩戴在用户的身体上。图2还示出了布置在HMD20中或在HMD20上的可选的第二方向传感器。在图2的配置中，主方向传感器22测量用户25的躯干的方位，而第二方位传感器23测量用户25的头部的朝向。主方向传感器22安装在计算装置102上，但应注意的是，只要能够测量用户25躯干的方向，主定位传感器5月22日就被安排在其他地方。例如，主定位传感器5月22日固定在用户坐的转椅上。主定位传感器5月22日可替代地布置在用户25佩戴的项链或皮带上。图2中的箭头30指示用户20当前正在寻找的方向。另一个箭头31指示用户可以旋转躯干的新方向。处理系统101、102被布置成从视点16接收来自多个摄像机10中的每一个的图像数据，并从主方向传感器22接收方位信息。处理系统将选择一个或两个摄像机，例如摄像机11L和11R。在一个实施例中，由相机11L记录的图像将显示在HMD20的左屏幕上，而由相机11R记录的图像将显示在HMD20的右屏幕上。以这种方式，可以实现立体视图，给用户25真实存在的感觉。值得注意的是，在视点16处的相机10可以全部是立体相机，在这种情况下，只需要一个摄像机一次以3D方式显示场景。在某一时刻，如果接收到的方向信息改变，则处理系统将从当前选择的相机11L和11R切换到一个或两个新选择的相机，例如摄像机12L和12R。这将给用户感觉她实际上正在移动观看空间。计算设备102可以实时接收来自计算设备101的图像，或者，如果在远程位置“实时”(或具有短延迟)和如果网络延迟，则可以具有本地可用的所有图像，本文档来自技高网...

【技术保护点】
1.一种远程呈现系统，其特征在于：包括多个照相机，头戴式显示设备，处理系统和第一定向传感器，其中所述照相机定位在不同的视点处，所述视点被对准，使得每个照相机的视野至少部分地与其中所述处理系统被布置为：从所述多个相机中的每一个相机接收图像数据；从第一取向传感器接收取向信息；选择一个或两个摄像机，根据接收的方位信息选择一个或两个摄像机；将从当前选择的照相机接收的图像数据发送到头戴式显示设备，如果新接收的方向信息指示跨越预定阈值的方位改变，则从当前选择的摄像机切换到位于其他视点的一个或两个新选择的摄像机。

【技术特征摘要】
1.一种远程呈现系统，其特征在于：包括多个照相机，头戴式显示设备，处理系统和第一定向传感器，其中所述照相机定位在不同的视点处，所述视点被对准，使得每个照相机的视野至少部分地与其中所述处理系统被布置为：从所述多个相机中的每一个相机接收图像数据；从第一取向传感器接收取向信息；选择一个或两个摄像机，根据接收的方位信息选择一个或两个摄像机；将从当前选择的照相机接收的图像数据发送到头戴式显示设备，如果新接收的方向信息指示跨越预定阈值的方位改变，则从当前选择的摄像机切换到位于其他视点的一个或两个新选择的摄像机。2.根据权利要求1所述的一种远程呈现系统，其特征在于：其中第一定向传感器与头戴式显示装置分离。3.根据权利要求2所述的...

【专利技术属性】
技术研发人员：缪文球，
申请(专利权)人：江苏云之尚节能科技有限公司，
类型：发明
国别省市：江苏,32