广角相机透视体验的系统、算法和设计技术方案

本公开涉及用于提供视觉传送窗的方法和系统。示例系统包括广角相机、显示器和控制器。控制器包括至少一个处理器和存储器。至少一个处理器执行存储在存储器中的指令以执行操作。该操作包括接收远程视口信息。视口信息指示远程用户的至少一只眼睛相对于远程显示器的相对位置。该操作还包括使广角相机捕获系统的环境的图像。该操作还包括基于视口信息和关于远程显示器的信息，裁剪和投影图像以形成帧。该操作还包括传输帧以在远程显示器处显示。操作还包括传输帧以在远程显示器处显示。操作还包括传输帧以在远程显示器处显示。

【技术实现步骤摘要】
【国外来华专利技术】广角相机透视体验的系统、算法和设计
[0001]对相关申请的交叉引用
[0002]本申请是要求2019年2月5日提交的美国专利申请第62/801,318号的优先权的专利申请，通过引用将该专利申请的内容并入本文。

技术介绍

[0003]常规的视频会议系统包括在两个物理上分开的位置的相机和麦克风。常规视频会议的参与者通常可以看到从其他位置传输的视频图像和音频。在某些情况下，一个或两个参与者可以使用水平移动(pan)、垂直移动(tilt)、变焦(zoom)(PTZ)控件来控制给定的相机。
[0004]然而，常规视频会议中的参与者并不觉得他们在物理上处于同一个房间(在另一位置)。因此，需要提供真实的视频会议体验的通信系统和方法。

技术实现思路

[0005]本文公开的系统和方法涉及视觉“传送(teleport)”窗，其可以向观看者提供观看另一位置中的地点的观看体验，就像观看者正在通过物理窗观看一样。类似地，该系统和方法可以使得位于不同位置的两个房间中的两个人看到彼此并相互交互，就像通过物理窗一样。
[0006]在一个方面，提供了一种系统。该系统包括本地视口和控制器。本地视口包括相机和显示器。控制器包括至少一个处理器和存储器。至少一个处理器执行存储在存储器中的指令以执行操作。该操作包括接收远程视口信息。视口信息指示远程用户的至少一只眼睛相对于远程显示器的相对位置。该操作还包括使相机捕获本地视口的环境的图像。该操作还包括基于视口信息和关于远程显示器的信息裁剪和投影图像以形成帧。该操作还进一步包括传输帧以在远程显示器处显示。
[0007]在另一方面，提供了一种系统。该系统包括第一观看窗和第二观看窗。第一观看窗包括被配置为捕获第一用户的图像的第一相机。第一观看窗还包括第一显示器和第一控制器。第二观看窗包括被配置为捕获第二用户的图像的第二相机。第二观看窗还包括第二显示器和第二控制器。第一控制器和第二控制器通过网络通信联接。第一控制器和第二控制器各自包括至少一个处理器和存储器。至少一个处理器执行存储在存储器中的指令以执行操作。该操作包括基于第一用户相对于第一显示器的眼睛位置来确定第一视口信息。该操作还包括基于第二用户相对于第二显示器的眼睛位置来确定第二视口信息。
[0008]在另一方面，提供了一种方法。该方法包括从远程观看窗接收远程视口信息。远程视口信息指示远程用户的至少一只眼睛相对于远程显示器的相对位置。该方法包括使本地观看窗的相机捕获本地观看窗的环境的图像。该方法还包括：基于远程视口信息和关于远程显示器的信息，裁剪和投影图像以形成帧。该方法还包括传输帧以在远程显示器处显示。
[0009]在另一方面，提供了一种方法。该方法包括使第一相机捕获第一用户的图像。该方法还包括基于捕获的图像确定第一视口信息。第一视口信息指示第一用户的至少一只眼睛
相对于第一显示器的相对位置。该方法还包括从第一控制器向第二控制器传输第一视口信息。该方法还进一步包括从第二控制器接收由第二相机捕获的至少一个帧。基于第一视口信息裁剪和投影由第二相机捕获的至少一个帧。该方法还包括在第一显示器上显示至少一个帧。
[0010]在另一方面，提供了一种系统。该系统包括用于执行本文描述的其他各个方面的操作的各种装置。
[0011]通过阅读以下详细描述并适当地参考附图，这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应当理解，本文提供的该概述以及其他描述和附图旨在仅通过示例的方式来说明实施例，并且因此，许多变化是可能的。例如，结构元件和工艺步骤可以重新排列、组合、分布、消除或以其他方式改变，同时保持在所要求保护的实施例的范围内。
附图说明
[0012]图1A示出了根据示例实施例的观看者观察以头部相关透视(head
‑
coupled perspective，HCP)呈现的3D影像的场景。
[0013]图1B示出了根据示例实施例的具有远程存在操作员和代理机器人(surrogate robot)的场景。
[0014]图1C示出了根据示例实施例的360
°
虚拟现实相机和带有虚拟现实头戴式视图器的观看者。
[0015]图1D示出了根据示例实施例的远程呈现会议。
[0016]图2示出了根据示例实施例的系统。
[0017]图3A示出了根据示例实施例的系统。
[0018]图3B示出了根据示例实施例的系统。
[0019]图4是根据示例实施例的信息流的图。
[0020]图5A是根据示例实施例的信息流的图。
[0021]图5B是根据示例实施例的信息流的图。
[0022]图6示出了根据示例实施例的系统。
[0023]图7示出了根据示例实施例的方法。
[0024]图8示出了根据示例实施例的方法。
具体实施方式
[0025]本文描述了示例方法、设备和系统。应当理解，“示例”和“示例性”在本文中用于表示“作为示例、实例或说明”。在本文中被描述为“示例”或“示例性”的任何实施例或特征不必被解释为优于其他实施例或特征或比其他实施例或特征有利。在不脱离本文呈现的主题的范围的情况下，可以利用其他实施例，并且可以做出其他改变。
[0026]因此，本文描述的示例实施例并不意味着是限制性的。在本文中一般地描述且在图中示出的本公开的各方面可以以多种不同的配置进行布置、替换、组合、分离和设计，所有这些都在本文中被考虑。
[0027]此外，除非上下文另有说明，否则每个附图中所示的特征可以相互组合使用。因
此，应将附图大体上视为一个或多个整体实施例的组成方面，应理解并非所有图示的特征对于每个实施例都是必需的。
[0028]一、概述
[0029]本文描述的系统和方法涉及允许一个人体验(例如，观察和听到)处于另一位置中的地点的视觉传送窗(visual teleport window)，就好像通过打开的物理窗一样。一些实施例可以允许在不同位置的两个人看到彼此，就像透过这样的物理窗看到一样。通过在窗周围或近或远物理地移动，一个人可以看到在其他位置的视场中的不同角度的区域，反之亦然。传送窗系统在每个物理位置包括一个常规显示器、一个广角相机和计算机系统。在一些实施例中，多个相机(例如，广角相机和多个窄角/摄远(telephoto)相机)可以与各种系统和方法实施例一起使用。例如，如果使用多个相机，则可以使用视图插值算法使用来自多个相机视图的图像信息和/或基于相机的相对空间布置来合成来自特定视点(例如，显示器的中心)的视图。视图插值算法可以包括立体视觉插值算法、像素分割/重建算法或其他类型的多相机插值算法。该系统和方法可以利用被配置为维持实时渲染的硬件和软件算法，以使虚拟窗体验尽可能真实。本文描述了各种系统和方法实施例，其可以通过模拟通过打开的窗或虚拟门户交互的体验来改善用户之间的通信和交互。
[0030]二、与常规方法的比较
[0031]A.头部相关透视(HC本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：本地视口，所述本地视口包括：至少一个相机；和显示器；和控制器，所述控制器包括至少一个处理器和存储器，其中，所述至少一个处理器执行存储在所述存储器中的指令以执行操作，所述操作包括：接收远程视口信息，其中，所述视口信息指示远程用户的至少一只眼睛相对于远程显示器的相对位置；使所述至少一个相机捕获本地视口的环境的至少一个图像；基于所述视口信息和关于所述远程显示器的信息，裁剪和投影所述至少一个图像以形成帧；和传输所述帧以在所述远程显示器处显示。2.根据权利要求1所述的系统，其中，所述操作还包括：确定本地视口信息，其中，所述本地视口信息指示本地用户的至少一只眼睛相对于所述显示器的相对位置；向远程控制器传输所述本地视口信息；从所述远程控制器接收由远程相机捕获的至少一个远程帧；和在所述显示器上显示所述至少一个远程帧。3.根据权利要求2所述的系统，其中，确定本地视口信息包括：使所述至少一个相机捕获本地用户的至少一个图像；和基于所述本地用户的至少一只眼睛在捕获的图像内的位置来确定所述本地视口信息。4.根据权利要求2所述的系统，还包括另外的图像传感器，确定本地视口信息包括：使所述另外的图像传感器捕获本地用户的图像；和基于所述本地用户的至少一只眼睛在捕获的图像内的位置来确定所述本地视口信息。5.根据权利要求2所述的系统，其中，确定所述本地视口信息还基于校准数据或训练数据。6.根据权利要求1所述的系统，其中，传输所述帧以在所述远程显示器处显示包括将所述帧压缩成压缩视频流。7.根据权利要求2所述的系统，其中，传输所述帧以在所述远程显示器处显示包括将所述帧和所确定的本地视口信息压缩成压缩视频流。8.根据权利要求1所述的系统，其中，所述相机包括广角相机、窄角相机或水平移动
‑
垂直移动
‑
变焦(PTZ)相机。9.一种系统，包括：第一观看窗，所述第一观看窗包括：至少一个第一相机，所述至少一个第一相机被配置为捕获第一用户的至少一个图像，第一显示器；和第一控制器；以及第二观看窗，所述第二观看窗包括：至少一个第二相机，所述至少一个第二相机被配置为捕获第二用户的至少一个图像，
第二显示器；和第二控制器，其中，所述第一控制器和所述第二控制器通过网络通信联接，其中，所述第一控制器和所述第二控制器各自包括至少一个处理器和存储器，其中，所述至少一个处理器执行存储在所述存储器中的指令以执行操作，其中，所述操作包括：基于所述第一用户相对于所述第一显示器的眼睛位置确定第一视口信息；或基于所述第二用户相对于所述第二显示器的眼睛位置确定第二视口信息。10.根据权利要求9所述的系统，其中，确定所述第一视口信息或所述第二视口信息还基于校准数据或训练数据。11.根据权利要求9所述的系统，其中，所述操作包括：使所述至少一个第一相机捕获所述第一用户的至少一个图像，...

【专利技术属性】
技术研发人员：周昌印，
申请(专利权)人：周昌印，
类型：发明
国别省市：