使用同心观察圆来生成立体光场全景制造技术

本公开涉及使用同心观察圆来生成立体光场全景。用于生成立体光场全景的示例系统包括用于接收多个同步的图像的接收器。该系统还包括校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成经去失真的直线图像。该系统还包括差异估计器，用于估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。该系统包括视图插值器，用于基于光流对经去失真的直线图像执行视图间插值。该系统还包括光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。

Using Concentric Observation Circle to Generate Stereo Field Panorama

The present disclosure relates to the use of concentric observation circles to generate a stereo field panorama. An example system for generating a stereo field panorama includes a receiver for receiving multiple synchronized images. The system also includes a calibrator and a projector for calibrating synchronized images. The synchronized images are de-distorted and the de-distorted images are projected onto the sphere to generate the de-distorted linear images. The system also includes a difference estimator for estimating the difference between adjacent views of the de-distorted linear image to determine the optical flow between the de-distorted linear images. The system includes a view interpolator, which is used to perform inter-view interpolation based on optical flow for linear image which has been de-distorted. The system also includes a light field panorama generator, which is used to generate stereo light field panoramas for multiple viewpoints using concentric observation circles.

【技术实现步骤摘要】
使用同心观察圆来生成立体光场全景
本公开涉及虚拟现实(VirtualReality，VR)，并且更具体地，涉及使用同心观察圆(viewingcircle)来生成立体光场全景(panoramas)。
技术介绍
虚拟现实(VR)系统可以包括VR捕获系统和VR视频生成算法。例如，这种VR视频生成算法可以使用单眼提示和双眼提示两者来进行深度感知。
技术实现思路
根据本公开的实施例，提供了一种用于生成立体光场全景的系统。该系统包括接收器，用于接收多个同步的图像；校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；差异估计器，用于估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流；视图插值器，用于基于光流对经去失真的直线图像执行视图间插值；以及光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。根据本公开的实施例，提供了一种用于生成立体光场全景的方法。该方法包括通过处理器接收多个同步的图像；通过处理器校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上，以生成经去失真的直线图像；通过处理器估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流；通过处理器基于光流对经去失真的直线图像执行视图间插值；并且通过处理器使用同心观察圆来生成针对多个视角的立体光场全景。根据本公开的实施例，提供了一种计算机可读介质，其中存储有指令。这些指令响应于在计算设备上被执行而使得该计算设备执行下述操作：接收多个同步的图像；校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流；基于光流对经去失真的直线图像执行视图间插值；使用同心观察圆生成针对多个视角的立体光场全景；从头戴式显示器接收与视角相对应的坐标；以及将与坐标相对应的视角的立体光场全景发送到头戴式显示器。根据本公开的实施例，还提供了一种用于生成立体光场全景的系统。该系统包括：用于接收多个同步的图像的装置；用于执行下述操作的装置：校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；用于估计经去失真的直线图像的相邻视图之间的差异以确定经去失真的直线图像之间的光流的装置；用于基于光流对经去失真的直线图像执行视图间插值的装置；用于使用同心观察圆生成针对多个视角的立体光场全景的装置；用于从头戴式显示器接收与视角相对应的坐标的装置；以及用于将与坐标相对应的视角的立体光场全景发送到头戴式显示器的装置。附图说明图1是示出用于使用同心观察圆来生成立体光场全景的示例系统的框图；图2是示出用于使用同心观察圆来生成立体光场全景的示例系统流水线的流程图；图3是示出使用来自一对重叠图像平面的切片来生成立体光场全景的示例全方位技术的图示；图4A是示出用于生成立体光场全景的一对示例同心观察圆的图示；图4B是示出用于生成立体光场全景的另一对示例同心观察圆的图示；图5是示出用于生成立体光场全景的一对示例重叠视图的图示；图6是示出用于生成的立体光场全景的示例支持头部平移的图示；图7是示出生成的立体光场全景中所包括的三维空间中的示例点的图示；图8是示出使用同心观察圆来生成立体光场全景的方法的流程图；图9是示出可以使用同心观察圆来生成立体光场全景的示例计算设备的框图；以及图10是示出存储用于使用同心观察圆来生成立体光场全景的代码的计算机可读介质的框图。贯穿本公开和附图使用相同的数字来引用相同的组件和特征。100系列中的数字指的是最初在图1中找到的特征；200系列中的数字指的是最初在图2中找到的特征；以此类推。具体实施方式如上所述，VR视频生成算法可以使用单眼提示和双眼提示两者来进行深度感知。如这里所使用的，单眼提示在用一只眼睛观看场景时提供深度信息。双眼提示在用双眼观看场景时提供深度信息。例如，立体视觉(stereopsis)和会聚度(convergence)是双眼提示的示例，其可用于向观看者提供深度感知。具体地，立体视觉包括引入双眼差异，其可以在大脑的视觉皮层中被处理以生成深度感知。然而，这样的现有系统可能不包括运动视差(parallax)的单眼提示。因此，当观看者在VR场景中移动时，观看者可能不会像现实中那样感知VR场景中的不同物体的相对运动。因此，当观看VR场景时，这种运动视差的缺乏可能削弱观众的现实感。视差是沿着两条不同视线观察的物体的视位置上的位移或差异，并且通过这两条线之间的倾角的角度或半角度来测量。由于视角缩短，当从不同位置观察时，附近物体可能比更远的物体显示更大的视差，因此可以使用视差来确定距离。这里使用的运动视差因此指的是远处的物体看起来比靠近相机或观察者的物体运动得慢。本公开一般涉及使用同心观察圆来生成立体光场全景的技术。如这里所使用的，全景是通过将光场的一个或多个其它图像的切片拼接在一起以创建特定场景的完整视图而生成的图像。具体地，同心观察圆可用于选择要拼接在一起的切片。立体显示(stereoscopic)是指在由具有双眼视觉的个体从两只眼睛获得的视觉信息的基础上使用立体视觉或深度和三维结构的感知。具体地，本文描述的技术包括用于使用同心观察圆来生成立体光场全景的装置、方法和系统。示例系统包括用于接收多个同步图像的接收器。系统还包括校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成经去失真的直线图像(rectilinearimage)。系统还包括视差估计器，用于估计经去失真的直线图像的相邻视图之间的视差，以确定经去失真的直线图像之间的光流(opticalflow)。系统包括视图插值器，用于基于光流对经去失真的直线图像执行视图间插值。系统还包括光场全景生成器，用于使用同心观察圆为多个视角(perspective)生成立体光场全景。系统还可以包括发送器，用于将对应于特定视角的立体光场全景发送到头戴式显示器。因此，本文描述的技术使得运动视差能够被包括在所呈现的VR视频中。例如，通过使用同心圆而不是同一观察圆内的两个视点，可以将运动视差效果引入表示不同视角的生成光场全景中。当检测到头戴式显示器的平移时，可以相应地显示不同的视角。特别地，引入的运动视差效果改善了使用头戴式显示器观看VR的用户的深度感知。例如，这里描述的技术可以允许用户在移动他们的头部时感觉到运动视差，从而提供更加身临其境的观看体验。此外，这些技术还提供了用于显示所生成的光场全景的设备的应用。图1是示出用于使用同心观察圆来生成立体光场全景的示例系统的框图。示例系统通常由附图标记100来表示，并且可以使用下面的图8的方法800在下面的图9中的计算设备900中实现。示例系统100包括多个相机102、计算设备104和头戴式显示器106。计算设备104包括接收器108、校准器和投影仪110、观察圆生成器112，视图插值器114，光场全景生成器116和发送器118。头戴式显示器106包括显示应用120。如图1所示，多个相机102可以捕获要转换成光场全景的视频。例如，相机102可以布置在相机环中。在本文档来自技高网...

【技术保护点】
1.一种用于生成立体光场全景的系统，包括：接收器，用于接收多个同步的图像；校准器和投影仪，用于校准所述同步的图像，对所述同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；差异估计器，用于估计所述经去失真的直线图像的相邻视图之间的差异，以确定所述经去失真的直线图像之间的光流；视图插值器，用于基于所述光流对所述经去失真的直线图像执行视图间插值；以及光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。

【技术特征摘要】
2017.09.15 US 15/705,5501.一种用于生成立体光场全景的系统，包括：接收器，用于接收多个同步的图像；校准器和投影仪，用于校准所述同步的图像，对所述同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；差异估计器，用于估计所述经去失真的直线图像的相邻视图之间的差异，以确定所述经去失真的直线图像之间的光流；视图插值器，用于基于所述光流对所述经去失真的直线图像执行视图间插值；以及光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。2.如权利要求1所述的系统，包括发送器，用于将对应于特定视角的立体光场全景发送到头戴式显示器。3.如权利要求1所述的系统，其中，所述同心观察圆是基于固定的瞳孔间距离生成的。4.如权利要求1所述的系统，其中，将要使用的所述视图间插值的量是基于视图密度阈值和头部运动速度阈值的。5.如权利要求1所述的系统，其中，所述立体光场全景分别包括多个图像平面的多个切片，所述多个图像平面对应于针对每个视角的同心观察圆。6.如权利要求1所述的系统，其中，所述同步的图像包括距离用于捕获所述同步的图像的一圈相机至少一米的物体。7.如权利要求1所述的系统，其中，所述多个同步的图像是使用音频进行同步的。8.如权利要求1所述的系统，其中，所述校准器和投影仪进一步校正所述经去失真的直线图像以补偿相机未对准。9.如权利要求1所述的系统，包括头戴式显示器，用于检测平移并将与视角相对应的更新的坐标发送到所述接收器。10.如权利要求1所述的系统，包括布置在相机环中的多个相机，其中所述相机包括多个广角镜头，所述多个广角镜头是基于目标视差范围、所述相机的相机环的半径、以及所述广角镜头的目标视野进行设计的。11.一种用于生成立体光场全景的方法，包括：通过处理器接收多个同步的图像；通过所述处理器校准所述同步的图像，对所述同步的图像进行去失真，并将经去失真的图像投影到球体上，以生成经去失真的直线图像；通过所述处理器估计所述经去失真的直线图像的相邻视图之间的差异，以确定所述经去失真的直线图像之间的光流；通过所述处理器基于所述光流对所述经去失真的直线图像执行视图间插值；并且通过所述处理器使用同心观察圆来生成针对多个视角的立体光场全景。12.如权利要求11所述的方法，包括：通过所述处理器响应于从头戴式...

【专利技术属性】
技术研发人员：张帆，奥斯卡·内斯塔雷斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US