双目视图和单目视图之间的转换制造技术

图像处理系统被设计成生成具有双目视图和单目视图之间的平滑转换的画布视图。最初，图像处理系统接收场景的顶部/底部图像和侧面图像并且计算偏移量以生成用户的左视图和右视图的合成的侧面图像。为了实现双目视图和单目视图之间的平滑转换，图像处理系统首先将顶部/底部图像扭曲到相应的合成的侧面图像上以生成扭曲的顶部/底部图像，从而在形状上实现平滑转换。然后图像处理系统将扭曲的顶部/底部图像变形到相应的合成的侧面图像上以生成混合图像，用于具有混合图像的左眼视图和右眼视图。图像处理系统基于混合图像创建在图像形状和颜色上具有双目视图和单目视图之间的平滑转换的画布视图。

【技术实现步骤摘要】
【国外来华专利技术】双目视图和单目视图之间的转换
本公开内容总体涉及视觉系统，并且更具体地，涉及实现双目视图和单目视图之间的平滑转换。
技术介绍
虚拟现实(VR)变得越来越流行，并且多相机系统经常在VR系统中使用以捕获图像和/或视频，为体验VR系统的用户创建虚拟场景。由不同相机捕获的图像可以组合成用于提供虚拟场景的画布视图，从而使用户体验VR效果。然而，在组合由不同相机捕获的图像以创建合成图像时会出现问题。作为一个实例，粗略混合由不同相机拍摄的同一对象的图像会引起组合图像中的复视。此外，在创建画布视图以模拟用户上下看的视图时，双目视图和单目视图之间的转换可能是突然变化的或使双目视图的顶部相机和侧面相机之间出现接缝，从而引起创建视图中的失真并且降低对VR系统的用户体验。因此，需要双目视图和单目视图之间的平滑转换。
技术实现思路
图像处理系统经由图像混合创建具有双目视图和单目视图之间的平滑转换的画布视图。图像处理系统接收包括对象的场景的图像，场景的图像通过相机机台架系统捕获。捕获的图像包括由顶轴相机/底轴相机拍摄的顶部/底部图像以及由包括在相机机台架系统中的周缘相机拍摄的侧面图像。图像处理系统也从侧面图像创建合本文档来自技高网...

【技术保护点】
1.一种方法，包括：接收场景的顶部图像；接收所述场景的第一合成图像和第二合成图像，所述第一合成图像和第二合成图像单独对应于用户的左眼视图和右眼视图；并且对于所述第一合成图像和第二合成图像中的每一者：识别所述场景的所述顶部图像与所述合成图像的重叠部分；在所述重叠部分内，确定从所述场景的所述顶部视图至所述合成图像的光流；通过施加所述光流将所述顶部图像混合到所述合成图像上，生成扭曲的顶部图像，其中，所述光流作为竖直角的函数来施加；并且通过组合所述场景的所述顶部图像、所述合成图像以及所述扭曲的顶部图像来生成用于所述用户的相应的眼视图的画布视图。

【技术特征摘要】
【国外来华专利技术】2016.04.06 US 62/319,208;2016.04.11 US 15/096,1621.一种方法，包括：接收场景的顶部图像；接收所述场景的第一合成图像和第二合成图像，所述第一合成图像和第二合成图像单独对应于用户的左眼视图和右眼视图；并且对于所述第一合成图像和第二合成图像中的每一者：识别所述场景的所述顶部图像与所述合成图像的重叠部分；在所述重叠部分内，确定从所述场景的所述顶部视图至所述合成图像的光流；通过施加所述光流将所述顶部图像混合到所述合成图像上，生成扭曲的顶部图像，其中，所述光流作为竖直角的函数来施加；并且通过组合所述场景的所述顶部图像、所述合成图像以及所述扭曲的顶部图像来生成用于所述用户的相应的眼视图的画布视图。2.根据权利要求1所述的方法，其中，施加光流的所述函数在所述重叠部分开始邻近于所述顶部部分的竖直角处不施加光流，并且在所述重叠部分中的枢轴行处施加满光流。3.根据权利要求2所述的方法，进一步包括，对于所述第一合成图像和第二合成图像中的每一者：在所述图像的所述重叠部分邻近于侧面部分的仅侧面部分和枢轴行之间使所述顶部图像的颜色随所述合成图像变形。4.根据权利要求3所述的方法，其中，在所述枢轴行和邻近于所述侧面部分的所述重叠部分之间，所述颜色变形的范围为从零至所述侧面图像颜色的完全颜色变形。5.根据权利要求1所述的方法，其中，所述第一视图和第二视图分开一距离，所述距离是所述用户的所述左右眼视图和右眼视图之间的瞳孔间距离(IPD)的函数。6.根据权利要求5所述的方法，其中，所述IPD是所述场景的所述竖直角的函数。7.根据权利要求6所述的方法，其中，竖直角为π/2，则所述IPD是最大IPD，并且竖直角为π，则所述IPD是零。8.一种存储计算机程序指令的非易失性计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使处理器执行以下步骤：接收场景的顶部图像；接收所述场景的第一合成图像和第二合成图像，所述第一合成图像和第二合成图像单独对应于用户的左眼视图和右眼视图；并且对于所述第一合成图像和第二合成图像中的每一者：识别所述场景的所述顶部图像与所述合成图像的重叠部分；在所述重叠部分内，确定从所述场景的所述顶部视图至所述合成图像的光流；通过施加所述光流将所述顶部图像混合到所述合成图像上，生成扭曲的顶部图像，其中，所述光流作为竖直角的函数来施加；并且通过组合所述场景的所述顶部图像、所述合成图像以及所述扭曲的顶部图像来生成用于所述用户的相应的眼视图的画布视图。9.根据权利要求8所述的非易失性计算机可读存储介质，其中，施加光流的所述函数在所述重叠部分开始邻近于所述顶部部分的竖直角处不施加光流，并且在所述重叠部分中的枢轴行处施加满光流。10.根据权利要求9所述的非易失性计算机可读存储介质，进一步包括：对于所述第一合成图像和第二合成图像中的每一者：在所述图像的所述重叠部分邻近于侧面部分的仅侧面部分和枢轴行之间使所述顶部图像的颜色随所述合成图像变形。11.根据权利要求10所述的非易失性计算机可读存储介质，其中，在所述枢轴行和邻近于所述侧面部分的所述重叠部分之间，所述颜色变形的范围为从零至侧面图像颜色的完全颜色变形。12.根据权利要求8所述的非易失性计算机可读存储介质，其中，所述第一视图和第二视图分开一距离，所述距离是所述用户的所述左右眼视图和右眼视图之间的瞳孔间距离(IPD)的函数。13.根据权利要求12所述的非易失性计算机可读存储介质，其中，所述IPD是所述场景的所述竖直角的函数。14.根据权利要求13所述的非易失性计算机可读存储介质，其中，竖直角为π/2，则所述IPD是最大IPD，并且竖直角为π，则所述IPD是零。15.一种方法，包括：接收场景的顶部图像；...

【专利技术属性】
技术研发人员：布里安·基思·卡布拉尔，福里斯特·塞缪尔·布里格斯，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US