立体图像捕获制造技术

一种组件，包括捕获场景的360度立体立方体贴图表示图像的一对图像捕获设备。控制器通过校正由图像捕获设备在组件中相对于彼此的放置而引起的误差，来生成场景的表示。控制器旋转来自图像捕获设备的图像以使图像中的对象与来自附加图像捕获设备的图像中的对象对准。此外，控制器用来自附加图像捕获设备的图像的部分替换来自图像捕获设备的包括附加图像捕获设备的图像的部分。此外，控制器使用光流来消除由图像捕获设备和由附加图像捕获设备捕获的图像之间的水平视差和垂直视差。

【技术实现步骤摘要】
【国外来华专利技术】立体图像捕获
技术介绍
本公开总体涉及虚拟现实系统，并且更具体地，涉及捕获全立体360度图像以供虚拟现实系统呈现。越来越多的设备允许观看全球面360×180度的内容，例如虚拟现实内容。然而，仍然难以捕获全立体(“立体”)360×180度视频以用于随后的呈现。现有的和已公布的用于捕获全立体360度视频的设备和技术需要大量的硬件成本和处理时间，使得捕获全立体视频对于许多应用来说是不切实际的。
技术实现思路
一种组件包括一对图像捕获设备，每个图像捕获设备被配置为捕获全球形图像，该全球形图像被表示为围绕图像捕获设备的场景的360度立体立方体贴图表示。每个图像捕获设备耦接到控制器，该控制器接收由每个图像捕获设备捕获的图像。控制器通过校正来自图像捕获设备在组件中相对于彼此的放置的误差来生成场景的表示。控制器旋转来自图像捕获设备的图像以使图像中的对象与来自该对的另一图像捕获设备的图像中的对象对准。此外，控制器还识别来自由该对图像捕获设备中的另一图像捕获设备遮挡的图像捕获设备的场景的图像的部分，并用由另一图像捕获设备捕获的场景的图像的部分替换所识别的部分。在各种实施方式中，控制器使用光流来消除由每个图像捕获设备捕获的图像之间的水平视差和垂直视差。可选地，由每个图像捕获设备捕获的图像被转换成横向等值矩形格式或立方体贴图表示，以消除由不同图像捕获设备捕获的图像之间的水平和垂直视差。根据本专利技术的实施方式特别公开在针对系统和方法的所附权利要求中，其中在一个权利要求类别(例如，系统)中提及的任何特征也可以在另一个权利要求类别(例如，方法、计算机程序产品、存储介质)中要求保护。所附权利要求书中的从属关系或引用的选择仅出于形式上的原因。然而，也可以要求保护由于对任何先前权利要求(特别是多个从属关系)的有意引用而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可以要求保护，而不管所附权利要求中选择的从属关系。可以要求保护的主题不仅包括所附权利要求中所述的特征的组合，而且包括权利要求中的特征的任何其他组合，其中权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合组合。此外，本文中描述或描绘的任何实施方式和特征可以在单独的权利要求中和/或与本文中描述或描绘的任何实施方式或特征的任何组合中或与所附权利要求的任何特征的任何组合中要求保护。在根据本专利技术的实施方式中，一种系统包括：第一图像捕获设备，耦接到连接构件，第一图像捕获设备被配置为捕获围绕第一图像捕获设备的360度视场的图像；第二图像捕获设备，耦接到连接构件使得第一图像捕获设备和第二图像捕获设备处于平行于连接构件的公共平面中，第二图像捕获设备被配置为捕获围绕第二图像捕获设备的360视场的图像；以及控制器，耦接到图像捕获设备和第二图像捕获设备，该控制器被配置为：接收由第一图像捕获设备捕获的图像；接收由第二图像捕获设备捕获的附加图像；将由第一图像捕获设备捕获的图像与由第二图像捕获设备捕获的附加图像对准；使所对准的由第一图像捕获设备捕获的图像与由第二图像捕获设备捕获的附加图像之间的水平视差均衡；并且通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像。将由第一图像捕获设备捕获的图像与由第二图像捕获设备捕获的附加图像对准可以包括：确定要应用于由第一图像捕获设备捕获的图像的旋转，使得图像与由第二图像捕获设备捕获的附加图像处于平行坐标系中；以及旋转附加图像，使得通过将旋转应用于附加图像，附加图像的旋转版本与图像处于平行坐标系中。确定要应用于由第一图像捕获设备捕获的图像的旋转可以包括：将图像映射到立方体贴图；将附加图像映射到附加立方体贴图；识别立方体贴图内的特征和立方体贴图内的对应于所识别的特征中的每一个的位置；确定附加立方体贴图中的对应于立方体贴图内的所识别的特征中的每一个的位置；以及确定转换，该转换解释立方体贴图内的特征的位置及该特征在附加立方体贴图中的对应位置的最大量。转换可以包括旋转和平移，并且确定要应用于由第一图像捕获设备捕获的图像的旋转可以包括：从转换中提取旋转并丢弃转换的平移。将由第一图像捕获设备捕获的图像与由第二图像捕获设备捕获的附加图像对准可以包括：利用低通滤波器来模糊附加图像的旋转版本和该图像。使由第一图像捕获设备捕获的图像与由第二图像捕获设备捕获的附加图像之间的水平视差均衡可以包括：识别由第一图像捕获设备捕获的在包括第一图像捕获设备和第二图像捕获设备的参考平面后方的位置的图像；识别由第二图像捕获设备捕获的在参考平面后方的位置的附加图像；以及交换图像和附加图像。使由第一图像捕获设备捕获的图像与由第二图像捕获设备捕获的附加图像之间的水平视差均衡可以包括：计算从由第一图像捕获设备捕获的一个或多个图像到由第二图像捕获设备捕获的一个或多个附加图像以及从由第二图像捕获设备捕获的一个或多个附加图像到由第一图像捕获设备捕获的一个或多个图像的密集光流；以及基于所计算的密集光流修改一个或多个图像和一个或多个附加图像。基于所计算的密集光流来修改一个或多个图像和一个或多个附加图像可以包括：基于所计算的密集光流使由第一图像捕获设备捕获的图像流动，以通过一因子增加图像和附加图像之间的水平视差，该因子是针对在相对于第一图像捕获设备的特定深度处的不同位置的常数与远离第一图像捕获设备和第二图像捕获设备之间的线的法线的水平方位角的余弦的绝对值的比值；以及将对应于在包括第一图像捕获设备和第二图像捕获设备的参考平面后方的位置的图像的部分与对应于在参考平面后方的位置的附加图像的部分交换。通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像可以包括：从由第一图像捕获设备捕获的图像中去除第二图像捕获设备。从由第一图像捕获设备捕获的图像中去除第二图像捕获设备可以包括：识别由第一图像捕获设备捕获的附加图像内的起始位置，起始位置对应于图像中的在远离第一图像捕获设备和第二图像捕获设备之间的线的法线并且垂直于第一图像捕获设备和第二图像捕获设备的水平方位角的特定范围内的位置；确定由第一图像捕获设备捕获的图像中对应于附加图像内的起始位置的位置；确定由第一图像捕获设备捕获的图像中的结束位置，结束位置具有在特定范围内的远离第一图像捕获设备和第二图像捕获设备之间的线的法线并且垂直于第一图像捕获设备和第二图像捕获设备的水平方位角；以及通过对图像中的位置和图像中的结束位置之间的像素进行重采样并基于重采样沿着图像中的位置和结束位置之间的线填充像素来修改图像。从由第一图像捕获设备捕获的图像中去除第二图像捕获设备可以包括：将由第一图像捕获设备捕获的图像的具有在特定范围内的远离第一图像捕获设备与第二图像捕获设备之间的线的法线并且垂直于第一图像捕获设备和第二图像捕获设备的水平方位角的部分替换为附加图像的具有在特定范围内的远离第一图像捕获设备与第二图像捕获设备之间的线的法线并且垂直于第一图像捕获设备和第二图像捕获设备的水平方位角的部分。在根据本专利技术的实施方式中，一种方法包括：从耦接到连接构件的第一图像捕获设备接收图像，图像描述围绕第一图像捕获设备的360度视场；从第二图像捕获设备接收附加图像，该第二图像捕获设备耦接到连接构件使得第一图像捕获设备和第二图像捕获设备处于平行于连接构件的公本文档来自技高网...

【技术保护点】
1.一种系统，包括：第一图像捕获设备，耦接到连接构件，所述第一图像捕获设备被配置为捕获围绕所述第一图像捕获设备的360度视场的图像；第二图像捕获设备，耦接到所述连接构件使得所述第一图像捕获设备和所述第二图像捕获设备处于平行于所述连接构件的公共平面中，所述第二图像捕获设备被配置为捕获围绕所述第二图像捕获设备的360视场的图像；以及控制器，耦接到所述图像捕获设备和所述第二图像捕获设备，所述控制器被配置为：接收由所述第一图像捕获设备捕获的图像；接收由所述第二图像捕获设备捕获的附加图像；将由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像对准；使所对准的由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像之间的水平视差均衡；并且通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像。

【技术特征摘要】
【国外来华专利技术】2016.07.01 US 62/357,9181.一种系统，包括：第一图像捕获设备，耦接到连接构件，所述第一图像捕获设备被配置为捕获围绕所述第一图像捕获设备的360度视场的图像；第二图像捕获设备，耦接到所述连接构件使得所述第一图像捕获设备和所述第二图像捕获设备处于平行于所述连接构件的公共平面中，所述第二图像捕获设备被配置为捕获围绕所述第二图像捕获设备的360视场的图像；以及控制器，耦接到所述图像捕获设备和所述第二图像捕获设备，所述控制器被配置为：接收由所述第一图像捕获设备捕获的图像；接收由所述第二图像捕获设备捕获的附加图像；将由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像对准；使所对准的由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像之间的水平视差均衡；并且通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像。2.根据权利要求1所述的系统，其中，将由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像对准包括：确定要应用于由所述第一图像捕获设备捕获的图像的旋转，使得所述图像与由所述第二图像捕获设备捕获的所述附加图像处于平行坐标系中；以及旋转所述附加图像，使得通过将所述旋转应用于所述附加图像，所述附加图像的旋转版本与所述图像处于所述平行坐标系中。3.根据权利要求2所述的系统，其中，确定要应用于由所述第一图像捕获设备捕获的所述图像的旋转包括：将所述图像映射到立方体贴图；将所述附加图像映射到附加立方体贴图；识别所述立方体贴图内的特征以及所述立方体贴图内的对应于所识别的特征中的每一个的位置；确定所述附加立方体贴图中的对应于所述立方体贴图内的所识别的特征中的每一个的位置；以及确定转换，所述转换解释所述立方体贴图内的特征的位置及所述特征在所述附加立方体贴图中的对应位置的最大量。4.根据权利要求3所述的系统，其中，所述转换包括所述旋转和平移，并且其中，确定要应用于由所述第一图像捕获设备捕获的所述图像的所述旋转还包括：从所述转换中提取所述旋转并丢弃所述转换的平移。5.根据权利要求2所述的系统，其中，将由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像对准还包括：利用低通滤波器来模糊所述图像和所述附加图像的所述旋转版本。6.根据权利要求1所述的系统，其中，使由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像之间的水平视差均衡包括：识别由所述第一图像捕获设备捕获的在包括所述第一图像捕获设备和所述第二图像捕获设备的参考平面后方的位置的图像；识别由所述第二图像捕获设备捕获的在所述参考平面后方的所述位置的附加图像；以及交换所述图像和所述附加图像。7.根据权利要求1所述的系统，其中，使由所述第一图像捕获设备捕获的所述图像与由所述第二图像捕获设备捕获的所述附加图像之间的水平视差均衡包括：计算从由所述第一图像捕获设备捕获的一个或多个图像到由所述第二图像捕获设备捕获的一个或多个附加图像以及从由所述第二图像捕获设备捕获的一个或多个所述附加图像到由所述第一图像捕获设备捕获的一个或多个所述图像的密集光流；以及基于所计算的密集光流修改一个或多个所述图像和一个或多个所述附加图像。8.根据权利要求7所述的系统，其中，基于所计算的密集光流修改一个或多个所述图像和一个或多个所述附加图像包括：基于所计算的密集光流使由所述第一图像捕获设备捕获的图像流动，以通过一因子增加所述图像和附加图像之间的水平视差，所述因子是针对在相对于所述第一图像捕获设备的特定深度处的不同位置的常数与远离所述第一图像捕获设备和所述第二图像捕获设备之间的线的法线的水平方位角的余弦的绝对值的比值；并且将对应于在包括所述第一图像捕获设备和所述第二图像捕获设备的参考平面后方的位置的所述图像的部分与对应于在所述参考平面后方的位置的所述附加图像的部分交换。9.根据权利要求1所述的系统，其中，通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像包括：从由所述第一图像捕获设备捕获的图像中去除所述第二图像捕获设备。10.根据权利要求9所述的系统，其中，从由所述第一图像捕获设备捕获的图像中去除所述第二图像捕获设备包括：识别由所述第一图像捕获设备捕获的附加图像内的起始位置，所述起始位置对应于所述图像中的在远离所述第一图像捕获设备和所述第二图像捕获设备之间的线的法线并且垂直于所述第一图像捕获设备和所述第二图像捕获设备的水平方位角的特定范围内的位置；确定由所述第一图像捕获设备捕获的所述图像中对应于所述附加图像内的所述起始位置的位置；确定由所述第一图像捕获设备捕获的所述图像中的结束位置，所述结束位置具有在所述特定范围内的远离所述第一图像捕获设备和所述第二图像捕获设备之间的线的法线并且垂直于所述第一图像捕获设备和所述第二图像捕获设备的水平方位角；以及通过对所述图像中的所述位置和所述图像中的所述结束位置之间的像素进行重采样并基于所述重采样沿着所述图像中的所述位置和所述结束位置之间的线填充像素来修改所述图像。11.根据权利要求9所述的系统，其中，从由所述第一图像捕获设备捕获的所述图像中去除所述第二图像捕获设备包括：将由所述第一图像捕获设备捕获的所述图像的具有在特定范围内的远离所述第一图像捕获设备与所述第二图像捕获设备之间的线的法线并且垂直于所述第一图像捕获设备和所述第二图像捕获设备的水平方位角的部分替换为所述附加图像的具有在所述特定范围内的远离所述第一图像捕获设备与所述第二图像捕获设备之间的线的法线并且垂直于所述第一图像捕获设备和所述第二图像捕获设备的水平方位角的部分。12.一种方法，包括：从耦接到连接构件的第一图像捕获设备接收图像，所述图像描述围绕所述第一图像捕获设备的360度视场；从第二图像捕获设备接收附加图像，所述第二图像捕获设备耦接到所述连接构件使得所述第一图像捕获设备和所述第二图像捕获设备处于平行于所述连接构件的公共平面中，所述附加图像描述围绕所述第二图像捕获设备的360视场；将从所述第一图像捕获设备接收的图像与从所述第二图像捕获设备接收的附加图像对准；使所对准的从所述第一图像捕获设备接收的所述图像与从所述第二图像捕获设备接收的所述附加图像之间的水平视差均衡；以及通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像。13.根据权利要求12所述的方法，其中，将从所述第一图像捕获设备接收的所述图像与从所述第二图像捕获设备接收的所述附加图像对准包括：确定要应用于从所述第一图像捕获设备接收的图像的旋转，使得所述图像与从所述第二图像捕获设备接收的所述附加图像处于平行坐标系中；以及旋转所述附加图像，使得通过将所述旋转应用于所述附加图像，所述附加图像的旋转版本与所述图像处于所述平行坐标系中。14.根据权利要求13所述的方法，其中，确定要应用于从所述第一图像捕获设备接收的所述图像的旋转包括：将所述图像映射到立方体贴图；将所述附加图像映射到附加立方体贴图；识别所述立方体贴图内的特征和所述立方体贴图内的对应于所识别的特征中的每一个的位置；确定所述附加立方体贴图中的对应于所述立方体贴图内的所识别的特征中的每一个的位置；以及确定转换，所述转换解释所述立方体贴图内的特征的位置及所述特征在所述附加立方体贴图中的对应位置的最大量。15.根据权利要求14所述的方法，其中，所述转换包括所述旋转和平移，并且其中，确定要应用于从所述第一图像捕获设备接收的所述图像的所述旋转还包括：从所述转换中提取所述旋转并丢弃所述转换的平移。16.根据权利要求13所述的方法，其中，将从所述第一图像捕获设备接收的所述图像与从所述第二图像捕获设备接收的所述附加图像对准还包括：利用低通滤波器来模糊所述图像和所述附加图像的所述旋转版本。17.根据权利要求12所述的方法，其中，使从所述第一图像捕获设备接收的所述图像与从所述第二图像捕获设备接收的所述附加图像之间的水平视差均衡包括：识别从所述第一图像捕获设备接收的在包括所述第一图像捕获设备和所述第二图像捕获设备的参考平面后方的位置的图像；识别从所述第二图像捕获设备接收的在所述参考平面后方的所述位置的附加图像；以及交换所述图像和所述附加图像。18.根据权利要求12所述的方法，其中，使从所述第一图像捕获设备接收的所述图像与从所述第二图像捕获设备接收的所述附加图像之间的水平视差均衡包括：计算从由所述第一图像捕获设备接收的一个或多个图像到由所述第二图像捕获设备接收的一个或多个附加图像以及从由所述第二图像捕获设备接收的一个或多个所述附加图像到由所述第一图像捕获设备接收的一个或多个所述图像的密集光流；以及基于所计算的密集光流修改一个或多个所述图像和一个或多个所述附加图像。19.根据权利要求18所述的方法，其中，基于所计算的密集光流修改一个或多个所述图像和一个或多个所述附加图像包括：基于所计算的密集光流使从所述第一图像捕获设备接收的图像流动，以通过一因子增加所述图像和附加图像之间的水平视差，所述因子是针对在相对于图像捕获设备的特定深度处的不同位置的常数与远离所述第一图像捕获设备和所述第二图像捕获设备之间的线的法线的水平方位角的余弦的绝对值的比值；以及将对应于在包括所述第一图像捕获设备和所述第二图像捕获设备的参考平面后方的位置的所述图像的部分与对应于在所述参考平面后方的位置的所述附加图像的部分交换。20.根据权利要求12所述的方法，其中，通过组合所均衡的对准的图像和所均衡的对准的附加图像来生成一个或多个等矩形图像包括：从由所述第一图像捕获设备捕获的图像中去除所述第二图像捕获设备。21.根据权利要求20所述的方法，其中，从由所述第一图像捕获设备捕获的所述图像中去除所述第二图像捕获设备包括：将由所述第一图像捕获设备捕获的所述图像的具有在特定范围内的远离所述图像捕获设备与所述第二图像捕获设备之间的线的法线并且垂直于所述第一图像捕获设备和所述第二图像捕获设备的水平方位角的部分替换为所述附加图像的具有在所述特定范围内的远离所述第一图像捕获设备与所述第二图像捕获设备之间的线的法线并...

【专利技术属性】
技术研发人员：迈克尔·F·柯亨，理查德·塞利斯基，布赖斯·艾伦·埃文斯，约翰内斯·彼得·科普夫，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US