针对移动设备的全方位立体捕获制造技术

用于针对移动设备捕获全方位立体内容的系统和方法，该系统和方法可以包括：接收用于捕获场景的多个图像的指示；使用与移动设备相关联的相机捕获多个图像；以及在移动设备的屏幕上并且在捕获期间显示多个图像的表示并且呈现合成图像，该合成图像包括目标捕获路径和指示符，该指示符在对多个图像的捕获期间提供对应于与移动设备相关联的源捕获路径的对准信息。该系统可以检测到源捕获路径的一部分与目标捕获路径不匹配。该系统能够在屏幕中提供可以包括对移动设备的用户的提示的更新的指示符，该提示用于调整移动设备以便将源捕获路径与目标捕获路径对准。

【技术实现步骤摘要】
针对移动设备的全方位立体捕获本申请是申请日为2016年05月26日、申请号为201680020085.7、专利技术名称为“针对移动设备的全方位立体捕获”的专利技术专利申请的分案申请。相关申请的交叉引用本申请要求于2015年5月26日提交的名称为“OmnistereoCaptureforMobileDevices(针对移动设备的全方位立体捕获)”的美国专利申请序列号14/721,612的优先权和权益，该美国专利申请的公开内容通过引用结合在此。
本描述一般涉及生成全方位立体(omnistereo)全景图。具体地，本描述涉及从在移动设备上捕获的图像生成全方位立体全景图。
技术介绍
全景摄影技术能够用在图像和视频上以提供场景的宽视图。传统地，能够使用全景摄影技术和成像技术来从使用传统相机拍摄的多个邻接照片中获得全景图像。能够以对准的方式将这些照片拼合在一起以获得完整的全景图。
技术实现思路
一个或多个计算机的系统能够被配置为凭借具有安装在系统上、在操作中使得系统执行动作的软件、固件、硬件或其组合来执行特定操作或动作。一个或多个计算机程序能够被配置为凭借包括当由数据处理装置执行时使该装置执行动作的指令来执行特定操作或动作。在一个一般方面，一种计算机实现的方法包括：在移动设备处接收用于捕获场景的多个图像的指示；使用与移动设备相关联的相机来捕获多个图像；在移动设备的屏幕上并且在对多个图像的捕获期间显示多个图像的表示，并且在屏幕中呈现包括目标捕获路径和指示符的合成图像，该指示符在对多个图像的捕获期间提供对应于与移动设备相关联的源捕获路径的对准信息；响应于在捕获期间检测到源捕获路径的一部分与目标捕获路径的一部分不匹配，该匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符。该更新的指示符包括对移动设备的用户的提示，该提示用于调整移动设备以将源捕获路径与目标捕获路径对准。实施方式可以包括以下单独或与一个或多个其他特征组合的特征中的一个或多个特征。例如，源捕获路径可以为由移动设备遍历以捕获场景的多个图像的扫掠运动，源捕获路径与移动设备的取向和位置角度相关联。此外，目标捕获路径可以为圆形形状路径，并且捕获多个图像对应于使用移动设备通过对准移动设备以遍历具有约10厘米至约75厘米直径的目标捕获路径来来记录图像内容。在一些实施方式中，对准信息可以包括陀螺仪测量结果的图形表示，陀螺仪测量结果对应于与移动设备的取向和位置角度相关联的移动。移动设备的位置角度可以被表示为提供相对于地平面和与源捕获路径相关联的平面的方位角的半透明图像中的图形，并且其中，半透明图像与合成图像组合。在一些实施方式中，移动设备的位置角度包括从与移动设备上的相机镜头的正面正交的平面旋转的度数的测量结果以及从平行于相机镜头的正面的平面旋转的度数的测量结果。在以上实施方式中的任何或所有实施方式中，该方法可以包括：在捕获期间接收屏幕中用于以更慢的速度捕获图像的指示。在以上实施方式中的任何或所有实施方式中，该方法还可以包括：接收所述屏幕中用于使用更新的位置角度执行对所述场景的附加图像捕获以捕获所述场景中的附加图像内容的指示。在一些实施方式中，屏幕中的指示引导移动设备的用户在执行附加图像捕获的同时以更新的位置角度握持移动设备，并且可以使用移动设备的垂直面向与场景相关联的地平面的相机镜头来执行附加图像捕获，并且该更新的位置角度包括(i)相机镜头的约四十度向后倾斜或(ii)相机镜头的约四十度向前倾斜。在以上实施方式中的任何或所有实施方式中，该方法还可以包括：在计算设备处获得使用移动设备捕获的图像，该图像包括从围绕圆形路径的多个点捕获的内容；以及使用计算设备调整图像以便在3D空间中进行渲染。调整可以包括：确定图像中的至少两个图像之间的至少一个重叠，重叠包括至少两个图像中的像素之间的匹配；针对每个重叠，选择包括在重叠中的像素的一部分；组合部分，从而使得像素的每部分垂直对准以生成场景的3D片段；以及响应于确定至少两个图像之间没有重叠，通过对来自至少两个图像的多个像素进行采样来生成将被放置在至少两个图像之间的附加图像内容，并且将附加图像内容组合成3D片段。在以上实施方式中的任何或所有实施方式中，该方法可以进一步包括在头戴式显示器中将3D片段渲染为场景的一部分。在以上实施方式中的任何或所有实施方式中，圆形路径可以包括具有从约10厘米至约75厘米范围的直径的可变路径。在以上实施方式中的任何或所有实施方式中，该方法还可以包括：通过校正在捕获时发生的横滚移动、在捕获时发生的非共形相机弧形移动以及在捕获时发生的不一致半径测量来调整图像以便在3D空间中进行渲染。在以上实施方式中的任何或所有实施方式中，该方法可以包括：通过混合来自两个或更多个图像的多个像素来组合附加图像内容以移除图像中的伪像。伪像可以包括至少部分地基于与捕获相关联的姿势的未对准误差。在以上实施方式中的任何或所有实施方式中，图像可以包括场景的多个连续图像帧。在另一一般方面，一种系统可以包括：至少一个处理器；存储器，存储器存储当由至少一个处理器执行时使系统执行包括以下各项的操作的指令：捕获图像内容，内容在捕获期间显示在移动设备的屏幕中；在捕获期间在移动设备的屏幕上显示图示图形，图形被配置用于提供目标捕获路径和指示符，指示符提供对应于与移动设备的移动相关联的源捕获路径的对准信息。该操作还可以包括：响应于在图像捕获期间检测到与移动设备的移动相关联的源捕获路径不同于目标捕获路径，在屏幕中提供更新的指示符，该更新的指示符包括对移动设备的用户的提示，该提示用于调整移动设备以便使源捕获路径与目标捕获路径相匹配的提示。在以上实施方式中的任何或所有实施方式中，系统可以包括响应于检测移动设备的移动而进行实时动态地更新的图示图形。在以上实施方式中的任何或所有实施方式中，图示图形包括描绘目标捕获路径的第一部分和描绘与移动设备的移动相关联的源捕获路径的第二部分，第一部分和第二部分指示用于将第二部分与第一部分对准的路线。在以上实施方式中的任何或所有实施方式中，第一部分描绘了圆并且第二部分描绘了与该圆的偏差。在以上实施方式中的任何或所有实施方式中，其中，对准信息包括与移动设备的位置角度的移动相对应的陀螺仪测量结果的图示图形。在以上实施方式中的任何或所有实施方式中，图示图形包括提供用于使与移动设备的移动相关联的源捕获路径与目标捕获路径相匹配的路线的至少一个指示符。此方面的其他实施例包括各自被配置用于执行上述方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。在以上实施方式中的任何或所有实施方式中，提供了一种非暂时性机器可读介质，其具有存储在其上的指令，该指令在由处理器执行时使得计算设备：在移动设备处接收捕获场景的多个图像的指示；使用与移动设备相关联的相机捕获多个图像；在移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，该指示符在捕获多个图像期间提供对应于与移动设备相关联的源捕获路径的对准信息；以及响应于在捕获期间检测到源捕获路径的一部分与目标捕获路径的一部分不匹配，该匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符，该更新的指示符包括对移动设备的用户的提示，以调整移动设备将本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：在移动设备处接收捕获场景的多个图像的指示；使用与所述移动设备相关联的相机捕获多个图像；在所述移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，所述指示符在捕获多个图像期间提供对应于与所述移动设备相关联的源捕获路径的对准信息；以及响应于在捕获期间检测到所述源捕获路径的一部分与所述目标捕获路径的一部分不匹配，所述匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符，所述更新的指示符包括对所述移动设备的用户的提示，以调整所述移动设备将所述源捕获路径与所述目标捕获路径对准。

【技术特征摘要】
2015.05.26 US 14/721,6121.一种计算机实现的方法，包括：在移动设备处接收捕获场景的多个图像的指示；使用与所述移动设备相关联的相机捕获多个图像；在所述移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，所述指示符在捕获多个图像期间提供对应于与所述移动设备相关联的源捕获路径的对准信息；以及响应于在捕获期间检测到所述源捕获路径的一部分与所述目标捕获路径的一部分不匹配，所述匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符，所述更新的指示符包括对所述移动设备的用户的提示，以调整所述移动设备将所述源捕获路径与所述目标捕获路径对准。2.如权利要求1所述的方法，其中，所述源捕获路径包括由所述移动设备遍历以捕获场景的多个图像的扫掠运动，所述源捕获路径与所述移动设备的取向和位置角度相关联。3.如权利要求1所述的方法，其中，所述目标捕获路径包括圆形形状路径并且捕获多个图像对应于用移动设备通过对准所述移动设备以遍历具有10厘米至75厘米直径的目标捕获路径来记录图像内容。4.如权利要求1所述的方法，其中，所述对准信息包括陀螺仪测量结果的图形表示，所述陀螺仪测量结果对应于与所述移动设备的取向和位置角度相关联的移动。5.如权利要求4所述的方法，其中，所述移动设备的位置角度表示为提供相对于地平面和与所述源捕获路径相关联的平面的方位角的半透明图像中的图形，并且其中所述半透明图像与合成图像组合。6.如权利要求4所述的方法，其中，所述移动设备的位置角度包括从与所述移动设备上的相机镜头的正面正交的平面旋转的度数的测量结果以及从平行于相机镜头的正面的平面旋转的度数的测量结果。7.如权利要求1所述的方法，还包括：在捕获期间，接收屏幕中用于以更慢的速度捕获图像指示。8.如权利要求1所述的方法，还包括：接收屏幕中用于使用更新的位置角度执行对所述场景的附加图像捕获以捕获所述场景中的附加图像内容的指示。9.如权利要求8所述的方法，其中，屏幕中的指示引导所述移动设备的用户在执行附加图像捕获的同时以所述更新的位置角度握持所述移动设备；并且其中，用所述移动设备的垂直面向与所述场景相关联的地平面的相机镜头来执行附加图像捕获，并且所述更新的位置角度包括(i)所述相机镜头的四十度向后倾斜或者(ii)所述相机镜头的四十度向前倾斜。10.一种非暂时性机器可读介质，其具有存储在其上的指令，所述指令在由处理器执行时使得计算设备：在移动设备处接收捕获场景的多个图像的指示；使用与所述移动设备相关联的相机捕获多个图像；在所述移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，所述指示符在捕获多个图像期间提供对应于与所述移...

【专利技术属性】
技术研发人员：R安德森，SM塞茨，CH埃斯特班，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US