本申请涉及用于立体视觉图像捕获的多层相机装置。在一般方面中，一种相机装置可以包括第一层图像传感器，其包括第一多个图像传感器，其中第一多个图像传感器被以圆形形状布设并且定向以使得第一多个图像传感器中的每一个的视场具有垂直于圆形形状的切线的轴。相机装置可以包括第二层图像传感器，其包括第二多个图像传感器，其中第二多个图像传感器被定向以使得第二多个图像传感器中的每一个的视场具有不平行于第一多个图像传感器中的每一个的视场的轴。
【技术实现步骤摘要】
用于立体视觉图像捕获的多层相机装置相关申请的交叉引用本申请要求于2016年8月17日提交的题为“Multi-TierCameraRigforStereoscopicImageCapture(用于立体视觉图像捕获的多层相机装置)”的美国临时申请No.62/376,140的优先权和权益，其通过引用整体并入本文。
本说明书大体上涉及相机装置。具体的，本说明书涉及从捕获的图像生成用于在虚拟现实(VR)和/或增强现实(AR)环境中显示的立体视觉全景。
技术介绍
全景摄影技术可用于图像和视频以提供场景的宽视图。通常，可以使用全景摄影技术和成像技术从使用传统相机拍摄的多个邻接照片获得全景图像。照片可以对准安置在一起以获得全景图像。
技术实现思路
一个或多个计算机、相机装置、和容纳在该相机装置上的图像捕获设备的系统可以被配置为依靠将在运行中导致系统执行特定操作或动作的软件、固件、硬件、或它们的组合安装在系统上来执行该动作。在一个一般方面中，一种相机装置包括具有第一多个图像传感器的第一层图像传感器。第一多个图像传感器可以以圆形形状来布设并且被定向以使得它们的视场轴垂直于它们以其来布设的圆形形状的切线。相机装置还包括包含第二多个图像传感器的第二层。第二多个图像传感器可以被定向以使得它们的视场轴不平行于第一多个图像传感器的视场轴。第二层可以位于相机装置的第一层之上。实施方式可以单独地或与一个或多个其它特征组合地包括一个或多个以下特征。例如，在任何或所有上述实施方式中，容纳第一多个图像传感器的圆形相机装置壳体的半径，被如此限定以使得第一多个图像传感器中的第一图像传感器的第一视场与第一多个图像传感器中的第二图像传感器的第二视场及第一个多个图像传感器中的第三图像传感器的第三视场相交。在上述实施方式中的任何一个或全部中，第一多个图像传感器中的第一图像传感器、第一个多个图像传感器中的第二图像传感器、和第一个多个图像传感器中的第三图像传感器布置(bedisposed)在平面内。在另一方面中，一种相机装置包括相机壳体。相机壳体包括下圆周和上多面盖。下圆周位于多面盖下方。相机装置还可以包括第一多个相机，其以圆形形状来布设并沿着相机壳体的下圆周布置以使得第一多个相机中的每一个具有正交于下圆周的向外投影的。相机装置还可以包括第二多个相机。第二多个相机均可以布置在上多面盖的相应面上，使得第二多个相机中的每一个具有不平行于下圆周的法线的向外投影。在另一方面中，一种方法包括为多层相机装置的第一层限定第一图像集合，从第一多个相机获得图像的第一集合，所述第一多个相机以圆形形状来布设以使得第一多个相机中的每一个具有正交于圆形形状的向外投影。该方法还可以包括计算第一图像集合中的第一光流并且基于第一光流来将第一图像集合拼接在一起以创建第一拼接图像。该方法还包括为多层相机装置的第二层限定第二图像集合。第二图像集合可以从第二多个相机获得，所述第二多个相机被布设以使得多个相机中的每一个具有不平行于第一多个相机的圆形的法线的向外投影。该方法还可以包括计算图像的第二集合中的第二光流，并且基于第二光流来将第二图像集合拼接在一起以创建第二拼接图像。该方法通过将第一拼接图像和第二拼接图像拼接在一起而生成全向立体全景图像。该方面的其它实施例包括记录在一个或多个计算机存储设备上的对应的计算机系统、装置、和计算机程序，每个计算机系统、装置、和计算机程序被配置为执行该方法的动作。在附图和下面的描述中阐述了一个或多个实施方式的细节。其它特征根据描述和附图以及权利要求书将变得显而易见。附图说明图1是用于在3D虚拟现实(VR)环境中捕获和渲染立体视觉全景的示例系统的框图。图2是描绘被配置为捕获用于生成立体视觉全景的场景的图像的示例相机装置的图。图3是描绘被配置为捕获用于生成立体视觉全景的场景的图像的另一示例相机装置的图。图4A至图4D是描绘多层相机装置和关联组件的示例的图。图5是示出多层相机装置的相机壳体的下圆周中的相机的视场轴的图。图6是示出多层相机装置的相机壳体的上多面盖中的相机的视场轴的图。图7是图示示例VR设备的图。图8是图示作为相机视场的函数的相机和邻居的数目的示例曲线图。图9是图示出作为相机视场的函数的内插视场的示例曲线图。图10是图示出对相机装置的配置的选择的示例曲线图。图11是图示出可以用于根据预定的装置直径来确定相机的最小数目的示例关系的曲线图。图12A-B是在图像捕获期间可能发生的失真的线图示例。图13A-B描绘在收集全景图像期间捕获的光线的示例。图14A-B图示出如图13A-B所示的近似平面透视投影的使用。图15A-C图示出应用于图像平面的近似平面透视投影的示例。图16A-B图示出引入垂直视差的示例。图17A-B描绘可以用于图示出3D全景中的点的坐标系的示例点。图18表示图17A-图17B所描绘的点的投影图。图19图示出使用本公开中描述的全景成像技术在全方向立体图像中捕获的光线。图20是图示出由3D空间中的点致使的最大垂直视差的曲线图。图21是图解产生立体全景图像的过程的一个实施例的流程图。图22是图解捕获立体全景图像的过程的一个实施例的流程图。图23是图解在头戴式显示器中渲染全景图像的过程的一个实施例的流程图。图24是图解确定图像边界的过程的一个实施例的流程图。图25是图解生成视频内容的过程的一个实施例的流程图。图26示出可以用于实现这里描述的技术的计算机设备和移动计算机设备的示例。各个附图中的相似附图标记指示相似的元素。具体实施方式例如，创建全景图像通常包括：使用相机装置中的单个相机或多个相机捕获周围三维(3D)场景的图像或视频。当使用容纳若干相机的相机装置时，可以将每个相机同步并配置为在特定时间点捕获图像。例如，每个相机所捕获的第一帧可以在与第二相机、第三相机、和第四相机捕获对应的第一帧大致相同的时间被捕获。图像捕获可以以同时的方式继续，直到捕获到场景中的某些或全部。虽然许多实施方式是就相机而言来描述的，但是可以就图像传感器或就相机壳体(其可以包括图像传感器)而言来描述实施方式。容纳多个相机的相机装置可以被配置成捕获场景的特定角度。例如，容纳在相机装置上的相机可以以特定角度定向，并且从该角度捕获的所有(或至少一部分)内容可以被处理来生成特定场景的全景。在一些实施方式中，每个相机可以以不同的角度定向以捕获场景的不同角度。在捕获场景的仅一部分或场景的一些或全部包含失真的事件下，可以执行多个处理来内插或配置来自全景的任何丢失、损坏、或失真的内容。以下公开内容描述了用于在3D虚拟现实(VR)环境中的头戴式显示器(HMD)设备中显示这样的内容的目的来捕获、处理、校正、和渲染3D全景内容的多个装置和方法。对虚拟现实的引用也可以包括或可以是增强现实。在一些实施方式中，相机装置可以包括多层相机以减少或消除场景的缺失部分并减少内插。例如，在一些实施方式中，相机装置可以包括下层级的16个相机和上层级的6个相机。在一些实施方式中，下层级(或层)相机与上层级(或层)相机的比率大于2：1但小于3：1(例如2.67：1)。相机可以以不同的角度被定向，使得每个相机捕获可被处理以生成特定场景的全景的不同内容。相机的比率对于捕获具有适当的深度、焦点等的360°视频，同时减少或最小化相本文档来自技高网...
【技术保护点】
1.一种相机装置，包括：第一层图像传感器，所述第一层图像传感器包括第一多个图像传感器，所述第一多个图像传感器以圆形形状来布设并且被定向以使得所述第一多个图像传感器中的每一个的视场具有垂直于所述圆形形状的切线的轴；以及第二层图像传感器，所述第二层图像传感器包括第二多个图像传感器，所述第二多个图像传感器被定向以使得所述第二多个图像传感器中的每一个的视场具有不平行于所述第一多个图像传感器中的每一个的视场的轴，所述圆形形状具有特定半径，使得所述第一多个图像传感器中的至少三个毗连的图像传感器中的每一个的视场重叠。
【技术特征摘要】
2016.08.17 US 62/376,1401.一种相机装置，包括：第一层图像传感器，所述第一层图像传感器包括第一多个图像传感器，所述第一多个图像传感器以圆形形状来布设并且被定向以使得所述第一多个图像传感器中的每一个的视场具有垂直于所述圆形形状的切线的轴；以及第二层图像传感器，所述第二层图像传感器包括第二多个图像传感器，所述第二多个图像传感器被定向以使得所述第二多个图像传感器中的每一个的视场具有不平行于所述第一多个图像传感器中的每一个的视场的轴，所述圆形形状具有特定半径，使得所述第一多个图像传感器中的至少三个毗连的图像传感器中的每一个的视场重叠。2.根据权利要求1所述的相机装置，其中，所述第一多个图像传感器中的每一个的视场被布置在第一平面内，所述第二多个图像传感器中的每一个的视场被布置在第二平面内。3.根据权利要求1所述的相机装置，其中，所述第一多个图像传感器被布置在第一平面内，并且所述第二多个图像传感器被布置在平行于所述第一平面的第二平面内。4.根据权利要求1所述的相机装置，其中，所述第一多个图像传感器被包括在所述第一层中，使得所述第一多个图像传感器中的第一图像传感器的第一视场与所述第一多个图像传感器中的第二图像传感器的第二视场及所述第一多个图像传感器中的第三图像传感器的第三视场相交。5.根据权利要求1所述的相机装置，其中所述三个毗连的图像传感器与一平面相交。6.根据权利要求1所述的相机装置，进一步包括杆壳体，其中所述第一层图像传感器布置在所述第二层图像传感器和所述杆壳体之间。7.根据权利要求1所述的相机装置，其中，所述第二层图像传感器包括六个图像传感器，并且所述第一层图像传感器包括十六个图像传感器。8.根据权利要求1所述的相机装置，其中，所述第一多个图像传感器中的每一个的视场与所述第二多个图像传感器中的每一个的视场正交。9.根据权利要求1所述的相机装置，其中，所述第一多个图像传感器中的每一个的视场的横纵比处于纵向模式，所述第二多个图像传感器中的每一个的视场的横纵比处于横向模式。10.一...
【专利技术属性】
技术研发人员：马修·托马斯·巴伦特，罗伯特·安德森，戴维·盖洛普，克里斯多佛·爱德华·胡佛，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。