用于生成球面图像的系统和方法技术方案

成像系统包括各自从假想四面体的顶点指向外部的4个图像传感器，且所述图像传感器的光轴与假想四面体的相应中线实质上共线，且每个图像传感器的焦平面阵列位于其相应图像传感器的透镜系统与假想四面体的质心之间。成像系统可被用于获得用来生成围绕成像系统的空间的球面图像的图像数据。用于根据该图像数据生成球面图像的方法根据与每个图像的图像平面各自对齐的圆柱投影向图像中的像素指派球面坐标，且混合重叠像素并填充空像素空间。该方法可应用于对从任何正多面体的顶点或者面的质心向外的视图进行表示的图像数据。

【技术实现步骤摘要】
【国外来华专利技术】用于生成球面图像的系统和方法
本公开涉及成像系统和方法，且更具体地涉及用于生成球面图像的系统和方法。
技术介绍
存在着各种可用于记录所有或实质上所有球面视野的成像系统。这种成像系统的一个示例是双半球透镜系统，在该系统中，将各自具有180度视野的两个图像传感器布置为彼此反向。然后可以组合来自每个传感器的图像，以生成表示整个球面视野的图像。这种系统容易受到高失真的影响。可通过增加个体图像传感器的数目来降低失真量，即使这一般增加了成像系统自身以及后续图像处理的成本和复杂性。这是因为需要更多的图像传感器，且这进而导致用于组合各个图像的需要处理的数据量增加。由PointGreyResearchInc.(地址为12051RiversideWay，Richmond，BC，Canada，V6W1K7)提供的牌的成像系统使用6个图像传感器，且5个间隔开的图像传感器被布置为从公共环指向外部，且1个图像传感器被布置为相对于环而指向轴向。然而，这些图像传感器没有捕捉到整个球面视野。另一类型的成像系统基于十二面体的几何排列。该类型成像系统的一个实施例使用被布置为从十二面体外壳的各面指向外部的图像传感器。在McCutchen的美国专利No.5,023,725中描述了这种系统。McCutchen的美国专利No.6,141,034的后续专利教导了十二面体成像系统的另一实施例，该十二面体成像系统使用利用十字交叉的光学器件来安装的四面体透镜中的分透镜(dividedlens)，且每个图像传感器记录环绕单个十二面体顶点的3个五边形。分透镜系统和十字交叉的光学器件可能增加透镜系统组件和相机之间未对齐的风险。此外，用来将各个图像合并在一起以表示球面视野的很多方法受到失真的影响，因为它们必须将平面图像的像素位置与弯曲的球面上的位置进行关联。
技术实现思路
成像系统包括被布置为从假想四面体的顶点指向外部的4个图像传感器，并且可用于获得用来生成围绕成像系统的空间的球面图像的图像数据。用于根据该图像数据来生成球面图像的方法根据圆柱投影向图像中的像素指派球面坐标，该圆柱投影与每个图像的图像平面各自对齐，然后混合重叠像素并填充空像素空间。该方法可应用于对从任何正多面体的顶点或者从任何正多面体的面的质心向外的视图进行表示的图像数据。成像系统包括支撑框和由支撑框携带的4个图像传感器，且每个图像传感器包括具有光轴的透镜系统以及与所述透镜系统的所述光轴对齐的焦平面阵列。每个图像传感器具有与每个相邻图像传感器的视野至少实质上相接的视野。图像传感器被布置为使得：每个透镜系统的光轴与公共的假想正四面体的中线实质上共线，每个焦平面阵列位于其相应图像传感器的透镜系统与假想四面体的质心之间，以及每个图像传感器相对于假想四面体的质心面朝外。每个图像传感器优选地具有至少129.5度的视野。优选地，每个图像传感器具有与每个相邻图像传感器的视野重叠的视野，以及每个图像传感器优选地具有至少135度的视野，更优选地，至少165度的视野，以及更更优选地，在大约165度和大约170度之间的视野。用于生成球面图像的示例方法包括接收4个图像。每个图像定义了对从假想正四面体的独一无二的顶点沿着光轴向外的视野进行表示的图像平面，所述光轴与假想四面体的质心和相应顶点之间的假想线实质上共线。每个图像的视野与每个相邻图像的视野至少实质上相接。该方法还包括：根据与每个图像的图像平面对齐的圆柱投影向该图像中的每个像素指派假想球面上的球面坐标，以及根据球面图像模板，使用所述球面坐标向球面图像中的像素位置指派根据像素导出的颜色。假想球面与所述假想四面体的顶点相交，以假想四面体的质心为中心，且每个图像的图像平面与假想球面实质上相切。所述圆柱投影通过圆柱投影的假想圆柱与该图像的图像平面对齐，该假想圆柱的圆柱壁与图像平面实质上相切且其纵轴与假想四面体的质心相交。在一个实施例中，每个图像定义对视野进行表示的图像平面，该视野具有至少129.5度，优选地至少135度，更优选地至少165度，以及更更优选地大约165度和大约170度之间。上述方法是用于生成球面图像的更一般性的方法的具体实现。该更一般性的方法包括：接收图像的集合，其中，每个图像定义了对从假想正多面体的独一无二的围绕点沿着光轴向外的视野进行表示的图像平面，该光轴与假想正多面体的质心和相应围绕点之间的假想线实质上共线。每个围绕点是从包括以下各项的组中选择的围绕点集合的成员：(a)假想正多面体的所有顶点的集合；以及(b)假想正多面体的各面的所有质心的集合，以及集合中图像的数目等于针对假想正多面体所选择的围绕点集合中围绕点的数目。因此，在一个实施例中，围绕点集合是假想正多面体的所有顶点的集合，以及在另一实施例中，围绕点集合是假想正多面体的各面的所有质心的集合。每个图像的视野与每个相邻图像的视野至少实质上相接。该方法然后根据与每个图像的图像平面对齐的圆柱投影向该图像中的每个像素指派假想球面上的球面坐标，以及根据球面图像模板，使用所述球面坐标向球面图像中的像素位置指派根据像素导出的颜色。假想球面与假想正多面体的顶点相交，以假想正多面体的质心为中心，且每个图像的图像平面与假想球面实质上相切。所述圆柱投影通过圆柱投影的假想圆柱与该图像的图像平面对齐，该假想圆柱的圆柱壁与图像平面实质上相切且其纵轴与假想正多面体的质心相交。在上述方法中，每个图像的视野优选地与每个相邻图像的视野重叠。在上述方法中使用的球面图像模板可例如是等矩(equirectangular)图像模板。在上述方法的一些实施例中，根据与该图像的图像平面对齐的圆柱投影向相应像素指派球面坐标包括：根据从圆柱投影导出的预先计算的查找表向相应像素指派球面坐标。除了被从所述圆柱投影导出之外，预先计算的查找表中的球面坐标还可包括用于失真校正的位置调整。在上述方法的某些优选实施例中，圆柱投影是Miller圆柱投影。在上述方法的具体实施例中，向每个图像中的每个像素指派球面坐标导致各自具有独一无二球面坐标的独一无二像素，以及导致像素组，且每个像素组包括具有相同球面坐标的多个像素。在这种实施例中，根据球面图像模板使用球面坐标向球面图像中的像素位置指派颜色可以包括：针对球面图像中映射到被指派给独一无二像素的球面坐标的每个像素位置，向球面图像中的该像素位置指派该独一无二像素的颜色，以及针对球面图像中映射到被指派给像素组中的多个像素的球面坐标的每个像素位置，向球面图像中的该像素位置指派根据像素组中的该多个像素混合的颜色。上述方法的这种实施例还可以包括：针对球面图像中映射到仍未被指派给任何像素的球面坐标的每个像素位置，向球面图像中的该像素位置指派通过对球面图像中附近的像素位置进行过采样而确定的颜色。方法还可以包括：针对失真来校正每个图像。每个图像可以是包括多个图像在内的视频流中的一个图像。可以将图像在被接收到时复用到单个复合图像中，在该情况下，上述方法还可以包括：在针对每个图像中的每个像素找到对将该像素投影到假想球面的表面上的投影进行表示的球面坐标之前，从复合图像中隔离出每个图像。还公开了包括体现用于执行上述方法的指令的有形计算机可用介质在内的计算机程序产品，以及用于实现上述方法的计算机系统。附图说明根据参考附图的以下描述，这些特征以及本文档来自技高网...

【技术保护点】
一种用于生成球面图像的方法，包括：接收图像的集合；每个图像定义了对从假想正多面体的独一无二的围绕点沿着光轴向外的视野进行表示的图像平面，所述光轴与所述假想正多面体的质心和相应围绕点之间的假想线实质上共线；每个围绕点是从包括以下各项的组中选择的围绕点集合的成员：(a)所述假想正多面体的所有顶点的集合；以及(b)所述假想正多面体的各面的所有质心的集合；集合中图像的数目等于针对所述假想正多面体所选择的围绕点集合中围绕点的数目；每个图像的视野与每个相邻图像的视野至少实质上相接；根据与每个图像的图像平面对齐的圆柱投影向该图像的每个像素指派假想球面上的球面坐标；以及根据球面图像模板，使用所述球面坐标向所述球面图像中的像素位置指派根据像素导出的颜色；其中：所述假想球面与所述假想正多面体的顶点相交；所述假想球面以所述假想正多面体的质心为中心；以及每个图像的图像平面与所述假想球面实质上相切；以及，所述圆柱投影通过所述圆柱投影的假想圆柱与该图像的图像平面对齐，所述假想圆柱具有与所述图像平面实质上相切的圆柱壁以及与所述假想正多面体的质心相交的纵轴。

【技术特征摘要】
【国外来华专利技术】2012.11.09 US 13/673,6421.一种成像系统，包括：支撑框；由所述支撑框携带的4个图像传感器；每个图像传感器包括具有光轴的透镜系统以及与所述透镜系统的所述光轴对齐的焦平面阵列；每个图像传感器具有与每个相邻图像传感器的视野至少实质上相接的视野；所述图像传感器被布置为使得：每个透镜系统的光轴与公共的假想正四面体的中线实质上共线；每个焦平面阵列位于其相应图像传感器的透镜系统与所述假想正四面体的质心之间；以及每个图像传感器相对于所述假想正四面体的所述质心面朝外。2.根据权利要求1所述的成像系统，其中，每个图像传感器具有至少129.5度的视野。3.根据权利要求1所述的成像系统，其中，每个图像传感器具有与每个相邻图像传感器的视野重叠的视野。4.根据权利要求1所述的成像系统，其中，每个图像传感器具有至少135度的视野。5.根据权利要求1所述的成像系统，其中，每个图像传感器具有至少165度的视野。6.根据权利要求1所述的成像系统，其中，每个图像传感器具有在大约165度和大约170度之间的视野。7.一种用于生成球面图像的方法，包括：接收4个图像；每个图像定义了对从假想正四面体的独一无二的顶点沿着光轴向外的视野进行表示的图像平面，所述光轴与所述假想正四面体的质心和相应顶点之间的假想线实质上共线；每个图像的视野与每个相邻图像的视野至少实质上相接；根据与每个图像的图像平面对齐的圆柱投影向该图像的每个像素指派假想球面上的球面坐标；以及根据球面图像模板，使用所述球面坐标向所述球面图像中的像素位置指派根据像素导出的颜色；其中：所述假想球面与所述假想正四面体的顶点相交；所述假想球面以所述假想正四面体的质心为中心；以及每个图像的图像平面与所述假想球面实质上相切；以及，所述圆柱投影通过所述圆柱投影的假想圆柱与该图像的图像平面对齐，所述假想圆柱具有与所述图像平面实质上相切的圆柱壁以及与所述假想正四面体的质心相交的纵轴。8.根据权利要求7所述的方法，其中，每个图像的视野与每个相邻图像的视野重叠。9.根据权利要求7所述的方法，其中，所述球面图像模板是等矩图像模板。10.根据权利要求7所述的方法，其中，根据与该图像的图像平面对齐的圆柱投影向相应像素指派球面坐标包括：根据从所述圆柱投影导出的预先计算的查找表向相应像素指派球面坐标。11.根据权利要求10所述的方法，其中，除了被从所述圆柱投影导出之外，所述预先计算的查找表中的球面坐标还包括用于失真校正的位置调整。12.根据权利要求8所述的方法，其中，向每个图像中的每个像素指派球面坐标导致：各自具有独一无二球面坐标的独一无二像素；以及像素组，每个像素组包括具有相同球面坐标的多个像素；以及，根据球面图像模板使用所述球面坐标向所述球面图像中的像素位置指派颜色包括：针对所述球面图像中映射到被指派给独一无二像素的球面坐标的每个像素位置，向所述球面图像中的该像素位置指派该独一无二像素的颜色；以及针对所述球面图像中映射到被指派给像素组中的多个像素的球面坐标的每个像素位置，向所述球面图像中的该像素位置指派根据所述像素组中的所述多个像素来混合的颜色。13.根据权利要求12所述的方法，还包括：针对所述球面图像中映射到仍未被指派给任何像素的球面坐标的每个像素位置，向所述球面图像中的该像素位置指派通过对所述球面图像中附近的像素位置进行过采样而确定的颜色。14.根据权利要求7所述的方法，还包括：针对失真来校正每个图像。15.根据权利要求7所述的方法，其中，每个图像定义了对至少129.5度的视野进行表示的图像平面...

【专利技术属性】
技术研发人员：肖恩·乔弗里·拉姆齐，丹尼尔·昌塔尔·米尔斯，迪伦·斯蒂芬·霍瓦特，斯科特·安德鲁·罗宾逊·伯达利，
申请(专利权)人：巴布技术有限公司，
类型：发明
国别省市：加拿大;CA