将全景成像与航拍成像对齐制造技术

本发明专利技术提供了一种用于将从在地平面上或者靠近地平面的角度捕获到的地理区域的全景成像和从倾斜的角度捕获到的航拍成像对齐的系统和方法。更具体地，可以至少部分地基于与所述图像相关联的几何数据来检测全景图像中的立面平面。所述全景图像也可以具有相关联的图像姿态。然后，可以识别描绘了相同立面的航拍图像。所述航拍图像可以与所描绘的成像的图像姿态和几何数据相关联。所述全景图像可以被翘曲成具有与所述航拍图像相关联的角度的图像。可以通过使用特征匹配技术来识别在所述翘曲图像与所述航拍图像之间的一个或者多个特征匹配。所述匹配特征可以用于将所述全景图像与所述航拍图像对齐。

【技术实现步骤摘要】
【国外来华专利技术】
本公开大体上涉及图像处理，并且具体涉及将全景成像与航拍成像对齐。
技术介绍
地理区域的全景成像可以由移动式数据采集单元从在地平面上或者靠近地平面的角度捕获到。这种成像可以是用于完善例如由地理信息系统(诸如，地图服务或者虚拟地球)提供的地理区域的表示的宝贵资源。例如，全景成像可以用于完善或者生成各种地标、建筑、物体、地形等在地理信息系统中的高分辨率三维模型。全景成像也可以用于从街道或者地平面提供地理区域的交互式三维成像。全景成像可以具有相关联的相机参数(诸如，图像姿态)和关于在成像中描绘的地理区域的几何信息。全景成像可以存储在地理信息系统数据库中。地理信息系统数据库也可以存储地理区域的航拍成像。航拍成像可以例如从飞行器捕获到，并且可以提供地理区域的例如与多种规范视点(诸如，北方、南方、东方和西方规范视点)中的一个倾斜的角度。航拍成像的数据库可以与姿态信息相关联。另外，航拍成像的数据库可以具有在成像中描绘的主题的相关联的三维几何图形。
技术实现思路
本公开的实施例的方面和优点将在以下说明中部分地陈述，或者可以从本说明中学习到，或者可以通过实施例的实践学习到。本公开的一个示例方面涉及一种将全景成像与航拍成像对齐的计算机实现的方法。该方法包括：通过一个或者多个计算装置访问从在地平面上或者靠近地平面的角度捕获到的全景图像。该全景图像可以与第一姿态和第一几何数据相关联。该方法进一步包括：通过一个或者多个计算装置至少部分地基于第一几何数据来检测全景图像中的立面平面。该方法进一步包括：通过一个或者多个计算装置至少部分地基于检测到的立面平面来识别航拍图像。该航拍图像描绘立面平面并且与第二姿态和第二几何数据相关联。该方法进一步包括：通过一个或者多个计算装置，至少部分地基于第一几何数据，通过将全景图像的图像平面投射到与航拍图像相关联的图像平面，来将全景图像转换为翘曲图像。该方法进一步包括：通过一个或者多个计算装置识别在翘曲图像与航拍图像之间的一个或者多个特征匹配，以及通过一个或者多个计算装置至少部分地基于该一个或者多个特征匹配将全景图像与航拍图像对齐。本公开的其它方面涉及用于将全景成像与航拍成像对齐的系统、设备、有形非暂时性计算机可读介质、用户界面和装置。参照以下描述和所附权利要求书将更好地理解各个实施例的这些和其它特征、方面和优点。并入本说明书中并且构成本说明书的一部分的附图示出了本公开的实施例，并且连同本说明书一起对相关原理进行了阐述。附图说明参照附图在本说明书中陈述了本领域的普通技术人员所涉及的实施例的详细讨论，其中：图1提供了描绘了建筑立面的示例全景图像和描绘了相同立面的示例航拍图像；图2提供了示例航拍图像和与该航拍图像相关联的基于立体的三维深度图；图3描绘了用于捕获全景成像的示例移动式采集单元；图4描绘了根据本公开的示例实施例的用于使在翘曲(warped)图像与航拍图像之间的特征对齐的示例方法的流程图；图5描绘了根据本公开的示例实施例的示例检测立面平面；图6描绘了根据本公开的示例实施例的用于将全景图像转换为翘曲图像的示例方法的流程图；图7描绘了根据本公开的示例实施例的立面的示例航拍图像和相同立面的翘曲图像；图8描绘了根据本公开的示例实施例的用于对在翘曲图像与航拍图像之间的特征进行匹配的示例方法的流程图；图9A描绘了根据本公开的示例实施例的在翘曲图像与航拍图像之间的示例特征匹配；图9B描绘了根据本公开的示例实施例的在翘曲图像与航拍图像之间的示例单独特征匹配；图10描绘了可以用于实现根据本公开的示例实施例的方法和系统的示例计算系统。具体实施方式现在详细参考实施例，在附图中图示了实施例的一个或者多个示例。每个示例的提供是为了阐释实施例，而不是限制本专利技术。事实上，对本领域的技术人员而言显而易见的是，在不脱离本公开的范围或者精神的情况下，可以对实施例进行各种修改和变型。例如，作为一个实施例的部分被示出或者描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开的方面旨在涵盖这种修改和变型。综述本公开的示例方面涉及将从在地平面上或者靠近地平面的角度捕获到的全景成像与从例如倾斜角度捕获到的航拍成像对齐。如本文所使用的，全景成像可以包括：提供地理区域的全景视图(例如，广角视图)的图像、和/或在生成提供地理区域的全景视图的图像时使用的一个或者多个图像(例如，未拼接的图像(unstitchedimage))。将全景图像与航拍图像对齐可能会很困难，因为图像通常具有截然不同的视点。这会导致图像中的描绘存在差异。例如，即使全景图像和航拍图像可能都描绘了相同的建筑立面，当与在全景图像中描绘的立面的视图进行比较时，在航拍图像中描绘的立面的视图可以是按透视法缩小的(foreshortened)、受到遮挡的或者模糊的。当在不同的时间捕获图像时，会出现将全景图像与航拍图像对齐的另一个困难。例如，可以在一天中的不同时间或者在一年中的不同时间捕获图像。这可以使图像具有不同的阴影和颜色。另外，地貌本身可以随着捕获图像的时间的改变而改变，从而使图像描绘出不同的地貌。例如，在捕获到第一图像之后，但是在捕获到第二图像之前，可以重新建模建筑立面，从而使图像描绘出相同立面的不同变型。鉴于上述独特挑战，所公开的实施例提供了用于全景成像和航拍成像的高效且准确的对齐的特征。实施具体算法来利用与全景图像和航拍图像二者相关联的相机参数和几何数据，以便对图像进行匹配。由公开的特征和算法的实施产生的改进的三维模型可用于城市景观的常规参考和分析。更具体地，全景图像和航拍图像的准确且高效的匹配可以提供图像的更准确的对齐。这些图像的准确对齐可以，例如，有助于更好地填充地理信息系统，诸如，例如，地图服务或者虚拟地球。根据本公开的示例方面，将与第一角度相关联的图像和与第二角度相关联的图像对齐。例如，可以将从在地平面上或者靠近地平面的角度捕获到的全景成像与航拍成像对齐。在一个具体示例中，可以访问从在地平面上或者靠近地平面的角度捕获到的全景图像以与航拍成像对齐。全景图像可以与姿态相关联。如本文所使用，图像的姿态指相机捕获图像时相对于参照物的位置和/或定向。全景图像也可以与在全景图像中描绘的成像的三维几何图形相关联。可以，例如，通过激光测距仪所收集到的数据(诸如，LIDAR数据)来确定三维几何图形。也可以，例如，通过从运动恢复结构(structure-from-motion)的技术来确定三维几何图形。一旦已经访问了全景图像，就可以在该全景图像中检测立面平面。可以至少部分地基于在图像中描绘的成像的三维几何图形来检测立面平面。然后，可以至少部分地基于检测到的立面平面来识别航拍图像。航拍图像可以描绘与全景图像相同的建筑立面，并且可以例如从倾斜的角度捕获到。识别到的航拍图像可以是具有在全景图像中描绘的建筑立面的最小按透视法缩小并且最小遮挡的视图的航拍图像。航拍图像也可以具有相关联的相机姿态。航拍图像也可以与在航拍图像中描绘的成像的三维几何图形(诸如，建筑立面所在的城市或者小镇)相关联。三维几何图形可以包括例如基于立体的深度图。一旦已经访问了全景图像并且已经识别到航拍图像，可以将全景图像转换为具有与航拍图像相关联的角度的翘曲图像。例如，可以通过使用航拍图像的姿态、全景图像的姿态和本文档来自技高网...

【技术保护点】
一种将全景成像与航拍成像对齐的计算机实现的方法，所述方法包括：通过一个或者多个计算装置访问从在地平面上或者靠近地平面的角度捕获到的全景图像，所述全景图像与第一姿态和第一几何数据相关联；通过所述一个或者多个计算装置至少部分地基于所述第一几何数据来检测所述全景图像中的立面平面；通过所述一个或者多个计算装置至少部分地基于所检测到的立面平面来识别航拍图像，所述航拍图像描绘所述立面平面，所述航拍图像与第二姿态和第二几何数据相关联；通过所述一个或者多个计算装置，至少部分地基于所述第一几何数据，通过将所述全景图像的图像平面投射到与所述航拍图像相关联的图像平面，来将所述全景图像转换为翘曲图像；通过所述一个或者多个计算装置识别在所述翘曲图像与所述航拍图像之间的一个或者多个特征匹配；以及通过所述一个或者多个计算装置至少部分地基于所述一个或者多个特征匹配将所述全景图像与所述航拍图像对齐。

【技术特征摘要】
【国外来华专利技术】2014.11.18 US 14/546,2171.一种将全景成像与航拍成像对齐的计算机实现的方法，所述方法包括：通过一个或者多个计算装置访问从在地平面上或者靠近地平面的角度捕获到的全景图像，所述全景图像与第一姿态和第一几何数据相关联；通过所述一个或者多个计算装置至少部分地基于所述第一几何数据来检测所述全景图像中的立面平面；通过所述一个或者多个计算装置至少部分地基于所检测到的立面平面来识别航拍图像，所述航拍图像描绘所述立面平面，所述航拍图像与第二姿态和第二几何数据相关联；通过所述一个或者多个计算装置，至少部分地基于所述第一几何数据，通过将所述全景图像的图像平面投射到与所述航拍图像相关联的图像平面，来将所述全景图像转换为翘曲图像；通过所述一个或者多个计算装置识别在所述翘曲图像与所述航拍图像之间的一个或者多个特征匹配；以及通过所述一个或者多个计算装置至少部分地基于所述一个或者多个特征匹配将所述全景图像与所述航拍图像对齐。2.根据权利要求1所述的计算机实现的方法，其中，所述第一几何数据提供在所述全景图像中描绘的所述地理区域的三维几何形状。3.根据权利要求2所述的计算机实现的方法，其中，所述三维几何形状是至少部分地基于与激光测距仪相关联的数据来确定的。4.根据权利要求1所述的计算机实现的方法，其中，所述第二几何数据包括深度图，所述深度图提供在所述航拍图像的每个像素处到最近对象的距离。5.根据权利要求1所述的计算机实现的方法，其中，通过所述一个或者多个计算装置将所述全景图像与所述航拍图像对齐包括：创建使与所述立面平面相关联的三维立面点与所述三维立面点在所述全景图像中的二维位置相关的约束。6.根据权利要求1所述的计算机实现的方法，其中，通过所述一个或者多个计算装置将所述全景图像与所述航拍图像对齐包括：通过所述一个或者多个计算装置创建使在所述全景图像和所述航拍图像中的二维位置相关的约束。7.根据权利要求1所述的计算机实现的方法，其中，通过所述一个或者多个计算装置识别所述航拍图像包括：通过所述一个或者多个计算装置识别具有所检测到的立面平面的最小按透视法缩小并且最小遮挡的视图的航拍图像。8.根据权利要求1所述的计算机实现的方法，其中，通过所述一个或者多个计算装置识别一个或者多个特征匹配包括：通过一个或者多个计算装置提取所述翘曲图像和所述航拍图像的一个或者多个描述符；通过所述一个或者多个计算装置对在所述翘曲图像和所述航拍图像中的对应描述符进行匹配；以及通过所述一个或者多个计算装置至少部分地基于所述翘曲图像和所述航拍图像的所匹配的描述符来确定使所述翘曲图像与所述航拍图像相关的几何变换。9.根据权利要求8所述的计算机实现的方法，其中，通过所述一个或者多个计算装置提取一个或者多个描述符包括：通过所述一个或者多个计算装置从所述描述符排除在所述翘曲图像和所述航拍图像中的不与所述立面平面相关联的像素。10.根据权利要求1所述的计算机实现的方法，其中，通过所述一个或者多个计算装置将所述全景图像与所述航拍图像对齐包括：通过所述一个或者多个计算装置至少部分地基于所述一个或者多个特征匹配来调整所述第一姿态。11.根据权利要求1所述的计算机实现的方法，其中，通过所述一个或者多个计算装置将所述全景图像转换为翘曲图像包括：通过所述一个或者多个计算装置将所检测到的立面平面投射到所述航拍图像；通过所述一个或者多个计算装置识别相对于所述航拍图像的所述立面平面的边界框...

【专利技术属性】
技术研发人员：丹尼斯·施特雷洛，克雷格·莱温·鲁宾逊，小塞缪尔·菲利克斯·德索萨，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US