使用重叠区域优化光束法平差的系统、方法和设备技术方案

用于限定共轭点在一组图像中的搜索范围的工具和技术。在一种技术中，两个图像中的内部重叠区域可以用于限定搜索范围，在该搜索范围中可以找到共轭点；在一个方面中，该搜索范围可以表达为距离捕获到两个图像中的一者或两者所处的站的距离范围。该距离范围可以用于缩窄从另一站捕获的图像中的搜索范围，大幅地减少了识别共轭匹配的计算时间并且减小了识别不正确匹配的可能性。

【技术实现步骤摘要】
【国外来华专利技术】使用重叠区域优化光束法平差的系统、方法和设备著作权声明本专利文件的公开的一部分包括受到著作权保护的材料。著作权所有者不反对任何人对如出现在专利和商标局专利文档或记录中的专利文件或专利公开的复制，但是在其它方面无论如何都保留所有的著作权权利。
本公开总体涉及摄影影像分析，并且更特别地涉及用于提高摄影测量分析中的光束法平差的效率的技术。
技术介绍
摄影测量法是一种计算技术，在该计算技术中可以使用多个图像(例如立体图像)来确定在图像中捕获的点相对于捕获该图像的传感器的位置的定位。然而，为了执行该分析，多个图像必须首先相对于彼此而定向；该定向限定了在捕获的图像中的两个场景之间的空间关系和角关系(或相反地，当捕获各个图像时在传感器之间的空间关系和角关系)。一种用于定向多个图像(例如立体图像)的技术被称为“光束法平差”，该“光束法平差”为同时细化描述每一捕获的图像的场景几何的三维坐标和/或细化捕获该图像的一个或多个图像捕获系统的相对定向的技术。本质上，光束法平差试图优化(最小化)观测到的图像点和预测的图像点的图像位置之间的重投影误差；该误差可以表达为多个非线性的实值函数的平方和。因此，光束法平差在计算上是昂贵的，这因为其需要首先识别数个图像中的共轭点(即，在所有的图像中捕获的具有相同真实世界特征的每一图像中的网格位置)，并且之后对表达每一图像中的那些共轭点的位置的等式优化。识别这些共轭点的步骤(被称为“共轭匹配”)尤其为计算密集型，这是因为其涉及对每一图像中的多组相邻像素中的类似性的识别，这需要对每一图像中大量像素彼此之间进行比较以识别共轭候选者，然后可以分析上述共轭候选者以确定在每一图像中由像素描绘的各个点实际上是否代表共轭点。当前，用于在立体图像上的共轭点匹配的方法可以分为两组：基于区域的匹配和基于特征的匹配。基于区域的匹配的方法需要共轭候选者的非常精确的初始位置。基于特征的匹配的方法还需要潜在候选者的大致区域。尽管采用对极几何可以减小用于从二维到一维的正确的共轭点的搜索范围，但是对于大的图像数据，一维搜索范围仍然非常大。例如，来自典型相机的单个图像的尺寸为2592*1944。在没有预定的搜索范围的情况下，该方法必须查看图像之一上的极线上的每一像素，以识别在其它图像上的点。因此，找到从一个图像捕获位置/方向(即，“站”)到另一站的共轭点是涉及沿着整条极线的比较的处理极其密集型的任务。为了缓解该问题，可以尝试随意地减小搜索范围(即，针对共轭匹配被搜索的图像的一部分)。然而，不正确的搜索范围导致不正确的匹配或匹配失败，而大的搜索范围可能会增大错误匹配的可能性(由于大量的潜在的共轭候选者)以及增加计算时间。当前已知的基于特征的方法总是避免确定搜索范围的问题，并且直接地开始于假设共轭点的区域是已知的，或至少粗略地已知。基于区域的方法通常应用在航空图像或卫星图像上的共轭点匹配中，其中，立体图像之间的重叠、航空器的航行高度以及总的地形构造是可得到的，这允许能够准确地、相对低成本地计算正确的共轭点的位置。然而，这些种类的方法中没有一种方法能够有效地处理在地平面上所拍摄的全景图上的共轭匹配。例如，由Crasser等人在2012年10月5日提交的、名称为“EnhancedPositionMeasurementSystemsandMethods”的美国临时专利申请No.61/710,486以及由等人在2011年12月21日提交的、名称为“EnhancedPositionMeasurementSystemsandMethods”的美国专利申请No.13/332,648(该两个专利申请通过引用由此并入到本文中，并且在本文中统称为“并入的申请”)描述了以一套全景相机为特征的位置测量系统，这套全景相机在某些情况下提供了围绕捕获点的高达360°的摄影覆盖范围。不同于几乎在地平面上并且具有可预测的到航空器中的相机的距离的航空图像或卫星图像中的目标，由这样的基于地面的位置测量系统捕获的距全景地面图像中的目标(例如，建筑物正面)的距离可以根据不同的目标而改变。结果是，几乎不可能预测共轭点在立体图像中的位置。因此，传统的点匹配方法(基于区域或基于特征)通常不能实现针对这样的全景图的共轭点匹配，这因为搜索算法未给出关于在哪里搜索正确的匹配的线索。因此，需要更具鲁棒性的点匹配技术。如果可以在全景立体图像的背景下采用这样的技术，则该技术是特别有用的。
技术实现思路
一组实施方式提供了用于限定一组图像中的用于共轭点的搜索范围的改进技术。在一些实施方式的特定方面中，可以使用两个图像(例如，由图像捕获系统中相邻的传感器捕获的立体图像、两个图像等)中的内部重叠区域来限定可以找到共轭点的搜索范围；在一个方面中，该搜索范围可以被表达为距捕获两个图像所处的站的距离范围。可以使用该距离范围来大幅度地缩窄从另一站捕获的图像中的搜索范围，大幅减少了识别共轭匹配的计算时间以及减小了识别不正确匹配的可能性。各个实施方式提供的工具包括但不限于方法、系统和/或软件产品。仅作为示例，方法可以包括一个或多个步骤，这些步骤中的任一步骤或所有步骤由计算机系统来执行。相应地，实施方式可以提供计算机系统，该计算机系统配置有根据由各个其它实施方式提供的方法来执行一个或多个步骤的指令。类似地，计算机程序可以包括可由计算机系统(和/或在其中的处理器)执行以进行这些操作的一组指令。在许多情况下，这样的软件程序被编码在物理的、有形的和/或永久性的计算机可读介质(例如，仅举几个例子，光学介质、磁性介质和/或诸如此类)上。仅仅作为示例，根据一组实施方式的系统可以包括图像捕获系统，该图像捕获系统包括多个图像传感器。在一些情况中，当在第一站处被定向时，图像捕获系统可以配置成利用具有第一投影中心的第一图像传感器来捕获第一图像和/或利用具有第二投影中心的第二图像传感器来捕获第二图像。当在第二站处被定向时，图像捕获系统可以配置成利用多个图像传感器中具有第三投影中心的一个图像传感器来捕获第三图像。(读者应当注意的是，除非上下文中另有清楚地指示，否则在此所使用的术语“第一”、“第二”等旨在区分不同的图像、不同的站等等，但不旨在意味着任何特定的时间顺序)。在一个方面，该系统还可以包括计算机，该计算机可以包括处理器和永久性计算机可读介质，该永久性计算机可读介质具有可由所述处理器执行以使得计算机执行一个或多个操作的一组指令。仅作为示例，该组指令可以包括确定第一图像和第二图像中的内部重叠区域的指令；在一个方面中，该内部重叠区域可以具有在第一图像和第二图像中的公共视野和/或可以由第一传感器的视野和第二传感器的视野之间的重叠限定。在一些实施方式中，该组指令还可以包括确定第一图像、第二图像和第三图像中的相互间重叠区域的指令；在一个方面中，该相互间重叠区域可以具有在第一图像、第二图像、第三图像中的公共视野。之后，该组指令可以包括识别在第一图像和第二图像的内部重叠区域中以及第一图像、第二图像和第三图像的相互间重叠区域中捕获的共轭点在第一图像中的第一坐标位置的指令。在实施方式中，该组实施方式包括识别共轭点在第二图像中的第二坐标位置的指令。还可以有另外的计算在通用坐标系中从第一站到第一共轭点的估算距离范围(即，在真实世界中而非图像本文档来自技高网...

【技术保护点】
一种系统，所述系统包括：图像捕获系统，所述图像捕获系统包括多个图像传感器，所述图像捕获系统配置成：当在第一站处被定向时，利用具有第一投影中心的第一图像传感器来捕获第一图像；当在所述第一站处被定向时，利用具有第二投影中心的第二图像传感器来捕获第二图像；当在第二站处被定向时，利用所述多个图像传感器中的具有第三投影中心的一个图像传感器来捕获第三图像；以及计算机，所述计算机包括处理器和永久性计算机可读介质，所述永久性计算机可读介质具有能够由所述处理器执行以引起所述计算机执行一个或多个操作的一组指令，所述一组指令包括：确定所述第一图像和所述第二图像中的内部重叠区域的指令，所述内部重叠区域具有在所述第一图像和所述第二图像中的公共视野并且由所述第一传感器的视野和所述第二传感器的视野之间的重叠限定；确定所述第一图像、所述第二图像和所述第三图像中的相互间重叠区域的指令，所述相互间重叠区域具有在所述第一图像、所述第二图像和所述第三图像中的公共视野；识别在所述第一图像和所述第二图像的所述内部重叠区域中以及在所述第一图像、所述第二图像和所述第三图像的所述相互间重叠区域中捕获的共轭点在所述第一图像中的第一坐标位置的指令；识别所述共轭点在所述第二图像中的第二坐标位置的指令；至少部分地基于所述第一坐标位置和所述第二坐标位置计算从所述第一站到所述第一共轭点的估算距离范围的指令，其中，所述估算距离范围对应于所述第三图像的片段；至少部分地基于计算出的所述估算距离范围以及所述图像捕获系统在所述第一站和所述第二站处的相对定向，来限定在所述第三图像中的搜索区域的指令；分析所述搜索区域以识别所述共轭点在所述第三图像中的第三坐标位置的指令，其中，对所述第三图像的分析被限于对所述搜索区域的分析，并且，对所述分析的限制大幅减少了在所述第三图像中的由所述计算机分析的像素的数目；以及至少部分地基于所述共轭点的所述第一坐标位置、所述第二坐标位置、和所述第三坐标位置，来执行光束法平差计算以将所述第三图像相对于所述第一图像和所述第二图像中的至少一者定向的指令。...

【技术特征摘要】
【国外来华专利技术】2013.06.20 US 13/922,7721.一种使用重叠区域优化光束法平差的系统，所述系统包括：图像捕获系统，所述图像捕获系统包括多个图像传感器，所述图像捕获系统配置成：当在第一站处被定向时，利用具有第一投影中心的第一图像传感器来捕获第一图像；当在所述第一站处被定向时，利用具有第二投影中心的第二图像传感器来捕获第二图像；当在第二站处被定向时，利用所述多个图像传感器中的具有第三投影中心的一个图像传感器来捕获第三图像；以及计算机，所述计算机包括处理器和永久性计算机可读介质，所述永久性计算机可读介质具有能够由所述处理器执行以引起所述计算机执行一个或多个操作的一组指令，所述一组指令包括：确定所述第一图像和所述第二图像中的内部重叠区域的指令，所述内部重叠区域具有在所述第一图像和所述第二图像中的公共视野并且由所述第一图像传感器的视野和所述第二图像传感器的视野之间的重叠限定；确定所述第一图像、所述第二图像和所述第三图像中的相互间重叠区域的指令，所述相互间重叠区域具有在所述第一图像、所述第二图像和所述第三图像中的公共视野；识别在所述第一图像和所述第二图像的所述内部重叠区域中以及在所述第一图像、所述第二图像和所述第三图像的所述相互间重叠区域中捕获的共轭点在所述第一图像中的第一坐标位置的指令；识别所述共轭点在所述第二图像中的第二坐标位置的指令；至少部分地基于所述第一坐标位置和所述第二坐标位置计算从所述第一站到所述共轭点的估算距离范围的指令，其中，所述估算距离范围对应于所述第三图像的片段；至少部分地基于计算出的所述估算距离范围以及所述图像捕获系统在所述第一站和所述第二站处的相对定向，来限定在所述第三图像中的搜索区域的指令；分析所述搜索区域以识别所述共轭点在所述第三图像中的第三坐标位置的指令，其中，对所述第三图像的分析被限于对所述搜索区域的分析，并且，对所述分析的限制大幅减少了在所述第三图像中的由所述计算机分析的像素的数目；以及至少部分地基于所述共轭点的所述第一坐标位置、所述第二坐标位置、和所述第三坐标位置，来执行光束法平差计算以将所述第三图像相对于所述第一图像和所述第二图像中的至少一者定向的指令。2.一种使用重叠区域优化光束法平差的方法，所述方法包括：利用计算机识别共轭点在第一图像中的第一坐标位置；利用所述计算机识别所述共轭点在第二图像中的第二坐标位置；利用所述计算机至少部分地基于所述第一坐标位置和所述第二坐标位置，来计算从所述第一图像和所述第二图像中的至少一者的投影中心到所述共轭点的估算距离范围；利用所述计算机至少部分地基于计算出的所述估算距离范围以及图像捕获系统在第一站和第二站处的相对定向，来限定在第三图像中的搜索区域；以及利用所述计算机分析所述搜索区域以识别所述共轭点在所述第三图像中的第三坐标位置。3.如权利要求2所述的方法，还包括：在所述第一站处定向所述图像捕获系统，所述图像捕获系统包括多个图像传感器；利用第一图像传感器在所述第一站处捕获所述第一图像；利用第二图像传感器在所述第一站处捕获所述第二图像；在所述第二站处定向所述图像捕获系统；以及利用所述多个图像传感器中的一者在所述第二站处捕获所述第三图像。4.如权利要求3所述的方法，还包括：至少部分地基于计算出的所述估算距离范围以及所述图像捕获系统在所述第一站和所述第二站处的相对定向，从在所述第二站处捕获的多个图像中识别所述第三图像。5.如权利要求3所述的方法，其中，所述多个图像传感器围绕所述图像捕获系统的中心轴线径向地附接，并且配置成当在所述第一站处被定向时捕获多个图像，所述多个图像包括所述第一图像和所述第二图像，并且共同地提供围绕所述图像捕获系统的360度的全景拼接。6.如权利要求3所述的方法，其中，在所述多个图像传感器中，所述第一图像传感器邻近于所述第二图像传感器。7.如权利要求3所述的方法，其中，所述图像捕获系统被校准使得所述第一图像传感器相对于所述第二图像传感器具有已知的平移和定向。8.如权利要求3所述的方法，其中，所述第一图像传感器当在所述第一站处时具有第一视野，并且所述第二...

【专利技术属性】
技术研发人员：贺少军，肖恩·威森布格尔，
申请(专利权)人：天宝导航有限公司，
类型：发明
国别省市：美国;US