匹配局部图像特征描述符制造技术

本公开涉及匹配局部图像特征描述符。一种从相机视点捕获的图像中的特征匹配的方法，包括：使用视点的对极几何来定义第二图像中与第一图像中的第一特征相对应的几何约束区域；将第一特征的局部描述符与第二图像中的特征的局部描述符进行比较以确定相应的相似性度量；从位于几何约束区域中的特征标识：(i)对第一特征的几何最佳匹配，以及(ii)对第一特征的几何次最佳匹配；标识对第一特征的全局最佳匹配；执行几何最佳匹配和全局最佳匹配的相似性度量的第一比较；执行几何最佳匹配和几何次最佳匹配的相似性度量的第二比较；以及如果满足阈值，则选择第二图像中的几何最佳匹配特征。

Match local image feature descriptor

【技术实现步骤摘要】
匹配局部图像特征描述符
本公开涉及用于匹配从由对极(epipolar)几何相关的相机视点捕获的图像中所标识的特征的方法和数据处理系统。
技术介绍
许多图像处理系统能够将一个图像中的特征与另一图像中的特征相匹配。仅举两个示例，相机管线可以在由相机捕获的一系列图像中执行特征匹配，以便使得自动聚焦点能够在相机相对于场景移动时跟踪场景中的对象，并且立体相机系统可以在由一对相机捕获的一对图像中执行特征匹配以便标识对应地特征，从而使得可以从组合图像提出深度信息。存在各种特征检测算法(有时称为显着性函数)来标识适用于在图像之间进行跟踪的特征。通常，这种算法用于检测图像中的高对比度特征，这些高对比度特征被良好地局部化并因此比低对比度的区域更可靠地标识。具体地，由于捕获场景的一个或多个相机的视点变化，高对比度特征更可能在场景的图像中被一致地标识。为了标识高对比度特征，可以使用在图像的像素数据中执行边和/或角检测的算法。所选择的特征可以由局部描述符(或“特征描述符”)来方便地描述，其通常通过促进以高效方式比较和匹配特征的方式来提供特征的关键视觉特性的紧凑表示。例如，特征描述符可以是构成特征的像素中的对比度的表示。通过特征点周围的局部图像区域的一些变换形成局部描述符。存在用于从包括在特征中的像素数据生成局部描述符的各种算法。例如，局部描述符可以根据用于生成SIFT(比例不变特征变换)或SURF(加速鲁棒特征)描述符、或二进制描述符，例如BRISK(二进制鲁棒不变可伸缩关键点)和BRIEF(二进制鲁棒基本特征)描述符的算法来形成。局部描述符通常被表示为向量(在“描述符空间”中)，其元素描述所表示的特征的视觉特性的变化。局部描述符促进不同图像中的特征的高效比较以便评估这些特征在由图像捕获的场景中是否可以对应于同一现实世界点。例如，可以将来自一个图像的特征的局部描述符与第二图像的每个特征的相应局部描述符进行比较，以便形成每个特征配对的描述符距离，其指示相应局部描述符之间的相似性，并因此指示它们所表示的特征之间的相似性。两个局部描述符的比较可以涉及在一个局部描述符的描述符空间中执行从另一局部描述符的描述符空间的向量减法，其中，较小描述符距离(例如，描述符空间中所得向量的较小幅度)指示由局部描述符表示的特征之间的更紧密匹配。匹配过程可能易于产生误差，即使是在使用最佳检测和局部描述方法时。
技术实现思路
提供本
技术实现思路
是为了介绍下面在具体实现方式中进一步描述的一系列概念。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。提供了一种计算机实现的方法，用于匹配从由对极几何相关的相应相机视点捕获的第一和第二图像中所标识的特征，每个所标识的特征是由局部描述符描述的，该方法包括：使用对极几何来定义第二图像中与第一特征相对应的几何约束区域，所述第一特征是在第一图像中由第一局部描述符表示的；将第一局部描述符与第二图像中的特征的局部描述符进行比较，从而确定第一图像中的第一特征和第二图像中的相应特征之间的相应的相似性度量；从位于第二图像中的几何约束区域中的特征标识：(i)对第一特征的几何最佳匹配特征，以及(ii)对第一特征的几何次最佳匹配特征；从第二图像中的任何特征标识对第一特征的全局最佳匹配特征；执行对针对几何最佳匹配特征和全局最佳匹配特征确定的相似性度量相对于第一阈值的第一比较；执行对针对几何最佳匹配特征和几何次最佳匹配特征确定的相似性度量相对于第二阈值的第二比较；以及根据是否满足第一阈值和第二阈值，选择第二图像中的几何最佳匹配特征作为对第一图像中的第一特征的输出匹配。选择可以包括：如果不满足第一阈值或第二阈值，则不提供输出匹配。根据几何最佳匹配特征和全局最佳匹配特征的相应的相似性度量，当几何最佳匹配特征作为对第一特征的匹配不比全局最佳匹配特征更差由第一预定义因子定义的量时，可以满足第一阈值。根据几何最佳匹配特征和几何次最佳匹配特征的相应的相似性度量，当几何最佳匹配特征作为对第一特征的匹配比几何次最佳匹配特征更好由第二预定义因子定义的量时，可以满足第二阈值。执行第一和第二比较可以包括计算相应相似性度量的幅度的第一和第二比率，如果相应比率分别满足第一和第二阈值，则满足第一和第二阈值。将第一局部描述符与第二图像中的特征的局部描述符进行比较可以包括形成第一局部描述符和第二图像中的每个所述特征的相应局部描述符之间的描述符距离，并且标识几何最佳匹配和次最佳匹配特征可以包括标识与第二图像中的几何约束区域中的特征相对应的最短和次最短描述符距离。标识全局最佳匹配特征可以包括标识第一局部描述符与第二图像中的不限于位于几何约束区域中的那些特征的特征的局部描述符之间的最短描述符距离。所确定的每个相似性度量可以是第一局部描述符与第二图像的相应特征的局部描述符之间的描述符距离。每个局部描述符可以是表示相应特征的像素的特性的向量，并且确定每个描述符距离可以包括在相应局部描述符之间执行向量减法并确定所产生的向量的幅度。每个特征可以由点表示，并且每个特征的局部描述符可以根据相应图像中的点的局部像素来形成。使用对极几何来定义第二图像中的几何约束区域可以包括使用对极几何来导出第二图像中对应于第一图像中的第一特征的对极线或对极区域，其中，该对极线或对极区域用于定义几何约束区域。几何约束区域可以包括第二图像在对极线或对极区域的预定距离内的所有像素。可以根据对极几何中的一个或多个误差度量来确定预定距离。预定距离可以是到对极线或对极区域的边界的预定垂直距离，其根据对极几何随着相应图像中的位置而变化。几何约束区域可以是对极线或对极区域。每个特征可以表示相应图像中的局部像素集，并且可以使用以下确定中的一个或多个来确定特征位于几何约束区域中：确定由该特征表示的任何像素是否位于几何约束区域内；确定由该特征表示的一个或多个预定像素是否位于几何约束区域中；确定由该特征表示的预定比例的像素是否位于几何约束区域中。该方法还可以包括：从相机视点中的一个或两个接收标识对可视范围的限制的相机数据；以及处理相机数据以便根据对极几何标识第二图像中的几何约束区域上的边界。针对一个或两个相机视点的相机数据可以包括：深度信息，其指示从相机视点可见的最近和/或最远区域；视场信息，其指示从相机视点可见的区域；相机视点的视锥体(viewfrustum)；以及指示相机视点前方和/或后方的区域的数据。对极几何可以用于导出对极线，并且该方法还可以包括转换第二图像的坐标系以便将对极线映射为平行于坐标轴之一，并且随后在经转换的坐标系中，标识位于第二图像中的几何约束区域中的特征。该方法还可以包括：使用对极几何来定义第一图像中与第二图像中的几何最佳匹配特征相对应的第二几何约束区域；将几何最佳匹配特征的局部描述符与第一图像中的特征的局部描述符进行比较，从而确定第一图像中的第一特征与第二图像中的相应特征之间的相应的相似性度量；从位于第一图像中的第二几何约束区域中的特征标识(i)对第二图像的几何最佳匹配特征的第二几何最佳匹配特征，以及(ii)对第二图像的几何最佳匹配特征的第二几何次最佳匹配特征；从第一图像中的任何特征标识对第二图像的几何最佳匹配特征的第二全局最佳匹配特征；执行对针对第二几何最本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，用于匹配从由对极几何相关的相应相机视点捕获的第一图像和第二图像中所标识的特征，每个所标识的特征是由局部描述符来描述的，所述方法包括：使用所述对极几何来定义所述第二图像中与第一特征相对应的几何约束区域，所述第一特征是在所述第一图像中由第一局部描述符表示的；将所述第一局部描述符与所述第二图像中的特征的局部描述符进行比较，从而确定所述第一图像中的所述第一特征和所述第二图像中的相应特征之间的相应的相似性度量；从位于所述第二图像中的所述几何约束区域中的特征标识如下项：(i)对所述第一特征的几何最佳匹配特征，以及(ii)对所述第一特征的几何次最佳匹配特征；从所述第二图像中的任何特征标识对所述第一特征的全局最佳匹配特征；执行对针对所述几何最佳匹配特征和所述全局最佳匹配特征所确定的相似性度量相对于第一阈值的第一比较；执行对针对所述几何最佳匹配特征和所述几何次最佳匹配特征所确定的相似性度量相对于第二阈值的第二比较；以及根据是否满足所述第一阈值和所述第二阈值，选择所述第二图像中的几何最佳匹配特征作为对所述第一图像中的所述第一特征的输出匹配。

【技术特征摘要】
2018.04.05 GB 1805688.71.一种计算机实现的方法，用于匹配从由对极几何相关的相应相机视点捕获的第一图像和第二图像中所标识的特征，每个所标识的特征是由局部描述符来描述的，所述方法包括：使用所述对极几何来定义所述第二图像中与第一特征相对应的几何约束区域，所述第一特征是在所述第一图像中由第一局部描述符表示的；将所述第一局部描述符与所述第二图像中的特征的局部描述符进行比较，从而确定所述第一图像中的所述第一特征和所述第二图像中的相应特征之间的相应的相似性度量；从位于所述第二图像中的所述几何约束区域中的特征标识如下项：(i)对所述第一特征的几何最佳匹配特征，以及(ii)对所述第一特征的几何次最佳匹配特征；从所述第二图像中的任何特征标识对所述第一特征的全局最佳匹配特征；执行对针对所述几何最佳匹配特征和所述全局最佳匹配特征所确定的相似性度量相对于第一阈值的第一比较；执行对针对所述几何最佳匹配特征和所述几何次最佳匹配特征所确定的相似性度量相对于第二阈值的第二比较；以及根据是否满足所述第一阈值和所述第二阈值，选择所述第二图像中的几何最佳匹配特征作为对所述第一图像中的所述第一特征的输出匹配。2.根据权利要求1所述的计算机实现的方法，其中，所述选择包括：如果不满足所述第一阈值或所述第二阈值，则不提供输出匹配。3.根据权利要求1或2所述的计算机实现的方法，其中，根据所述几何最佳匹配特征和所述全局最佳匹配特征的相应的相似性度量，当所述几何最佳匹配特征作为对所述第一特征的匹配不比所述全局最佳匹配特征更差由第一预定义因子定义的量时，满足所述第一阈值。4.根据权利要求1或2所述的计算机实现的方法，其中，根据所述几何最佳匹配特征和所述几何次最佳匹配特征的相应的相似性度量，当所述几何最佳匹配特征作为对所述第一特征的匹配比所述几何次最佳匹配特征更好由第二预定义因子定义的量时，满足所述第二阈值。5.根据权利要求1或2所述的计算机实现的方法，其中，执行所述第一比较和所述第二比较包括：计算相应的相似性度量的幅度的第一比率和第二比率，如果相应比率分别满足所述第一阈值和所述第二阈值，则满足述第一阈值和所述第二阈值。6.根据权利要求5所述的计算机实现的方法，其中，将所述第一局部描述符与所述第二图像中的特征的局部描述符进行比较包括形成所述第一局部描述符和所述第二图像中的每个所述特征的相应局部描述符之间的描述符距离，并且标识几何最佳匹配特征和次最佳匹配特征包括标识与所述第二图像中的所述几何约束区域中的特征相对应的最短描述符距离和次最短描述符距离。7.根据权利要求6所述的计算机实现的方法，其中，标识所述全局最佳匹配特征包括：标识所述第一局部描述符与所述第二图像中的特征的局部描述符之间的最短描述符距离，该特征不限于位于所述几何约束区域中的那些特征。8.根据权利要求1或2所述的计算机实现的方法，其中，所确定的每个相似性度量是所述第一局部描述符与所述第二图像的相应特征的局部描述符之间的描述符距离。9.根据权利要求8所述的计算机实现的方法，其中，每个局部描述符是表示所述相应特征的像素的特性的向量，并且确定每个描述符距离包括在相应局部描述符之间执行向量减法并确定所产生的向量的幅度。10.根据权利要求1或2所述的计算机实现的方法，其中，所述使用所述对极几何来定义所述第二图像中的几何约束区域包括：使用所述对极几何来导出所述第二图像中与所述第一图像中的所述第一特征相对应的对极线或对极区域，其中，所述对极线或对极区域用于定义所述几何约束区域。11.根据权利要求10所述的计算机实现的方法，其中，所述几何约束区域包括所述第二图像在所述对极线或对极区域的预定距离内的所有像素。12.根据权利要求11所述的计算机实现的方法，其中，所述预定距离是根据所述对极几何中的一个或多个误差度量来确定的。13.根据权利要求11所述的计算机实现的方法，其中，所述预定距离是到所述对极线或到所述对极区域的边界的预定垂直距离，所述预定垂直距离根据所述对极几何而随着相应图像中的位置变化。14.根据权利要求1或2所述的计算机实现的方法，其中，每个特征表示相应图像中的局部像素集，并且使用以下确定中的一个或多个来确定特征位于所述几何约束区域中：确定由该特征表示的任何像素是否位于所述几何约束区域内；确定由该特征表示的一个或多个预定像素是否位于所述几何约束区域内；确定由该特征表示的预定比例的像素是否位于所述几何约束区域中。15.根据权利要求1或2所述的计算机实现的方...

【专利技术属性】
技术研发人员：卢恩·拉克蒙德，蒂莫西·史密斯，
申请(专利权)人：畅想科技有限公司，
类型：发明
国别省市：英国,GB