使用图像金字塔进行特征跟踪的方法和系统技术方案

本文描述的是用于跟踪第一图像和第二图像中的多个特征点的系统、方法、存储介质和计算机程序。在一个实施例中，获得第一图像的第一图像金字塔的第一层和第二图像的第二图像金字塔的第一层。基于第二图像金字塔的第一层中的多个特征点的预期像素位置，从多个特征点中选择特征点。确定第一图像金字塔的第一层中针对该特征点的第一像素，以及确定第二图像金字塔的第一层中针对该特征点的第二像素，其中，第一像素基本上匹配第二像素。

A Method and System for Feature Tracking Using Image Pyramid

【技术实现步骤摘要】
【国外来华专利技术】使用图像金字塔进行特征跟踪的方法和系统版权声明本专利文件的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。
所公开的实施例总体上涉及数据处理，包括但并非排他地涉及使用图像金字塔来进行特征跟踪。
技术介绍
图像特征跟踪包括通过多个图像或视频帧跟踪一个或多个视觉特征。例如，图像特征跟踪可以针对第一图像中的特征点在第二图像中找到最佳匹配位置。为了执行图像特征跟踪，可以使用图像金字塔(也被称为图像金字塔表示)。使用图像金字塔的特征跟踪是计算密集型的，特别是当跟踪是针对从一个图像到另一图像的多个特征点时。
技术实现思路
这里描述的是用于跟踪多个特征点的系统、方法、存储介质和计算机程序。在一个实施例中，公开了一种用于跟踪多个特征点的方法。在一个实施例中，获得了第一图像的第一图像金字塔的第一层和第二图像的第二图像金字塔的第一层。第一图像金字塔和第二图像金字塔两者都具有多个层，并且第一图像的第一图像金字塔的第一层对应于第二图像的第二图像金字塔的第一层。基于多个特征点在第二图像金字塔的第一层中的预期像素位置，从多个特征点中选择特征点。针对特征点，在第一图像金字塔的第一层中确定第一像素，并且在第二图像金字塔的第一层中确定第二像素，其中第一像素与第二像素基本匹配。在一个实施例中，公开了一种用于跟踪多个特征点的电子设备。该电子设备包括处理器和耦合到处理器的非暂态机器可读存储介质，非暂态机器可读存储介质包含在由处理器执行时使电子设备执行操作的指令。所述操作包括获得第一图像的第一图像金字塔的第一层和第二图像的第二图像金字塔的第一层。第一图像金字塔和第二图像金字塔两者都具有多个层，并且第一图像的第一图像金字塔的第一层对应于第二图像的第二图像金字塔的第一层。所述操作进一步包括：基于多个特征点在第二图像的第二图像金字塔的第一层中的预期像素位置，从所述多个特征点中选择特征点。所述操作还包括：确定第一图像的第一图像金字塔的第一层中针对该特征点的第一像素和第二图像的第二图像金字塔的第一层中针对该特征点的第二像素，其中第一像素与第二像素基本匹配。在一个实施例中，公开了一种用于跟踪多个特征点的非暂态机器可读存储介质。非暂态机器可读存储介质包含在由电子设备的处理器执行时使电子设备执行操作的指令。所述操作包括存储第一图像的第一图像金字塔的第一层和第二图像的第二图像金字塔的第一层。第一图像金字塔和第二图像金字塔两者都具有多个层，并且第一图像的第一图像金字塔的第一层对应于第二图像的第二图像金字塔的第一层。所述操作进一步包括：基于多个特征点在第二图像的第二图像金字塔的第一层中的预期像素位置，从所述多个特征点中选择特征点。所述操作进一步包括：确定第一图像的第一图像金字塔的第一层中针对该特征点的第一像素和第二图像的第二图像金字塔的第一层中针对该特征点的第二像素，其中第一像素与第二像素基本匹配。本专利技术的实施例提供了如下方法：从多个特征点中选择特征点以使用图像金字塔来执行特征跟踪，使得用于跟踪多个特征点的数据检索是有效的。附图说明图1示出了根据本专利技术的一个实施例的特征跟踪系统。图2示出了根据本专利技术一个实施例的第一图像和第二图像的图像金字塔。图3示出了根据本专利技术的一个实施例的跟踪一个特征点的伪代码。图4A至图4B示出了获得图像I的图像金字塔的层中的多个特征点的像素值。图5A至图5B示出了根据本专利技术的一个实施例的获得图像I的层中的多个特征点的像素值。图6A至图6D示出了根据本专利技术的一个实施例的从外部储存器到内部储存器获得图像I和图像J的图像金字塔的层中的多个特征点的像素值。图7A至图7D示出了根据本专利技术的另一实施例的从外部储存器到内部储存器获得图像I和图像J的图像金字塔的层中的多个特征点的像素值。图8示出了根据本专利技术的一个实施例的跟踪图像金字塔的一个层处的多个特征点的操作。图9示出了根据本专利技术的一个实施例的跟踪图像金字塔的多层处的多个特征点的操作。图10是示出了根据本专利技术的一个实施例的用于跟踪第一图像和第二图像中的多个特征点的方法的流程图。图11是根据本专利技术的一个实施例的电子设备的示例性图示。图12是根据本专利技术的一个实施例的可移动物体的示例性图示。具体实施方式作为示例而非限制，在附图的各图中示出了本专利技术，其中相似的附图标记指示相似的元素。应当注意到，在本公开中针对“实施例”或“一个实施例”或“某个(些)实施例”的引用不一定指的是相同实施例，且这种引用意味着至少一个实施例。在附图中，括号中的文本和具有虚线边界(例如长划点虚线、短划线虚线、点虚线以及点)的框可以在本文中用于示出向本专利技术的实施例添加附加特征的可选操作。然而，这种标注不应当被视为意味着，在本专利技术的某些实施例中，这些是仅有的选项或可选操作，和/或具有实线边界的框不是可选的。同样在附图中，附图标记用于指代各种元素或组件，不同附图中的相同附图标记指示元素或组件具有相同或相似的功能。在以下描述和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解：这些术语不意在作为彼此的同义词。“耦合”用于指示两个或更多个元素可以或可以不彼此直接物理或电学接触、彼此协作或交互。“连接”用于指示在彼此耦合的两个或更多个元素之间建立通信。如本文所使用的“集合”指的是包括一个项目的任何正整数个项目。电子设备使用机器可读介质(也被称为计算机可读介质)来(内部和/或通过网络使用其他电子设备)存储和传输代码(其由软件指令构成，且有时被称为计算机程序代码或计算机程序)和/或数据，机器可读介质是例如计算机或机器可读存储介质(例如磁盘、光盘、只读存储器(ROM)、闪速存储器设备、相变存储器)和计算机或机器可读传输介质(也被称为载体)(例如电、光、无线电、声或其他形式的传播信号例如载波、红外信号)。从而，电子设备(例如计算机)包括硬件和软件，例如一个或多个微处理器的集合，其耦合到用于存储在该微处理器集合上执行的代码和/或用于存储数据的一个或多个机器可读存储介质。例如，电子设备可以包括包含代码的非易失性存储器，因为即使当电子设备关闭时(当电源被移除时)，非易失性存储器也能够保持代码/数据。当电子设备被接通时，由该电子设备的(一个或多个)微处理器执行的代码的一部分通常从该电子设备的较慢的非易失性存储器复制到易失性存储器(例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM))中。通常的电子设备还包括用于与其他电子设备建立网络连接(以使用传播信号来发送和/或接收代码和/或数据)的一个或多个物理网络接口的集合。可移动物体是包括一个或多个推进单元以推动可移动物体的电子设备。可移动物体可以是无人飞行器、无人驾驶载运工具或机器人。此外，可移动物体的移动可以通过可移动物体之外的不同电子设备(例如与可移动物体分离的可移动物体的远程终端)来控制。无人飞行器也被称为无人驾驶飞行器(UAV)、无人机(drone)或无人飞行系统(UAS)，在本文中所有这些都可以互换地用来指无人飞行器。计算机视觉系统可以用于从数字图像或视频获得高层次的理解。通过处理数字图像或视频，计算机视觉系统可以通过一系列图像或图像帧来跟踪一个或多个特征的定位本文档来自技高网...

【技术保护点】
1.一种用于跟踪第一图像和第二图像中的多个特征点的方法，包括：获得所述第一图像的第一图像金字塔的第一层和所述第二图像的第二图像金字塔的第一层，其中，所述第一图像金字塔和所述第二图像金字塔两者具有多个层，并且所述第一图像的第一图像金字塔的第一层对应于所述第二图像的第二图像金字塔的第一层；基于多个特征点在所述第二图像的第二图像金字塔的第一层中的预期像素位置，从所述多个特征点中选择特征点；以及对于所述特征点确定所述第一图像的第一图像金字塔的第一层中的第一像素和所述第二图像的第二图像金字塔的第一层中的第二像素，其中，所述第一像素基本上匹配所述第二像素。

【技术特征摘要】
【国外来华专利技术】1.一种用于跟踪第一图像和第二图像中的多个特征点的方法，包括：获得所述第一图像的第一图像金字塔的第一层和所述第二图像的第二图像金字塔的第一层，其中，所述第一图像金字塔和所述第二图像金字塔两者具有多个层，并且所述第一图像的第一图像金字塔的第一层对应于所述第二图像的第二图像金字塔的第一层；基于多个特征点在所述第二图像的第二图像金字塔的第一层中的预期像素位置，从所述多个特征点中选择特征点；以及对于所述特征点确定所述第一图像的第一图像金字塔的第一层中的第一像素和所述第二图像的第二图像金字塔的第一层中的第二像素，其中，所述第一像素基本上匹配所述第二像素。2.根据权利要求1所述的方法，还包括：分别形成所述第一图像的第一图像金字塔和所述第二图像的第二图像金字塔。3.根据权利要求1所述的方法，其中，所述第一图像金字塔和所述第二图像金字塔具有相同数目的层。4.根据权利要求1所述的方法，其中，紧接在所述第一图像金字塔的第一层之上的层是所述第一图像金字塔的最顶层。5.根据权利要求1所述的方法，还包括：获得所述特征点在所述第二图像的第二图像金字塔的第二层中的预期像素位置。6.根据权利要求5所述的方法，其中，所述第一图像金字塔的第一层是紧接在所述第一图像金字塔的第二层之上的层，并且其中，所述第一图像金字塔的第二层对应于所述第二图像金字塔中的第二层。7.根据权利要求5所述的方法，其中，基于在第二图像金字塔的第一层处针对所述特征点所获得的偏移量，确定特征点在所述第二图像的第二图像金字塔的第二层中的预期像素位置。8.根据权利要求5所述的方法，其中，基于特征点在所述第一图像金字塔的第一层处的梯度信息，确定特征点在所述第二图像金字塔的第二层中的预期像素位置。9.根据权利要求5所述的方法，其中，基于针对特征点在所述第二图像金字塔的第一层处所获得的光学流信息，确定特征点在所述第二图像的第二图像金字塔的第二层中的预期像素位置。10.根据权利要求1所述的方法，还包括：按照基于多个特征点在所述第二图像的第二图像金字塔的第一层中的预期像素位置所确定的次序，获得所述多个特征点在所述第二图像的第二图像金字塔的第二层中的预期像素位置。11.根据权利要求10所述的方法，其中，所述次序是光栅扫描次序或之字形次序。12.根据权利要求1所述的方法，其中，所述第一像素和所述第二像素基于像素值而基本上匹配。13.根据权利要求12所述的方法，还包括：获得在第二图像的第二图像金字塔的第一层中的连续像素位置处的像素的像素值。14.根据权利要求1所述的方法，其中，从储存器中获得所述第一图像的第一图像金字塔的第一层和所述第二图像的第二图像金字塔的第一层。15.根据权利要求14所述的方法，其中，从所述储存器的双倍数据速率同步动态随机存取存储器(DDRSDRAM)获得所述第一图像的第一图像金字塔的第一层和所述第二图像的第二图像金字塔的第一层。16.一种用于跟踪第一图像和第二图像中的多个特征点的电子设备，包括：处理器和耦合到所述处理器的非暂态机器可读存储介质，所述非暂态机器可读存储介质包含指令，所述指令在由所述处理器执行时使所述电子设备：获得所述第一图像的第一图像金字塔的第一层和所述第二图像的第二图像金字塔的第一层的数据，其中，所述第一图像金字塔和所述第二图像金字塔两者具有多个层，并且所述第一图像的第一图像金字塔的第一层对应于所述第二图像的第二图像金字塔的第一层；基于多个特征点在所述第二图像的第二图像金字塔的第一层中的预期像素位置，从所述多个特征点中选择特征点；以及基于所获得的数据，针对所述特征点确定所述第一图像的第一图像金字塔的第一层中的第一像...

【专利技术属性】
技术研发人员：高明明，杨康，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44