用于视觉目标跟踪的方法技术

本公开提供一种用于控制可移动物体对目标物体进行跟踪的方法。所述方法可以包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。的移动。的移动。

【技术实现步骤摘要】
用于视觉目标跟踪的方法


[0001]本专利技术涉及视觉处理
，更具体地涉及一种对目标进行视觉跟踪的方法。

技术介绍

[0002]在一些用于现实世界应用的监控、侦察和勘探任务中，可能需要检测和跟踪移动目标物体。携带负载的可移动物体(例如，携带相机的飞行器)可以用于使用例如视觉跟踪方法来跟踪目标物体。然而，现有的视觉跟踪方法通常可能未顾及到飞行器和/或相机相对于目标的空间排列。在一些情况下，一个或多个操作者可能必须手动选择所要跟踪的目标物体，以及手动控制飞行器和/或相机来跟踪移动目标。这种有限的跟踪能力可能降低飞行器在某些应用中的效用。

技术实现思路

[0003]需要改进用于移动目标视觉跟踪的现有方法。改进的跟踪能力可以使得携带成像设备的可移动物体能够准确地跟踪目标，即使所述可移动物体和所述成像设备可能相对于所述目标处于不同的空间排列。改进的跟踪能力可以允许自动检测目标物体及其移动。所述可移动物体和所述成像设备可以用于自主地跟踪所述目标物体，而无需用户的手动输入或操作。当所述可移动物体和所述成像设备相对于所述目标处于不同的高度、距离和/或朝向时，改进的跟踪能力可能特别有用。改进的跟踪能力可以合并到飞行器(诸如无人飞行器(UAV))中。
[0004]在基于视觉的跟踪方法中，可以使用位于飞行器上的成像设备来跟踪目标物体。视觉跟踪方法可以是手动的或自动的。
[0005]在一些手动视觉跟踪方法中，可以首先使用成像设备来捕获一个或多个图像帧，并且操作者可以手动地从所述一个或多个图像帧中选择所要跟踪的目标物体。所述手动选择可以使用输入设备，例如，使用平板计算机、移动设备或个人计算机(PC)来执行。在一些情况下，飞行器可被配置为在所述操作者已经使用所述输入装置手动选择目标物体之后自动跟踪所述目标物体。在其他情况下，即使在已经选择所述目标物体之后，所述操作者仍可继续手动控制所述飞行器所述目标物体进行跟踪。
[0006]在一些自动视觉跟踪方法中，可以使用可自动检测特定类型的物体或携带标记的物体的跟踪算法来实现跟踪。物体的类型可以基于不同的物体类别(例如，人、建筑物、地貌等)。所述标记可以包括一个或多个包含独特图案的光学标记。还可以基于预定特征(例如，颜色、结构、显著特征等)和/或通过建模(例如，物体类别)来定义目标物体。在定义了目标物体之后，可以在所述目标物体移动时实时地检测和计算所述特征和/或模型的移动。在这些方法中，对所述目标的精确跟踪可能通常需要所述特征和/或模型的高一致性。特别地，所述跟踪精度水平可取决于所述特征之间的空间关系和/或所述模型中的误差。
[0007]在一些情况下，可以由跟踪指示符来注释目标物体的图像，以将所述目标物体与图像帧内的其他非跟踪物体区分开。所述跟踪指示符可以是围绕所述图像帧内的所述目标
物体的所述图像的框、圆圈或任何其他几何形状。所述图像帧和所述跟踪指示符通常位于二维图像平面上。因此，仅所述跟踪指示符本身可能无法提供关于所述飞行器/成像设备与所述目标之间的空间排列的足够信息。例如，空间指示符可以在一组图像帧内具有相同的大小、形状和/或位置，即使该组图像帧是在所述飞行器/成像设备相对于所述目标处于不同的空间排列时捕获的。因此，现有的视觉跟踪方法对于跟踪移动目标可能是不足的，特别是当所述飞行器/成像设备相对于所述目标处于不同的距离(横向/垂直)和/或不同的朝向(俯仰/横滚/航向)时情况尤为如此。
[0008]因此，需要提高可移动物体(例如，飞行器)在不同条件下针对要求高准确度/精确度的多种应用的跟踪能力和稳健性。所述条件可以包括室内环境和室外环境、无GPS信号的地点或GPS信号接收不良的地点等。所述应用可以包括当所述可移动物体/成像设备相对于所述目标物体处于不同的空间排列时，对正在移动的目标物体进行精确跟踪。所述目标物体可以包括不携带GPS装置的物体、能够在任何方向上移动的物体，或者上述物体的任何组合。本文提供了至少满足上述需求的系统、方法和设备。
[0009]例如，在本专利技术的一些方面，可以提供一种用于控制可移动物体对目标物体进行跟踪的方法。所述方法可以包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
[0010]根据本专利技术的另一方面，可以提供一种用于控制可移动物体对目标物体进行跟踪的装置。所述装置可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
[0011]本专利技术的其他方面可以涉及一种非易失性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于控制可移动物体对目标物体进行跟踪的方法。所述方法可以包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
[0012]根据本专利技术的附加方面，可以提供一种无人飞行器(UAV)系统。所述无人飞行器系统可以包括：一种能够操作用于控制所述无人飞行器对目标物体进行跟踪的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述无人飞行器的移动。
[0013]应当明白，本专利技术的不同方面可被单独地、共同地或彼此结合地理解。本文所描述的本专利技术的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的可
移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载具。此外，本文在空中运动(例如，飞行)的情景下公开的系统、设备和方法还可以适用于其他类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。
[0014]通过考察说明书、权利要求书和附图，本专利技术的其他目标和特征将会变得显而易见。
[0015]援引并入
[0016]本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此，其程度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请。
附图说明
[0017]本专利技术的新颖特征特别地体现在后述权利要求项中。为更好地理解本专利技术的所述特征和有益效果，可结合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于控制可移动物体对目标物体进行跟踪的方法，包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；其中，一个或多个特征包括边界框；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。2.根据权利要求1所述的方法，还包括：当所述成像设备、所述可移动物体和/或所述目标物体相对于彼此处于第一位置时，捕获所述第一图像帧；当所述成像设备、所述可移动物体和/或所述目标物体相对于彼此处于第二位置时，捕获所述第二图像帧。3.根据权利要求2所述的方法，其中所述第二位置不同于所述第一位置，其中所述第一位置与所述第二位置之间的差异包括所述成像设备、所述可移动物体和/或所述目标物体之间的相对朝向和/或相对距离的变化。4.根据权利要求1所述的方法，其中所述一个或多个特征的所述变化包括所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的大小变化。5.根据权利要求1所述的方法，其中所述一个或多个特征的所述变化包括所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的位置变化。6.根据权利要求1所述的方法，还包括：测量所述边界框相对于所述第一图像帧和所述第二图像帧内的参考点的位置变化；基于所述边界框的位置变化，确定所述参考点与关联于所述边界框的基准点之间的偏移距离。7.根据权利要求6所述的方法，还包括：基于所述偏移距离来控制所述可移动物体与所述目标物体之间的相对移动。8.根据权利要求7所述的方法，其中控制所述相对移动包括引导所述可移动物体朝着或远离所述目标物体移动。9.根据权利要求6所述的方法，其中当所述目标物体和所述可移动物体朝着和/或远离彼此移动时产生所述偏移距离。10.根据权利要求7所述的方法...

【专利技术属性】
技术研发人员：钱杰，赵从，封旭阳，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：