视觉跟踪方法、视觉跟踪装置、无人机以及终端设备制造方法及图纸

本发明专利技术公开了一种视觉跟踪方法、视觉跟踪装置、无人机以及终端设备。该方法可以包括：获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数的步骤；基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定的步骤；当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型的步骤；基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制的步骤。

Visual tracking method, visual tracking device, UAV and terminal equipment.

The invention discloses a visual tracking method, a visual tracking device, an unmanned aerial vehicle and a terminal device. The method can include: obtaining the steps of the current image data containing the designated area of the tracked object and the running parameters of the tracking object; based on the acquired image data that contains the specified area of the tracked object, the possible tracked object in the specified area is generated to be tracked object library for the object to be tracked. The step of the selected step; when determining the relative operation of the tracking object and the selected object, the step of the motion estimation model of the tracking object is established based on the image features of the tracked object in the image data, and the bit in the image data under the specified area is predicted based on the motion estimation model. The steps of setting up and image features to control the tracking objects.

【技术实现步骤摘要】
视觉跟踪方法、视觉跟踪装置、无人机以及终端设备
本专利技术属于视觉跟踪
，尤其涉及一种视觉跟踪方法、视觉跟踪装置、无人机以及终端设备。
技术介绍
现有的机器自主跟踪，通常包含基于GPS传感器的自主跟踪和基于视觉的自主跟踪。基于GPS传感器的自主跟踪通常需要被跟踪对象本体携带具有GPS定位功能的传感器或类似定位的传感器，跟踪机器内部处理芯片实时监测被跟踪对象的位置，并跟踪机器当前位置与目标被跟踪对象位置偏差，从而指导跟踪机器跟随被跟踪对象，此种跟踪方法局限性较高，无法跟踪没有携带具有GPS定位功能的传感器或类似定位的传感器的被跟踪对象。一些基于视觉的自主跟踪方法，例如通过无人机的视觉跟踪方法，需要主动框选目标对象，并进行检测，只有当被跟踪对象满足检测条件时，才驱动无人机执行跟踪，该方法可能会导致用户多次在图像中框选跟踪对象，由于人为误差，依然无法达到被跟踪对象满足检测条件，导致无人机无法执行跟踪。
技术实现思路
本专利技术实施例提供了一种视觉跟踪方法、视觉跟踪装置、无人机以及终端设备。第一方面，提供了一种视觉跟踪方法，包括：获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数的步骤；基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定的步骤；当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型的步骤；基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制的步骤。第二方面，提供了一种视觉跟踪装置，包括：获取单元、选定单元、处理单元和预测单元。该获取单元被配置为获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；该选定单元被配置为基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；该处理单元被配置为当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型；该预测单元被配置为基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制。第三方面，提供了一种无人机，包括图像采集装置、云台、飞控装置、通信装置和上述视觉跟踪装置，其中：图像采集装置设置在云台上；视觉跟踪装置与图像采集装置以接收包含被跟踪对象的指定区域的图像数据；视觉跟踪装置与所述飞控装置相连接用于接收无人机的运行参数以及向飞控装置发送控制指令，控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征；通信装置，用于与终端设备进行通信。第四方面，提供了一种终端设备，包括通信装置和上述的视觉跟踪装置，视觉跟踪装置与通信装置相连接，视觉跟踪装置通过通信装置获得跟踪对象发来的包含被跟踪对象的指定区域的图像数据以及向跟踪对象发送控制指令，控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征。根据本专利技术实施例提供的视觉跟踪方法、视觉跟踪装置、无人机以及终端设备，通过获得的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定，能够减少人为操纵对被跟踪对象的选定带来的影响，使被跟踪对象的选定更加快速与准确。同时通过对被跟踪对象的图像特征建立被跟踪对象的运动估计模型，进而预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征，实现对跟踪对象的精确控制以达到跟踪目的。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例的视觉跟踪方法的示意性流程图；图2是本专利技术一实施例的视觉跟踪装置的示意性框图；图3是本专利技术另一实施例的无人机的示意性框图；图4是本专利技术再一实施例的终端设备的示意性框图；图5是本专利技术一实施例的视觉跟踪装置的计算设备实现的示意性框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面将详细描述本专利技术的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本专利技术的全面理解。但是，对于本领域技术人员来说很明显的是，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术的更好的理解。本专利技术决不限于下面所提出的任何具体配置和算法，而是在不脱离本专利技术的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本专利技术造成不必要的模糊。现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本专利技术更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中，为了清晰，可能夸大了区域和层的厚度。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本专利技术的主要技术创意。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1是本专利技术一实施例的视觉跟踪方法的示意性流程图。该方法包括：S110，获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；S120，基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；S130，当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型；S140，基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制。该方法可以通过获得的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定，能够减少人为操纵对被跟踪对象的选定带来的影响，使被跟踪对象的选定更加快速与准确。同时通过对被跟踪对象的图像特征建立被跟踪对象的运动估计模型，进而预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征，实现对跟踪对象的精确控制以达到跟踪目的。在S110中，当前的包含被跟踪对本文档来自技高网...

【技术保护点】
1.一种视觉跟踪方法，其特征在于，包括：获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；当判定所述跟踪对象与选定的被跟踪对象存在相对运行时，基于所述图像数据中被跟踪对象的图像特征建立所述被跟踪对象的运动估计模型；基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对所述跟踪对象进行控制。

【技术特征摘要】
1.一种视觉跟踪方法，其特征在于，包括：获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；当判定所述跟踪对象与选定的被跟踪对象存在相对运行时，基于所述图像数据中被跟踪对象的图像特征建立所述被跟踪对象的运动估计模型；基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对所述跟踪对象进行控制。2.根据权利要求1所述的视觉跟踪方法，其特征在于，还包括通过核滤波跟踪算法对所述预测得到的所述被跟踪对象下一时刻在指定区域的图像数据中的位置进行预测。3.根据权利要求1所述的视觉跟踪方法，其特征在于，所述被跟踪对象的图像特征包括被跟踪对象的颜色和被跟踪对象的边缘梯度。4.根据权利要求1所述的视觉跟踪方法，其特征在于，所述基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置以对所述跟踪对象进行控制的步骤包括：基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征获得所述被跟踪对象下一时刻在指定区域的图像数据中的坐标。5.根据权利要求1所述的视觉跟踪方法，其特征在于，所述基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定的步骤包括以下一项或多项：根据被跟踪对象的类型对被跟踪对象进行选定；在所述图像数据中选择选定位置，根据可能的被跟踪对象与所述选定位置的距离对被跟踪对象进行选定；显示已选定的被跟踪对象和\或已选定的被跟踪对象的特征以通过人工对已选定的被跟踪对象进行确认。6.根据权利要求1所述的视觉跟踪方法，其特征在于，还包括：根据所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征对所述运动估计模型进行更新。7.根据权利要求4所述的视觉跟踪方法，其特征在于，还包括：基于所述图像数据中的坐标及跟踪对象的运行参数获得跟踪对象与被跟踪对象的三维相对运行参数。8.一种视觉跟踪装置，其特征在于，包括：获取单元，被配置为获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；选定单元，被配置为基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；处理单元，被配置为当判定所述跟踪对象与选定的被跟踪对象存在相对运行时，基于所述图...

【专利技术属性】
技术研发人员：田瑜，江文彦，
申请(专利权)人：翔升上海电子技术有限公司，
类型：发明
国别省市：上海,31