一种高效的无人机人体跟踪方法技术

本发明专利技术涉及无人机技术。一种高效的无人机人体跟踪方法，包括如下步骤，步骤一，远程遥控终端发起人体追踪启动指令；步骤二，无人机的人体追踪系统接收到人体追踪启动指令后，初始化人体追踪系统；人体追踪系统接收摄像头输入的视频流，对视频流的图像进行全尺度扫描，在图像中检测出所有的人体位置，将所有检测出的人体位置发送回远程遥控终端；步骤三，由远程遥控终端选择其中一个需要跟踪的人体位置，人体追踪系统在接收到跟踪目标后开始进入跟踪流程；在跟踪流程中，无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。充分利用机载飞控系统和惯性传感器，保证人体跟踪在各种场景的实时性。

【技术实现步骤摘要】
一种高效的无人机人体跟踪方法
本专利技术涉及无人机
，尤其涉及人体追踪方法。
技术介绍
在消费无人机领域，人体跟踪是无人机实现行人跟拍，骑单车跟拍，以人为中心的环绕拍摄等高级特性的基础。然而由于人体本身的非刚性，穿着的差异性，拍摄角度的差异性，造成基于视觉的人体检测、跟踪十分困难。通用的人体检测算法需要使用较多的计算资源，在没有加速芯片，计算非常受限的嵌入式环境下完成高精度的人体检测并实时运行是非常困难的。并且由于无人机本身的震动以及外界的物理干扰(比如风的影响)造成无人机拍摄不稳定，这些因素对视觉的人体跟踪造成进一步的影响。综上，目前市场上，大部分无人机是很难在室外有风情况下长时间稳定的进行人体跟踪的。
技术实现思路
本专利技术的目的在于提供一种高效的无人机人体跟踪方法，以解决上述至少一个技术问题。本专利技术所解决的技术问题可以采用以下技术方案来实现：一种高效的无人机人体跟踪方法，其特征在于，包括如下步骤，步骤一，远程遥控终端发起人体追踪启动指令；步骤二，无人机的人体追踪系统接收到人体追踪启动指令后，初始化人体追踪系统；人体追踪系统接收摄像头输入的视频流，对视频流的图像进行全尺度扫描，在图像中检测出所有的人体位置，将所有检测出的人体位置发送回远程遥控终端；步骤三，由远程遥控终端选择其中一个需要跟踪的人体位置，人体追踪系统在接收到跟踪目标后开始进入跟踪流程；在跟踪流程中，无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。在本专利技术中，在不降低检测精度的同时，充分利用机载飞控系统和惯性传感器，弥补视觉追踪的低采样率(摄像头为每秒30帧)，以及飞行中受到的气流干扰，大幅降低计算复杂度，保证人体跟踪在各种场景的实时性。无人机对人体进行程序路线跟拍，环绕拍摄等情况，或者是遇到有风的天气，对于没有机械稳像机构的无人机常常造成人体在图像中的位置放生剧烈变化，这种变化造成视觉跟踪的时间以及空间局部性难以满足。如果想仅仅依靠视觉处理解决这种问题，那么往往需要重新进行大面积的扫描，重新检测目标位置，但是在跟踪飞行过程中进行连续的大计算量操作，在消费无人机上是不能接受的，有可能造成处理器温度过高导致降频等不可逆事故。针对这一问题，本专利融合飞控的运动模型和参数，惯性传感器信息，以及视觉检测结果，在下一帧视频数据到来时，人体追踪系统会依据之前的信息和时间间隔，对跟踪目标在当前帧内的位置做出初始预测。然后人体检测算法会在该预测位置的小范围内做更精确的搜索，从而确定人体的精确位置。最终确定的人体位置和大小会再次反馈给该系统，用于更新系统内状态。在跟踪流程中，预测出目标大概位置后，然后用级联分类器进行目标的位置估计，最后得到目标的位置。所述飞控信息包括无人机飞行转向的控制信息、无人机倾斜的姿态信息。惯性传感器是一种传感器，主要是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动，是解决导航、定向和运动载体控制的重要部件。通过飞控信息与惯性传感器的结合，便于知晓无人机的运动状况，便于提高对目标的追踪定位精度。所述级联分类器是采用了级联式的基于二叉树的boosted分类器。这种分类器在实时目标检测中经常使用，目的是为了尽早拒绝背景，只有合适尺度的目标区域才能通过所有的级联分类器，从而被判决为人体。由于级联分类器的各个分类器是单独训练的，因此下一级的分类器难以继承上一级的特征信息，因此总体特征无法同时发挥约束。本专利技术在传统的基于二叉树的级联分类器后，提取所有二叉树特征用于全局优化，再次验证通过级联分类器的结果以保证高精度。为了在跟踪过程中进一步减少计算量，将位置预估后的检测算法在时间上稀疏化，有条件的进行计算量较大的局部检测扫描。通过实验，我们将跟踪过程划分为较短的时间片，在这个短时间片内进行KCF(KernelCorrelationFilter)跟踪，KCF是一种高效的短时跟踪方法，在短时间内可以保证较好的准确性，但是KCF这种短时跟踪方法依然会存在一定的漂移，因此在短时间片的最后一帧我们会进行一次局部检测扫描，修正KCF引起的漂移。这样本专利技术不仅可以以最小的计算代价进行跟踪，并且也不会由于长时间跟踪造成目标位置和尺度的漂移。所述人体追踪系统还包括一图像处理模块，图像处理模块当前摄像头采集到的图像进行图像处理。所述图像处理包括一图像预处理，图像预处理对图像进行RGB到LUV颜色空间转换，并获得特征图，特征图从左至右依次为3个LUV颜色分量通道、梯度幅值通道，6个梯度方向通道。所述人体追踪系统还包括一图像处理模块，图像处理模块当前摄像头采集到的图像进行图像处理，图像处理包括对图像进行设定尺度的间隔缩放处理；所述人体追踪系统包括一人体追踪模块，人体追踪模块将图像处理模块处理后的图像中目标的坐标进行定位，预测下一帧图像目标的坐标。本专利采用一种近似的方法生成特征金字塔。在一定尺度间隔上做图像缩放，然后计算特征图，剩余的尺度间隔使用近似差值的方式从相邻尺度生成特征图。虽然会降低精度，但是计算量将大大减少，在无人机这种嵌入式设备上是非常值得的。该专利最大的计算量集中在特征金字塔的生成，而级联分类器的扫描过程并不会占用过多的计算量，因此如果再进一步减少特征金字塔的计算是本专利考虑的重点。为了进一步减少特征图的计算量，本专利使用了在相同尺度的特征图上使用一组多尺度的级联分类器进行检测，本质上是通过扫描窗口的多尺度来替代特征图的多尺度。但是由于大尺寸样本比较难以采集，因此本专利采用了至少3个不同大小的分类器，覆盖与分离器个数相同的尺度，因此每个尺度会重新缩放一次图像并计算特征图，然后再使用这分类器进行扫描。分类器通过人体离线样本获得。图像处理还包括对图像进行剪裁处理。便于减小人体追踪模块对图像的处理量，保证信息运行速度。当目标占图像的面积小于图像整体面积的1/20时，对图像进行剪裁处理，获得局部图像，人体追踪模块对局部图像中的人体进行定位。便于对目标进行精确定位。以目标的某一特征信息所处的方位作为目标的定位坐标，以目标的另一特征信息所处的方位作为目标的辅助定位坐标。本专利通过定位坐标与辅助定位坐标，进而提高对目标的定位精度。所述特性信息包括人体特征信息或者佩戴的饰品；人体特征信息包括五官、手、脚、身体中的任意一种；佩戴的饰品包括围巾、眼镜、帽子、手表、项链中的任意一种。便于根据人体的不同信息进行目标的定位追踪。所述人体追踪系统还包括一人体运动轨迹分析模块，所述人体运动轨迹分析模块分析摄像头采集到的目标的运动姿势以及运动方向，对目标的下一步运动轨迹进行预测；运动姿势包括行走、奔跑、跳跃、站立、爬行、坐中的任意一种。便于根据目标的运动姿势，对目标的下一步运动轨迹进行预测，便于人体定位精度。附图说明图1为本专利技术的一种流程图；图2为本专利技术的一种流程示意图；图3为本专利技术预测出当前目标的大概位置示意图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本专利技术。参照图1、图2、图3，一种高效的无人机人体跟踪方法，包括如下步骤，步骤一，远程遥控终端发起人体追踪启动指令；步骤二，无人机的人体追踪系统接收到人体追踪启动指令后，初始化人体追踪系统；人体追踪系统接收摄本文档来自技高网...

【技术保护点】
1.一种高效的无人机人体跟踪方法，其特征在于，包括如下步骤，步骤一，远程遥控终端发起人体追踪启动指令；步骤二，无人机的人体追踪系统接收到人体追踪启动指令后，初始化人体追踪系统；人体追踪系统接收摄像头输入的视频流，对视频流的图像进行全尺度扫描，在图像中检测出所有的人体位置，将所有检测出的人体位置发送回远程遥控终端；步骤三，由远程遥控终端选择其中一个需要跟踪的人体位置，人体追踪系统在接收到跟踪目标后开始进入跟踪流程；在跟踪流程中，无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。

【技术特征摘要】
1.一种高效的无人机人体跟踪方法，其特征在于，包括如下步骤，步骤一，远程遥控终端发起人体追踪启动指令；步骤二，无人机的人体追踪系统接收到人体追踪启动指令后，初始化人体追踪系统；人体追踪系统接收摄像头输入的视频流，对视频流的图像进行全尺度扫描，在图像中检测出所有的人体位置，将所有检测出的人体位置发送回远程遥控终端；步骤三，由远程遥控终端选择其中一个需要跟踪的人体位置，人体追踪系统在接收到跟踪目标后开始进入跟踪流程；在跟踪流程中，无人机通过飞控信息、惯性传感器信息和上一帧图像的目标跟踪位置预测出当前目标的大概位置。2.根据权利要求1所述的一种高效的无人机人体跟踪方法，其特征在于，在跟踪流程中，预测出目标大概位置后，然后用级联分类器进行目标的位置估计，最后得到目标的位置。3.根据权利要求1所述的一种高效的无人机人体跟踪方法，其特征在于，所述飞控信息包括无人机飞行转向的控制信息、无人机倾斜的姿态信息。4.根据权利要求1所述的一种高效的无人机人体跟踪方法，其特征在于，所述人体追踪系统还包括一图像处理模块，图像处理模块当前摄像头采集到的图像进行图像处理。5.根据权利要求4所述的一种高效的无人机人体跟踪方法，其特征在于，所述图像处理包括一图像预处理，图像预处理对图像进行RGB到LUV颜色空间转换，并获得特征图，特征图从左至右依次为3个LUV颜色分量通道、梯度幅值通道，6个梯度方向通道。6....

【专利技术属性】
技术研发人员：陈果，李扬，韩龙，杜晨阳，
申请(专利权)人：上海深视信息科技有限公司，
类型：发明
国别省市：上海,31