一种基于无人机的地面运动目标实时跟踪方法及系统技术方案

本发明专利技术公开了一种基于无人机的地面运动目标实时跟踪方法及系统，启动地面控制站的目标检测与识别模块处理摄像机传回的图像序列，获得在地面站显示屏上目标矩形框大小及中心坐标；启动目标跟踪模块，利用算法融合策略对目标进行跟踪，若跟踪有效，则输出目标定位结果到跟踪指令生成模块；若未定位到目标，则启动目标搜索模块，搜寻目标并输出目标定位结果到跟踪指令生成模块；根据目标图像需定位到地面站显示屏中心的要求，跟踪指令生成模块生成无人机位置与姿态调整指令，并通过无线传输设备上传到无人机飞控系统对其位姿进行实时调整。本发明专利技术匹配效率高，易于实现，能有效地进行目标识别，避免背景噪声的影响。

Real time tracking method and system for ground moving target based on unmanned aerial vehicle

The invention discloses a method and system for real-time tracking of ground moving targets based on UAV Ground Control Station, start the target detection and recognition module for processing image sequences obtained from cameras, display station rectangle size and target center coordinates on the ground; start the target tracking module, fusion strategy for target tracking using the algorithm. If the effective output tracking, target tracking results to the instruction generating module; if you do not locate the target, then start the target search module, searching target and output target tracking results to the instruction generation module; according to the target image positioning to the ground station in the center of the display, tracking module generates the UAV position and attitude adjust the instruction, and UAV flight control system to adjust the position through the wireless transmission equipment to upload. The invention has high matching efficiency, is easy to realize, can effectively carry out target identification, and avoids the influence of background noise.

【技术实现步骤摘要】
一种基于无人机的地面运动目标实时跟踪方法及系统
本专利技术属于无人机导航领域，计算机视觉领域，具体涉及使用无人机对目标进行自动检测与跟踪的方法。
技术介绍
无人机具有高机动性、高分辨率、隐蔽性好、操作灵活等优势。所以在目标侦察与跟踪领域有巨大优势，比传统的固定摄像头监视范围大，其主要应用于昼夜空中侦察，交通监视，军事测绘等领域。利用无人机搭载的视频传感器对地面运动目标进行跟踪与分析，在民用与军事上有重大的实践意义。首先，对于大多数的视频监控系统而言，都是在摄像机静止时对某个需要特殊关注的区域进行监视。背景是静止的，而作为前景的运动目标是移动的，这种情况下的目标检测只需作背景差法，就能取得不错的效果。但是在很多情况下，如以无人机作为载体的摄像机下的目标检测与跟踪，其拍摄的图像序列背景往往是不断变化的，具有不固定性，这种情况下的待跟踪目标的检测与跟踪显得异常艰难。其次，对于一个单目标的跟踪，并不代表无人机的视场中只有单一运动物体，而是场景中有多个移动的物体，对真正的感兴趣目标的检测及跟踪造成了干扰，不能进行目标的有效识别。还有背景噪声存在，例如由于阴影或光照的影响等造成提取出来的目标不完整或中心有空洞，在这些情况下，往往使得目标的检测识别造成了更大的困难。本专利技术中用到的名词解释如下：无人机：是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，包括无人固定翼机、无人直升机和多旋翼无人机等。无线传输设备：一种使用MAVlink协议的通信设备，通信频段一般为2.4G。Shi-Tomasi角点：一种图像特征点的检测方法，代表图像的局部特征，对图像的亮度变化、模糊变化、旋转变化和视角变化等，均具有较强鲁棒性。FRI：以角点为中心的邻域图像，本专利技术中取大小为30×30正方形区域。Bhattacharyya系数：度量目标模型和候选模型区域间的相似程度的数值，数值越小，区域相似性越大；反之，区域相似性越大。
技术实现思路
本专利技术旨在提供一种基于无人机的地面运动目标实时跟踪方法及系统，解决现有技术中目标检测识别困难的问题。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于无人机的地面运动目标实时跟踪方法，包括以下步骤：1)无人机按照预定的飞行轨迹进行巡逻，将拍摄的图像序列传输到地面控制站，检测出无人机视场下的感兴趣目标；2)提取上述感兴趣目标的二维图像矩形框大小与中心位置信息；3)利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终目标定位结果。步骤3)之后，根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。步骤2)的具体实现过程包括：1)分别提取无人机拍摄图像序列的相邻两帧的Shi-Tomasi角点集合；2)对两帧图像的Shi-Tomasi角点集合分别构造合成基描述子；3)对带有合成基描述子的Shi-Tomasi角点集合进行特征匹配，获取相邻两帧的图像角点匹配对；4)对步骤3)获得的角点匹配对，利用RANSAC方法估计出背景运动变换矩阵，并进行图像背景运动补偿；5)对运动补偿后的相邻帧图像作帧差操作，得到帧差图像，并将帧差图像二值化；6)对帧差图像作形态学滤波操作，进行目标信息分离和提取，获得目标矩形框的大小与中心位置信息。相邻两帧图像所有角点合成基描述子的具体生成过程包括：1)对相邻两帧图像中每一个特征点邻域图像FRI进行二值化处理，并计算特征点邻域图像FRI的平均灰度值，当特征点邻域图像FRI内的像素点值大于平均灰度值，则该像素点值被置1；否则，置0；2)把相邻两帧图像中所有30×30大小的特征点邻域图像FRI均分成6×6个大小为5×5的子区域，合成基图像为5×5个黑白元素组成的正方形；所述合成基图像黑色像素点个数为FRI子区域像素的一半，合成基图像的个数其中，N为FRI子区域的像素个数；K为合成基图像中黑色像素的个数；3)对于步骤2)中的任一个特征点邻域图像FRI，将该特征点邻域图像FRI的所有子区域以从左至右、从上到下的顺序与合成基图像集合进行比较，每一个子区域都生成一个9维向量，组合36个子区域的各自9维向量，最后形成一个324维的合成基描述子。所述特征点邻域图像FRI的一个子区域9维向量生成方法为：一个子区域与合成基图像集合中一个合成基图像的比较值为两者在同一像素点处黑色像素相同的个数，合成基图像集合被比较的顺序为从左至右、从上到下，然后一个子区域依照上述的比较规则和比较顺序，与合成基图像集合中所有的合成基图像一一进行比较，得到9个整数值，组成9维向量。目标信息分离和提取的具体步骤包括：a)遍历每一帧滤波后的帧差图像，遍历的顺序为自上而下，从左至右；b)如果一个像素满足：二值化后的像素值为1且没有编号，则对该像素赋予新的编号；c)遍历赋予了新的编号的像素的八邻域，依据步骤b)中的条件，给予满足条件的8邻域内的像素新的编号，且该新的编号与赋予了新的编号的像素编号相同；对于不满足条件的八领域内的像素，返回步骤b)；d)当把帧差图像中所有像素值为1的像素点遍历完且都编完号之后，操作结束。所述矩形框的确定方法包括：每一帧滤波后的帧差图像经过扫描后，像素点为1的都有编号，编号相同的则为同一物体，连接在一起就组成了运动物体，假设有m个运动物体，对于第一个运动物体，矩形框获取方法如下：依次从第一个被标记的像素点开始遍历，直至遍历完最后一个被标记像素点，将标记像素点中x坐标与y坐标的最小值与最大值保存下来，记为xmin，ymin，xmax，ymax，以(xmin,ymin),(xmax,ymax)两点作为矩形框的对角点，画出矩形框。本专利技术还提供了一种地面运动目标实时跟踪的系统，包括：无人机，用于按照预定的飞行轨迹进行巡逻，将拍摄的图像序列传输到地面控制站；无线传输设备：为无人机与地面控制站之间的数据传输提供一种通信方式；地面控制站，用于检测出无人机视场下的感兴趣目标，提取感兴趣目标的二维图像矩形框大小与中心位置信息，并利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终得目标定位结果。相应的，该系统还包括：跟踪指令生成模块，用于根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。所述地面控制站包括：检测与识别模块，用于检测出无人机视场下的感兴趣目标，并提取感兴趣目标的二维图像矩形框大小与中心位置信息；目标跟踪模块，利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终得目标定位结果。目标搜索模块，丢失跟踪目标时，该模块使用一种序列搜索方法重新定位目标。跟踪指令生成模块，根据跟踪目标在地面站显示屏中的成像区域，生成相应的跟踪指令，以使目标位于显示屏中心位置。与现有技术相比，本专利技术所具有的有益效果为：本专利技术目标的检测与跟踪过程不需人工的全程参与，使用的合成基描述子进行特征点匹配，对尺度旋转、光照、模糊变化具有鲁棒性，匹配效率高，并且合成基描述子的生成不涉及浮点运算，其对处理图像的硬件平台具有友好性，易于实现，能有效地进行目标识别，避免背景噪声的影响。附图说明图1为无人机系统结构组成图；本文档来自技高网...

【技术保护点】
一种基于无人机的地面运动目标实时跟踪方法，其特征在于，包括以下步骤：1)无人机按照预定的飞行轨迹进行巡逻，将对地面视场拍摄的图像序列传输到地面控制站，检测出无人机视场下的感兴趣目标；2)提取上述感兴趣目标的二维图像矩形框大小与中心位置信息；3)利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终目标定位结果。

【技术特征摘要】
1.一种基于无人机的地面运动目标实时跟踪方法，其特征在于，包括以下步骤：1)无人机按照预定的飞行轨迹进行巡逻，将对地面视场拍摄的图像序列传输到地面控制站，检测出无人机视场下的感兴趣目标；2)提取上述感兴趣目标的二维图像矩形框大小与中心位置信息；3)利用所述二维图像矩形框大小与中心位置信息，融合均值漂移算法和卡尔曼滤波算法的输出数据，使用数据加权的形式输出最终目标定位结果。2.根据权利要求1所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，步骤3)之后，根据所述目标定位结果，调整无人机飞行模式，使运动目标位于地面站显示屏中心区域。3.根据权利要求1所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，步骤2)的具体实现过程包括：1)分别提取无人机拍摄的图像序列的相邻两帧的Shi-Tomasi角点集合；2)对两帧图像的Shi-Tomasi角点集合分别构造合成基描述子；3)对带有合成基描述子的Shi-Tomasi角点集合进行特征匹配，获取相邻两帧的图像角点匹配对；4)对步骤3)获得的角点匹配对，利用RANSAC方法估计出背景运动变换矩阵，并进行图像背景运动补偿；5)对运动补偿后的相邻帧图像作帧差操作，得到帧差图像，并将帧差图像二值化；6)对帧差图像作形态学滤波操作，进行目标信息分离和提取，获得目标矩形框的大小与中心位置信息。4.根据权利要求3所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，相邻两帧图像所有角点合成基描述子的具体生成过程包括：1)对相邻两帧图像中每一个特征点邻域图像FRI进行二值化处理，并计算特征点邻域图像FRI的平均灰度值，当特征点邻域图像FRI内的像素点值大于平均灰度值，则该像素点值被置1；否则，置0；2)把相邻两帧图像中所有30×30大小的特征点邻域图像FRI均分成6×6个大小为5×5的子区域，合成基图像为5×5个黑白元素组成的正方形；所述合成基图像黑色像素点个数为FRI子区域像素的一半，合成基图像的个数其中，N为FRI子区域的像素个数；K为合成基图像中黑色像素的个数；3)对于步骤2)中的任一个特征点邻域图像FRI，将该特征点邻域图像FRI的所有子区域以从左至右、从上到下的顺序与合成基图像集合进行比较，每一个子区域都生成一个9维向量，组合36个子区域的各自9维向量，最后形成一个324维的合成基描述子。5.根据权利要求4所述的基于无人机的地面运动目标实时跟踪方法，其特征在于，所述特征点邻域图像FRI的一个子区域9维向量生成方法为：一个子区域与合成基图像集合中一个合成基图像的比较值为两者在同一像素点处黑色像素相同的个数，合成基图像集合被比较的顺序...

【专利技术属性】
技术研发人员：谭冠政，李波，刘西亚，陈佳庆，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43