一种基于双目相机的四旋翼无人机视觉目标跟踪方法技术

本发明专利技术公开了一种基于双目相机的四旋翼无人机视觉目标跟踪方法，通过目标识别算法检测出跟踪目标，再使用基于相关滤波的视觉追踪算法，完成对目标在像素意义上的位置追踪与尺度追踪，并根据追踪效果判断是否跟踪丢失需要启动重定位程序，或需要对长期跟踪器进行更新；然后，根据跟踪框选定的图像区域，使用LK光流法进行四旋翼无人机与追踪目标相对距离的计算，经过坐标转换后使用卡尔曼滤波器实现对追踪目标的全局状态估计；最后根据估计的目标全局位置、速度状态，设计无人机外环控制系统的状态量，实现无人机对追踪目标无延时的稳定跟踪。

A Visual Target Tracking Method for Four-Rotor UAV Based on Binocular Camera

【技术实现步骤摘要】
一种基于双目相机的四旋翼无人机视觉目标跟踪方法
本专利技术属于四旋翼无人机
，更为具体地讲，涉及一种基于双目相机的四旋翼无人机视觉目标跟踪方法。
技术介绍
在四旋翼无人机
，视觉目标追踪无人机具有很好的实用价值。在军事侦察领域，通过在无人机上使用目标识别与跟踪技术，可对打击目标进行持续锁定监视，估计目标的位置及运动状态信息，从而引导己方进行精确火力打击；航空摄影方面，小到消费级市场上普通消费者游玩时对于跟拍的巨大需求，大到行业应用市场中，影视拍摄时的运动特写镜头，这些功能以前都需要经验丰富的无人机操作员来完成，操作门槛高且成功率低。因此研究能够自主跟随进行特殊视角拍摄的无人机系统具有重要意义。现有类似的无人机目标跟踪系统主要有两种实现方法，第一种要求跟踪目标携带GPS或其他可与无人机通信的电子信标，无人机通过接受信标的定位信息完成对目标的跟踪，这种方法在应用上显然具有很大的局限性；第二种方法则是利用视觉追踪算法对跟踪目标进行跟踪，但使用的追踪算法多为传统跟踪算法，跟踪能力差，不具备长期跟踪能力，此外，很多类似系统为了得到无人机与跟踪目标之间的相对距离及运动速度等状态信息，本文档来自技高网...

【技术保护点】
1.一种基于双目相机的四旋翼无人机视觉目标跟踪方法，其特征在于，包括以下步骤：(1)、选取跟踪目标地面站计算机将左相机传回的图像进行实时显示，再通过地面站计算机上运行的目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；(2)、训练滤波器并更新(2.1)、在跟踪目标框以及周围区域，提取包含31维FHOG特征与1维的灰度特征，整个提取区域的大小的长宽为跟踪目标框长宽的p倍，整个提取区域记为S；(2.2)、分别利用提取区域S训练位置追踪...

【技术特征摘要】
1.一种基于双目相机的四旋翼无人机视觉目标跟踪方法，其特征在于，包括以下步骤：(1)、选取跟踪目标地面站计算机将左相机传回的图像进行实时显示，再通过地面站计算机上运行的目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；(2)、训练滤波器并更新(2.1)、在跟踪目标框以及周围区域，提取包含31维FHOG特征与1维的灰度特征，整个提取区域的大小的长宽为跟踪目标框长宽的p倍，整个提取区域记为S；(2.2)、分别利用提取区域S训练位置追踪滤波器和外观滤波器；(2.3)、在下一帧图像到来时，利用上一帧训练好的位置追踪滤波器寻找相关性响应最大的位置，记为P；然后以P为中心，利用尺度滤波器对目标框区域进行缩放，得到新一帧图像上的跟踪跟踪目标框；(2.4)、在新一帧图像上计算平均峰值相关能量APCE值，然后比较APCE与预设的跟踪丢失阈值的大小，如果APCE值低于跟踪丢失阈值时，则判断为跟踪丢失，进入步骤(2.5)，否则，跳转至步骤(2.6)；(2.5)、将四旋翼无人机切换到定点悬停模式，再使用SVM算法对跟踪目标进行重定位，直到重新确定跟踪目标，然后返回步骤(2.3)；(2.6)、对位置追踪滤波器和尺度滤波器进行更新；同时判断APCE值是否大于外观滤波器的更新阈值，如果大于，则对外观滤波器进行更新，否则不更新外观滤波器；待三个滤波器处理完成后进入步骤(3)；(3)、估计跟踪目标状态(3.1)、提取跟踪目标框内的ORB特征点，并记录下这些特征点的位置；再使用带金字塔的LK光流法，寻找同一时刻右相机图像中对应的点，并计算每个点对应的视差值；(3.2)、按照视差值对右相机图像中对应的点进行升序排序，再剔除视差大小处于前1/3与后1/3的点，将处于中间13的点的视差值取平均，作为视差结果；(3.3)、通过双目测距原理和三角化方法，利用视差结果计算出跟踪目标的深度d以及跟踪目标在相机坐标系下的位置坐标值(xc,yc,zc)；(3.4)、将GPS数据、IMU数据和超声波数据通过四旋翼无人机自带的位姿估计程序处理，得到四旋翼无人机在地理坐标系下的位置(Xch,Ych,Zch)和姿态(3.5)、将d、xc,yc,zc、(Xch,Ych,Zch)和输入至卡尔曼滤波算法，估计出跟踪目标在地理坐标系下的实际位置(x,y,z)和实际速度(4)、控制四旋翼无人机对跟踪目标进行平行跟随飞行(4.1)、根据实际位置(x,y,z)计算四旋翼无人机的实际位置与期望位置的差值，再将该差值作为外环全局位置PID控制器的输入，同时将实际速度作作为PID的控制量，那么，全局位置PID控制器的输出为：其中，Cx,Cy,Cz分别为在x,y,z方向上外环全局位置PI...

【专利技术属性】
技术研发人员：李瑞，刘奇胜，史莹晶，吴士成，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51