【技术实现步骤摘要】
一种扑翼飞行机器人目标跟踪方法及系统
[0001]本专利技术涉及扑翼飞行机器人视觉跟踪
，尤其涉及一种扑翼飞行机器人目标跟踪方法及系统。
技术介绍
[0002]无人飞行器的机翼类别大致有三类：固定翼、旋翼和扑翼。扑翼飞行机器人是基于鸟类、昆虫的飞行方式设计的新型无人飞行器，其与固定翼飞行器和旋翼飞行器最大的区别在于其升力与推力的来源是机翼的扑动。扑翼飞行机器人有质量轻、体积小、能耗低等优点，在军事和民用领域应用前景广泛，比如军事领域有低空侦察、精确打击等，民用领域有自然灾害的监视与支援、环境和污染监测等。扑翼飞行机器人的目标跟踪功能对上述应用是不可缺少的。
[0003]扑翼飞行机器人无法悬停，且其需要不断扑动翅膀飞行，因此扑翼飞行机器人航拍视频存在低频高幅抖动、目标小等特点。常见的稳像方法包括云台机械消抖、电子稳像算法无法完全消除扑翼飞行机器人航拍视频的抖动。而常见的滤波跟踪、IOU匹配等目标跟踪方法因为其要求目标不可短时间内大段位移，抗视频抖动能力差，在扑翼飞行机器人的航拍视频中应用效果不佳。
[00...
【技术保护点】
【技术特征摘要】
1.一种扑翼飞行机器人目标跟踪方法，其特征在于，所述方法由扑翼飞行机器人目标跟踪系统实现，所述扑翼飞行机器人目标跟踪系统包括扑翼飞行机器人、机载相机云台模块以及机载视觉处理模块；所述方法包括：S1、初始化所述机载视觉处理模块；S2、初始化所述机载相机云台模块；S3、所述机载相机云台模块获取扑翼飞行机器人的航拍视频流，所述航拍视频流包括长焦相机航拍图像以及短焦相机航拍图像；S4、所述机载视觉处理模块基于所述短焦相机航拍图像以及目标跟踪算法，选取待跟踪目标；S5、所述机载视觉处理模块通过所述目标跟踪算法，在扑翼飞行机器人的航拍视频流中获取所述待跟踪目标的像素位置；S6、所述机载视觉处理模块根据所述待跟踪目标的像素位置，通过云台控制器控制机载相机云台模块转动，用以跟踪所述待跟踪目标；S7、所述机载视觉处理模块通过相机映射关系获得待跟踪目标在所述长焦相机航拍图像中的位置；S8、循环执行步骤S5至S7，直至完成对所述待跟踪目标的实时跟踪。2.根据权利要求1所述的方法，其特征在于，所述S1中，初始化所述机载视觉处理模块，包括：S11、根据预设范围初始化机载视觉处理模块的聚类目标簇最大范围；S12、根据预设参数初始化机载视觉处理模块的滤波器参数；S13、载入机载视觉处理模块的孪生网络模型。3.根据权利要求1所述的方法，其特征在于，所述S4中，目标跟踪算法包括目标检测算法、聚类算法以及孪生神经网络。4.根据权利要求3所述的方法，其特征在于，所述S4中，所述机载视觉处理模块基于所述短焦相机航拍图像以及所述目标跟踪算法，选取待跟踪目标，包括：S41、基于所述目标检测算法对所述短焦相机航拍图像进行目标检测，得到多个目标；S42、基于所述聚类算法对所述多个目标以距离为基准做聚类得到目标簇，将所述多个目标的置信度的加权平均和确定为所述目标簇的置信度；S43、分别通过IOU匹配和滤波轨迹跟踪方式，在所述目标簇中确定待跟踪目标所在的预选目标簇；S44、提取所述预选目标簇所在的局部图像；S45、将所述局部图像和长焦相机航拍图像输入所述孪生神经网络，进行特征匹配，得到多个特征匹配目标；S46、在所述多个特征匹配目标中确定最优特征匹配目标，将所述最优特征匹配目标确定为待跟踪目标。5.根据权利要求3所述的方法，其特征在于，所述孪生神经网络采用Vision
‑
Transformer作为主干网络，加入注意力模块以提高网络性能；使用数据增强和HOG+Color特征融合以抑制扑翼飞行机器人航拍视频抖动带来的图像模糊和形变。
6.根据权利要求3所述的方法，其特征在于，所述目标跟踪算法中的聚类算法采用k
‑
medoids算法，将IOU和轨迹跟踪的对象由小目标修改为目标簇。7.根据权利要求1所述的方法，其特征在于，所述S6中，所述机载视觉处理模块根据所述待跟...
【专利技术属性】
技术研发人员：付强，王进，贺威，刘胜南，吴晓阳，张辉，何修宇，邹尧，黄海丰，刘志杰，黄鸣阳，张春华，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。