一种基于单目无人飞行平台的动态目标识别跟踪方法技术

本发明专利技术涉及一种基于单目无人飞行平台的动态目标识别跟踪方法，使用单目相机作为目标感知的唯一视觉传感器，采用目标识别与运动控制相结合的实时动态目标跟踪。本发明专利技术采用成本低廉的单目相机作为唯一视觉感知设备，基于轻量型的卷积神经网络模型在低成本嵌入式边缘计算设备上的部署，结合开源自主的高性能无人飞行运动平台，实现了在较低经济成本条件下的，可快速部署的无人飞行器对兴趣目标的高效准确识别跟踪功能。经实验测试，设备运转正常，功能效果良好，具备较强的发明专利技术应用价值。具备较强的发明专利技术应用价值。具备较强的发明专利技术应用价值。

【技术实现步骤摘要】
一种基于单目无人飞行平台的动态目标识别跟踪方法


[0001]本专利技术属于目标识别跟踪领域，涉及一种基于单目无人飞行平台的动态目标识别跟踪方法。

技术介绍

[0002]近年来，随着无人飞行器技术的快速发展，小型旋翼无人飞行平台建立起了灵活、快速的运动优势，并且显现出了部署的快速性与应用的方便性优点。基于以上特性，小型旋翼无人飞行平台可以在目标识别跟踪领域发挥其运动优势，获得良好的应用效果。如申请公布号为CN112215074A的中国专利采用NVDIAXavierNx模块利用YOLOV4算法识别预处理后的图片和视频中的同类目标，识别后的同类目标通过图传数传在地面站显示，地面站用于选取特定目标，用来进行进一步的跟踪和识别，并将特定目标上传无人机，利用该专利技术的系统识别特定目标。流程较为复杂，且成本较高。本专利技术结合成本低廉的单目视觉传感器和机载计算机，以及较为成熟的图像处理技术和神经网络Yolov5，在飞行过程中实时在线处理数据并控制飞机运动，流程简洁明了，可以在较低成本下获得较好的动态视觉目标识别跟踪效果。

技术实现思路

[0003]要解决的技术问题
[0004]为了避免现有技术的不足之处，本专利技术提出一种基于单目无人飞行平台的动态目标识别跟踪方法，为环境勘探、危险环境搜救等相关领域提供新的应用技术支持。
[0005]技术方案
[0006]一种基于单目无人飞行平台的动态目标识别跟踪方法，其特征在于采用基础单目相机，跟踪步骤如下：
[0007]步骤1：无人飞行平台在目标数据采集阶段，采用ROS包录制实际飞行状态的数据；
[0008]步骤2：播放录制的ROS包目标视觉数据，对固定帧进行目标图像截取，采用LabelImg对截取的图像进行数据集标注，制作目标视觉数据的训练集与测试集；
[0009]步骤3：以训练集对轻量的YoloV5卷积神经网络模型进行训练；
[0010]步骤4：将无人飞行平台在目标数据采集的数据，输入训练好的YoloV5卷积神经网络模型，进行目标识别得到目标的位置信息；
[0011]步骤5：将目标的位置信息发送至ROS框架消息队列，并不断更新至ROS消息队列中；其中在无人机运动控制ROS框架中创建名为yolov5_detect_publisher_node的节点，通过该节点将目标位置信息发送至话题/setpoint/relative_pos下的ROS消息队列中，recvData为程序接收到的yolo网络模型的识别结果，最终程序发出的im_p即为目标的位置信息；
[0012]步骤6：ROS框架下的无人机运动控制端接收到目标位置信息后，解算无人机与目标间的相对位置；
[0013]步骤7：依据无人机与目标的相对位置，向飞控发送运动控制指令：
[0014]以步骤6中的相对位置作为偏差控制量，采用PID控制方法计算出航点与速度控制量作为运动控制指令，运动控制指令由嵌入式边缘计算核心NVIDIA Jetson Nano向飞控板Cube发送，以Mavlink在ROS下的封装的通信方法实施；
[0015]依据Mavros通信协议，通过setpoint_raw消息向飞控发送航点设置指令；
[0016]步骤8、无人机根据运动指令实现实时动态目标跟踪：无人机得到不断更新的实时目标位置计算得出的运动指令，实现单目无人飞行平台对兴趣目标的实时动态跟踪功能。
[0017]所述训练集中包含856张照片，测试集166张照片。
[0018]所述YOLOv5卷积神经网络模型包括4个通用模块：输入端、基准网络、Neck网络与Head输出端。
[0019]所述解算无人机与目标间的相对位置为：将无人机与目标的相对位置误差作为控制变量，进行航点控制，并以该变量为依据，计算速度控制变量，采用PID控制的方式，达到控制无人机进行稳定平滑运动的效果。
[0020]有益效果
[0021]本专利技术提出的一种基于单目无人飞行平台的动态目标识别跟踪方法，使用单目相机作为目标感知的唯一视觉传感器，采用目标识别与运动控制相结合的实时动态目标跟踪。具体：使用无人机采集兴趣目标的视觉数据，以固定帧截取视觉数据并进行标注，制作训练集与测试集，选取合适的卷积神经网络模型进行训练并测试目标识别效果，用训练好的网络模型进行目标识别，将目标的位置信息发送至ROS框架消息队列，ROS框架下无人机控制端接收目标位置信息解算相对目标的位置，依据无人机与目标的相对位置，向飞控发送运动控制指令，无人机根据运动指令实现实时动态目标跟踪。
[0022]本专利技术的有益效果为：解决目前，在目标识别跟踪领域，还比较缺乏可以实现快速部署的对任意目标的高性能实时动态跟踪无人飞行平台的问题。本专利技术，在硬件上，采用成本低廉的单目相机作为唯一视觉感知设备，并结合了运动性能强劲的小型四旋翼无人飞行平台与体积小巧但算力尚可的低成本嵌入式边缘计算核心NVIDIA Jetson Nano；在方法上，采用轻量的卷积神经网络模型Yolov5与开源的成熟飞控系统PX4。就总体实现效果而言，做到了在低经济成本条件下的高准确率目标识别与快速响应的实时动态目标跟踪。对于危险环境的侦察、目标搜救等相关应用领域具有实际性的应用价值，对于相关行业的发展也有有益的推动作用。
附图说明
[0023]图1：目标数据集制作
[0024]图2：网络训练参数与结果
[0025]图3：花朵目标识别结果
[0026]图4：目标位置发送ROS
[0027]图5：相对位置解算
[0028]图6：航点指令数据格式
[0029]图7：ROS航点指令发布
[0030]图8：ROS速度指令发布
[0031]图9：规划飞行巡逻任务
[0032]图10：开启识别跟踪功能
[0033]图11：识别跟踪程序结果
[0034]图12：跟踪现场场景
具体实施方式
[0035]现结合实施例、附图对本专利技术作进一步描述：
[0036]本专利技术技术方案如下：
[0037]经过不同可行技术方案的对比，本专利技术的技术路线确定为轻量型卷积神经网络结合搭载嵌入式边缘计算核心与开源飞控核心的四旋翼无人飞行平台，视觉感知模块仅采用基础单目相机。具体方案如下：
[0038]a)使用无人机采集兴趣目标的视觉数据。
[0039]为了取得较好的最终目标识别效果，在目标数据采集阶段，应以实际飞行状态进行数据采集，具体采集方式为机器人系统中常用的ROS包录制方法。
[0040]b)以固定帧截取视觉数据并进行标注，制作训练集与测试集。
[0041]播放录制的ROS包目标视觉数据，并通过Python语言编写固定帧截取程序进行图像截取，而后采用LabelImg进行数据集标注，以制作目标视觉数据的训练集与测试集，制作过程如图1所示，最终建立了训练集中包含856张照片，测试集166张照片。。
[0042]c)选取合适的卷积神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目无人飞行平台的动态目标识别跟踪方法，其特征在于采用基础单目相机，跟踪步骤如下：步骤1：无人飞行平台在目标数据采集阶段，采用ROS包录制实际飞行状态的数据；步骤2：播放录制的ROS包目标视觉数据，对固定帧进行目标图像截取，采用LabelImg对截取的图像进行数据集标注，制作目标视觉数据的训练集与测试集；步骤3：以训练集对轻量的YoloV5卷积神经网络模型进行训练；步骤4：将无人飞行平台在目标数据采集的数据，输入训练好的YoloV5卷积神经网络模型，进行目标识别得到目标的位置信息；步骤5：将目标的位置信息发送至ROS框架消息队列，并不断更新至ROS消息队列中；其中在无人机运动控制ROS框架中创建名为yolov5_detect_publisher_node的节点，通过该节点将目标位置信息发送至话题/setpoint/relative_pos下的ROS消息队列中，recvData为程序接收到的yolo网络模型的识别结果，最终程序发出的im_p即为目标的位置信息；步骤6：ROS框架下的无人机运动控制端接收到目标位置信息后，解算无人机与目标间的相对位置；步骤7：依据无人机与目标的相对位置，向飞控发送运动控制指令：以步骤6...

【专利技术属性】
技术研发人员：张飞虎，王嵩翔，侯旭佳，徐点点，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：