一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置，涉及舰船舰载无人机回收领域。不仅能够简易部署在大型舰船上，并且能够实现远距离舰载无人机高速回航时的实时定位，为回收控制系统提供准确运动信息。包含以下步骤：S1、构建特有数据集；S2、对数据集进行人工标注；S3、进行YOLOv5检测模型的训练；S4、将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；S5、将YOLOv5检测算法扩展改进为非预测式检测

【技术实现步骤摘要】
一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置


[0001]本专利技术涉及舰船舰载无人机回收领域，具体涉及一种在YOLOv5深度学习模型基础上融合TensorRT加速优化后的高集成度远距离舰载无人机回航运动轨迹实时检测跟踪技术。

技术介绍

[0002]随着人工智能的兴起，计算机视觉领域涌现出大量基于深度学习的运动目标检测跟踪算法，在无人驾驶，交通运输，设备回收等诸多领域大放异彩。
[0003]当前，舰载无人机工作环境复杂，末端回航速度快距离远，航迹变化难以预测，传统的基于光学的定位方法，基于预测性质的跟踪方法在这一层面的应用不具备鲁棒性，因为光流受环境、速度等影响较大，预测式的跟踪在长距离，尺度变换明显的目标跟踪任务中表现不佳。所以传统方法难以准确提取到舰载无人机高速回航的多变运动信息。综上所述，无人机末端回收任务迫切需要一种复杂环境下的高精度，高速度检测跟踪算法来应对上述特点。

技术实现思路

[0004]本专利技术的目的是为了克服现有传统检测跟踪算法嵌入式迁移效果差，实时性低，不适用于舰载无人机高速回航回收等尖端任务的不足，本专利技术提供一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置，不仅能够简易部署在大型舰船上，并且能够实现远距离舰载无人机高速回航时的实时定位，为回收控制系统提供准确运动信息。
[0005]本专利技术的技术方案是：搭建具有YOLOv5深度学习模型的嵌入式实时检测跟踪组合框架，包含以下步骤：
[0006]S1、通过高精度拍摄设备获取各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集；
[0007]S2、对步骤S1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件；
[0008]S3、以S1和S2构建的特有各类无人机数据集采用特定训练方法进行YOLOv5检测模型的训练；
[0009]S4、将权重模型转化为.wts文件，再生成为.engine序列模型文件，将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；
[0010]S5、在图像处理板的Linux环境下将YOLOv5检测算法扩展为基于先验检测的非预测式检测
‑
跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；
[0011]S6、将TensorRT模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型后的检测
‑
跟踪算法进行加速推理；
[0012]S7、利用整体集成于pytorch框架下加速的检测
‑
跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。
[0013]所述步骤S1和S2构建及标注的数据是本专利技术特别提出的，所有素材均来自于各类舰载无人机。
[0014]所述步骤S3输入数据尺寸为544
×
544，设置训练参数时采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，保证训练出的模型具备较快基准检测速度；针对裁剪过的模型采用新的anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块Backbone以及Head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测；整个训练过程采用交叉熵损失函数，函数具体如下：
[0015][0016]该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，对训练过程调整学习参数，记录交叉熵损失函数及精度变化。
[0017]所述步骤S4将权重模型转化为.wts模型文件，后通过自编脚本直接一步生成为Float 16精度的.engine文件，然后将模型与算法整体部署于嵌入式图像处理板进行加速。
[0018]本专利技术在所述步骤S5对图像处理板Linux环境下的YOLOv5检测算法本身进行了改进，扩展为非预测式的检测
‑
跟踪算法。在检测第一帧对检测过程进行算法约束，对YOLOv5检测算法中的检测信息矩阵进行优化，施加概率判断模型和滞空模型；
[0019]然后，以特定目标为先验知识，在后续视频流中固定算法中的矩阵信息，实现对特定目标的跟踪。
[0020]所述步骤S6将原始的TensorRT库迁移到虚拟环境中Python的文件库集和中去，激活TensorRT的python接口，实现将TensorRT模型解析推理加速技术搭建为pytorch框架；进一步建立动态链接库，调用TensorRT对载入engine模型的检测
‑
跟踪算法进行加速推理。
[0021]所述步骤S7将集成于Pytorch框架下加速优化后的检测
‑
跟踪算法加载到双摄影位置定位系统程序中，作为目标检测跟踪程序模块运行；
[0022]此后，通过双摄影相机设备实时采集无人机回航视频数据流，作为输入传入目标检测跟踪程序模块，经运算实现无人机回航运动轨迹的实时检测跟踪。
[0023]本专利技术中采用的用于实现上述步骤S1
‑
S7的装置包括核心处理器、存储器以及核心板载显卡，存储器可存储运行在该装置上的完整pytorch框架算法，所述核心板载显卡支持基于CUDA库的GPU加速。
[0024]本专利技术中采用的YOLOv5是一种经典的端到端卷积神经网络，不同于FasterRCNN为代表的其他目标检测算法，YOLOv5将候选框提取与分类的两步问题统一转化为一步回归问题；并且在同系列模型中，YOLOv5的模型比前几代体积更小，参数更少。这两个最大的优势
为YOLOv5带来了更快的检测速度以及更高效的判别精度，契合于技术难题中的远距离高速小目标捕捉。
[0025]本专利技术的技术效果和优点：综上所述，本专利技术的有益效果可总结为向各类远距离复杂环境下的舰载无人机回收任务提供可部署于移动端的无人机回航运动轨迹检测跟踪算法，该算法首先对传统深度学习模型进行了改进，融合了优化加速技术，并且与同类方法比较该算法的同构集成度极高，能够稳定确保检测跟踪任务的精确度与实时性。
附图说明
[0026]为能够更为清楚地表达整个技术方案的实施过程以及实施细节，下面将对整个技术描述中需要使用到的附图作简单的介绍，下面描述中的附图为本专利技术整体实施流程。
[0027]图1本专利技术实施细节流程框图。
具体实施方式
[0028]为更好地阐述本专利技术的专利技术目的，技术细节及其优越性，下面结合本专利技术实施细节流程框图进行更细致地描述。
[0029]如图1所示一种对YOLOv5深度学习模型实施加速优化后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，搭建具有YOLOv5深度学习模型的嵌入式实时检测跟踪组合框架，包含以下步骤：S1、通过高精度拍摄设备获取各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集；S2、对步骤S1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件；S3、以S1和S2构建的特有各类无人机数据集采用特定训练方法进行YOLOv5检测模型的训练；S4、将权重模型转化为.wts文件，再生成为.engine序列模型文件，将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；S5、在图像处理板的Linux环境下将YOLOv5检测算法扩展为基于先验检测的非预测式检测
‑
跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；S6、将TensorRT模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型后的检测
‑
跟踪算法进行加速推理；S7、利用整体集成于pytorch框架下加速的检测
‑
跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。2.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S1和S2构建及标注的数据是本发明特别提出的，所有素材均来自于各类舰载无人机。3.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S3输入数据尺寸为544
×
544，设置训练参数时采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，保证训练出的模型具备较快基准检测速度；针对裁剪过的模型采用新的anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块Backbone以及Head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测；整个训练过程采用交叉熵损失函数，函数具体如下：该损失函数上半段包含对于boundingbox负责对象的具体网格...

【专利技术属性】
技术研发人员：彭聪，蔡炤州，李文琢，张金虎，张炜，李亚蕾，纪欣，李昂，张海燕，崔旭，
申请(专利权)人：中国电力科学研究院有限公司，
类型：发明
国别省市：