面向目标检测和视觉定位的无人机边缘计算系统和方法技术方案

本申请涉及无人机巡检技术领域的一种面向目标检测和视觉定位的无人机边缘计算系统和方法，该系统在无人机上搭载云台和机载计算机，在机载计算机上部署基于YOLOX的航拍目标检测模型和单机无源视觉定位算法，机载计算机对云台获取到的数据信息进行实时处理，将检测到的目标位置信息和目标关键帧传回地面控制站，减轻网络负担和后方情报处理压力。同时可以将处理后的信息保存到机载计算平台上，以便后续查看。该系统可应用在消防救援、军事侦察等领域，将会极大的提高救援和侦察效率，加快决策速度，更好的保障人员的生命安全。更好的保障人员的生命安全。更好的保障人员的生命安全。

【技术实现步骤摘要】
面向目标检测和视觉定位的无人机边缘计算系统和方法


[0001]本申请涉及无人机巡检
，特别是涉及一种面向目标检测和视觉定位的无人机边缘计算系统和方法。

技术介绍

[0002]近年来，随着制造技术、材料技术和计算机信息技术的更新换代，无人机的智能化水平飞速发展。无人机具有机动性高、操作门槛低和自主控制能力强等特点，可适应各种复杂地形和气候环境，在军事和民用领域取得了广泛地应用。对无人机航拍图像进行目标检测也成为计算机视觉领域的研究热点，无人机搭载可见光和红外云台，可收集大量不同角度和不同高度的高质量图像数据，为军事侦察和民用消防救援等提供更多有用信息。长期以来，多数学者将无人机作为数据采集设备，研究注意力主要集中在对无人机获取的图像进行分析处理上。随着人工智能的发展，学界提出了越来越多的深度学习目标检测模型，如Faster R
‑
CNN和YOLO系列等，算法检测精确度和目标丰富度越来越高，但同时模型的网络结构也越来越复杂，所需的存储空间和计算量较大，数据从无人机传回地面端进行处理分析后再反馈给用户所需时间较长效率不高，这种方法受制于通信传输能力，对无人机数据的利用性不高，地面站提取信息后与无人机的交互反馈效率较低，对提供决策参考的检测跟踪定位算法精度影响较大，容易错失宝贵的救援和侦察时机。同时，目标定位依赖于目标检测算法所提供的目标像素坐标和无人机本身的位姿状态，因此设备性能和数据的准确性是实现目标高精度定位的重要前提，受通信传输能力和可靠性的影响，将数据统一传回地面站容易出现数据丢失、数据不匹配和精确度不高的问题，极大的限制了无人机目标检测和定位的应用范围。
[0003]目前，为实现数据的实时处理而开发的现有机载处理系统可扩展性不强，机载计算平台计算能力有限，对较大的检测模型的检测速度和部署不友好，这些因素制约了在无人机上进行实时的人工智能、图像处理等应用的开发。如为提高无人机数据的机上处理能力和响应速度，帮助开发者为复杂业务定制专业解决方案，各公司和科研团队不断推出适用于各无人机平台的机载计算机。2019年，大疆针对无人机开发推出机载计算机妙算Manifold 2，妙算2G配备NVIDIA Jetson tx2可快速处理大量机载数据，实现图像处理、目标识别和传感器数据综合分析处理等功能，但由于妙算2系统高度集成可支持的系统版本仅为ubuntu16.04并且目前已经停产，无法继续支持更高版本和更复杂的深度学习模型，这就极大限制了在其平台上完成更高性能的算法部署实现工作。
[0004]在算法设计上，很多无人机航拍目标检测高性能算法模型体积大，所用推理时间较长，无法实现实时的图像目标检测，此时的检测结果再回传到地面端会产生较大的时延，使检测结果的信息反馈作用效率较低。

技术实现思路

[0005]基于此，有必要针对人机航拍数据利用率不高、数据传输的延时、现有机载计算平
台可扩展性低的技术问题，提供了一种面向目标检测和视觉定位的无人机边缘计算系统和方法。该系统是可扩展编程的实时数据采集、传输和计算处理系统，在该系统的基础上实现实时目标检测和视觉定位可以有效拓展无人机在各行业的智能化应用，同时实际使用中根据需求编程扩展，在很大程度上解放人力降低成本提高行业效益。
[0006]一种面向目标检测和视觉定位的无人机边缘计算系统，所述系统包括：无人机、云台、机载计算机、信息传输模块、数图传通信模块、机载供电模块以及地面站。
[0007]所述云台搭载在所述无人机上，用于航拍图像的拍摄和存储。
[0008]所述信息传输模块安装在所述无人机上，用于将无人机上的提供的OSDK接口拓展为USB接口、UART接口和XT30电源输出接口。
[0009]所述机载计算机安装在所述无人机上，所述机载计算机通过所述UART接口与所述无人机通信，通过USB接口获取所述云台拍摄的图像数据；用于部署训练好的基于YOLOX的航拍目标检测模型，并通过安装的ROS操作系统订阅无人机云台的航拍图像数据，采用单机无源视觉定位算法，通过坐标系转换解算检测各目标在地理坐标系中的真实位置；所述航拍目标检测模型用于对云台航拍图像中的十类目标进行实时检测。
[0010]所述数图传通信模块包括数图传的移动端和地面端，所述移动端与所述机载计算机连接，所述数图传的地面端通过网络与所述地面站连接，数图传的地面端通过锂电池供电。
[0011]所述地面站为笔记本电脑，用于检测跟踪画面的实时接收和查看以辅助指挥中心进行快速决策。
[0012]所述机载供电模块安装在所述无人机上，用于为所述机载计算机、数图传的移动端供电。
[0013]一种面向目标检测和视觉定位的无人机边缘计算方法，所述方法应用在上述任一所述的面向目标检测和视觉定位的无人机边缘计算系统中的机载计算机中，实现无人机机载平台对地航拍目标的实时检测和定位；所述方法包括：
[0014]打开Nomochine远程连接到机载计算机端，确认机载计算机与无人机通信正常。
[0015]获取做好起飞前准备的无人机在起飞位置点的位置坐标数据。
[0016]运行定位检测程序，订阅无人机吊舱摄像头视频流和无人机位姿数据。
[0017]将订阅的无人机吊舱摄像头视频流进行格式转换，将得到的图像输入到训练好的基于YOLOX的航拍目标检测模型，对每张图像中的目标进行检测，得到各帧图像中各目标类别和目标在图像中的像素位置。
[0018]根据各目标在图像中的像素位置，采用单机无源视觉定位算法，通过坐标系转换解算检测各目标在地理坐标系中的真实位置。
[0019]根据各帧图像中各目标类别和各目标在地理坐标系中的真实位置，对每张图像进行标注，并将标注好检测定位信息的图像传输到地面站。
[0020]上述面向目标检测和视觉定位的无人机边缘计算系统和方法，该系统在无人机上搭载云台和机载计算机，在机载计算机上部署基于YOLOX的航拍目标检测模型和单机无源视觉定位算法，机载计算机对云台获取到的数据信息进行实时处理，将检测到的目标位置信息和目标关键帧传回地面控制站，减轻网络负担和后方情报处理压力。同时可以将处理后的信息保存到机载计算平台上，以便后续查看。该系统可应用在消防救援、军事侦察等领
域，将会极大的提高救援和侦察效率，加快决策速度，更好的保障人员的生命安全。
附图说明
[0021]图1为一个实施例中面向目标检测和视觉定位的无人机边缘计算系统的整体实物图；
[0022]图2为一个实施例中面向目标检测和视觉定位的无人机边缘计算系统的硬件组成图；
[0023]图3为一个实施例中面向目标检测和视觉定位的无人机边缘计算方法的流程示意图；
[0024]图4为另一个实施例中面向视觉定位的无人机的边缘计算方法示意图；
[0025]图5为另一个实施例中面向目标检测和视觉定位的无人机边缘计算方法的流程示意图；
[0026]图6为另一个实施例中正午光照条件下检测效果；
[0027]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向目标检测和视觉定位的无人机边缘计算系统，其特征在于，所述系统包括：无人机、云台、机载计算机、信息传输模块、数图传通信模块、机载供电模块以及地面站；所述云台搭载在所述无人机上，用于航拍图像的拍摄和存储；所述信息传输模块安装在所述无人机上，用于将无人机上的提供的OSDK接口拓展为USB接口、UART接口和XT30电源输出接口；所述机载计算机安装在所述无人机上，所述机载计算机通过所述UART接口与所述无人机通信，通过USB接口获取所述云台拍摄的图像数据；用于部署训练好的基于YOLOX的航拍目标检测模型，并通过安装的ROS操作系统订阅无人机云台的航拍图像数据，采用单机无源视觉定位算法，通过坐标系转换解算检测各目标在地理坐标系中的真实位置；所述航拍目标检测模型用于对云台航拍图像中的十类目标进行实时检测；所述数图传通信模块包括数图传的移动端和地面端，所述移动端与所述机载计算机连接，所述数图传的地面端通过网络与所述地面站连接，数图传的地面端通过锂电池供电；所述地面站为笔记本电脑，用于检测跟踪画面的实时接收和查看以辅助指挥中心进行快速决策；所述机载供电模块安装在所述无人机上，用于为所述机载计算机、数图传的移动端供电。2.根据权利要求1所述的系统，其特征在于，所述无人机为DJI M300RTK无人机。3.根据权利要求1所述的系统，其特征在于，所述云台为禅思H20T云台。4.根据权利要求1所述的系统，其特征在于，所述机载计算机为边缘计算设备NVIDIA Jetson AGX Orin。5.根据权利要求1所述的系统，其特征在于，所述数图传通信模块为ZGET Homer数图传的移动端和地面端。6.根据权利要求1所述的系统，其特征在于，所述机载供电模块为DJI多功能电源模块、24V转12V稳压模块。7.一种面向目标检测和视觉定位的无人机边缘计算方法，其特征在于，所述方法应用在权利要求1
‑
6任一项所述的面向目标检测和视觉定位的无人机边缘计算系统中的机载计算机中，实现无人机机载平台对地航拍目标的实时检测和定位；所述方法包括：打开Nomochine远程连接到机载计算机端，确认机载计算机与无人机通信正常；获取做好起飞前准备的无人机在起飞位置点的位置坐标数据；运行定位检测程序，订阅无人机吊舱摄像头视频流和无人机位姿数据；将订阅的无人机吊舱摄像头视频流进行格式转换，将得到的图像输入到训练好的基于YOLOX的航拍目标检测模型，对每张图像中的目标进行检测，得到各帧图像中各目标类别和目标在图像中的像素位置；根据各目标在图像中的像素位置，采用单机无源视觉定位算法，通过坐标系转换解算检测各目标在地理坐标系中的真实位置；根据各帧图像中各目标类别和各目标在地理坐标系中的真实位置，对每张图像进行标注，并将标注好检测定位信息的图像传输到地面站。8.根据权利要求7所述的方法，其特征在于，基于YOLOX的航拍目标检测模型是YOLOX
‑
s基于预设检测数据集训练的面向行人、人、汽车、面包车、巴士、卡车、摩托车、自行车、遮阳
篷
‑
三轮车和三轮车十类目标的Pytorch检测模型，将该模型转换为ONNX格式并利用TensorRT加速转换为engine权重模型；将订阅的...

【专利技术属性】
技术研发人员：李冬冬，胡潇，蒯杨柳，文贡坚，高智楠，魏昊坤，王子音，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：