一种基于无人机视觉系统的地面目标地理坐标定位方法技术方案

本发明专利技术涉及一种基于无人机视觉系统的地面目标地理坐标定位方法，包括以下步骤：搭建和训练目标检测模型；将地面端电脑，移动基站与无人机部署到预定位置；在地面端电脑划定待搜索区域并设置待搜索目标，根据待搜索区域自动进行航线规划，生成航线覆盖搜索区域；由地面端电脑发布任务，无人机起飞，开始执行任务；无人机按既定航线飞行，云台相机以垂直于地面的俯仰角采集图像，将云台相机采集到的图像通过图像传输模块实时传回地面端，由地面端系统读取云台相机采集到的图像并同时利用已训练好的目标检测模型搜索目标，检测到目标后，对目标进行定位。

A method of ground target location based on UAV vision system

【技术实现步骤摘要】
一种基于无人机视觉系统的地面目标地理坐标定位方法
本专利技术属于计算机视觉
，具体涉及一种基于无人机视觉系统的地面目标地理坐标定位方法。
技术介绍
随着无人飞行器技术在近年的快速发展，多旋翼无人飞行器成为了一种相对成熟的无人飞行器，并被广泛应用于摄影、测绘、植保、巡线、安防、目标侦查等各种任务中。无人机具有机动性高、操作灵活等优势，所以在目标侦察领域有巨大优势，比传统的固定摄像头监视范围更大且更灵活。使用无人飞行器进行目标搜索逐步成为一种应用热点，目前最普及的方法，还是操作人员手动操控飞行器飞行，或是手动设置任务区域或任务点后自动规划航线飞行。然后在飞行过程中通过传回的图像通过人工观察目标是否出现，并判断目标出现的位置。让无人机自主进行目标搜索是一个趋势，可以大大提高工作的效率，在该方面，人们取得了一系列的成果。胡天江等专利技术了一种基于图像和导航信息的无人机地面目标定位方法(CN108845335A)，通过无人机自身携带的导航信息(位置和姿态)结合摄像机的内外参数，根据目标在图像中的检测结果，可以获取地面目标的三维空间位置。谭冠政等专利技术了一种基于无人机的地面运动目标实时跟踪方法及系统(CN106981073A)，通过地面站实时处理无人机传回的图像序列，检测图像中感兴趣的运动目标，并且利用算法融合策略对检测到的目标进行跟踪。管凤旭等专利技术了一种无人机飞行控制平台及目标跟踪方法(CN108803655A),视频采集单元采集目标图像传回地面控制单元，地面控制对目标进行跟踪，生成无人机控制信息将无人机控制信息传回无人机，无人机根据控制信息完成移动目标跟踪。在现有方法中，存在目标的定位精度差，对多目标搜索时的处理策略差等问题。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的是提供一种让无人机自主对指定目标进行搜索并对其地理坐标进行高精度定位的方法，且能实现区域内多个目标的定位。为达到以上目的，本专利技术采用的技术方案是：一种基于无人机视觉系统的地面目标地理坐标定位方法，在无人机视觉采集系统上实现的，包括以下步骤：(1)搭建和训练目标检测模型，步骤如下:第一步，构建带有标注信息的图像数据集：采集无人机空中视角下的图片，挑选出含有待搜索目标的图片对其进行标注，构建符合目标检测算法训练所需格式的标注数据集；第二步，对目标检测深度学习模型进行训练：针对所得到的数据集，调整目标检测模型的超参数，对目标检测模型进行训练，得到无人机空中视角下可检测待搜索目标的目标检测模型；训练方法如下：1)使用在ImageNet数据集上进行预训练的DarkNet-53分类模型，去掉全连接层后作为特征提取部分，在特征提取部分的基础上增加特征金字塔作为多尺度特征融合的部分，最后在特征金字塔各预测层上添加1×1大小的卷积核，用来在特征金字塔各预测层每个位置进行目标分类以及目标位置的回归，在回归目标位置时，在预先设置先验框的基础上进行目标位置的回归，在计算损失函数时，使用交叉熵以及均方误差分别计算类别概率以及位置参数的损失，对损失函数中的每项采用求和操作，然后在批上取平均；2)使用多先验框匹配的监督策略进行目标检测模型的训练，各张训练图像中的每个目标匹配特征金字塔多个预测层上的先验框来计算损失，令网络用多个预测层预测同一个目标，设置目标检测模型的基本图像输入大小，采用多尺度训练，训练过程中每隔一定批次，随机将训练图像缩放至不同大小，当训练过程中的验证指标无明显变化时，即得到无人机空中视角下的目标检测模型；(2)将地面端电脑，移动基站与无人机部署到预定位置；(3)在地面端电脑划定待搜索区域并设置待搜索目标，根据待搜索区域自动进行航线规划，生成航线覆盖搜索区域；(4)由地面端电脑发布任务，无人机起飞，开始执行任务；(5)无人机按既定航线飞行，云台相机以垂直于地面的俯仰角采集图像，将云台相机采集到的图像通过图像传输模块实时传回地面端，由地面端系统读取云台相机采集到的图像并同时利用已训练好的目标检测模型搜索目标，检测到目标后，对目标进行定位。优选地，所述的无人机视觉采集系统包括有安装在无人机上的云台相机,处理器载板，天线，长距离图像传输模块A，安装在处理器载板上的处理器，安装在无人机上与处理器载板连接的长距离数据传输电台模块A，以及设置于地面的移动基站，安装在地面端电脑上的长距离数据传输模块B、HDMI视频采集卡，与HDMI视频采集卡相连的图像传输模块B。步骤(5)的定位方法如下：通过目标边界框中心与图像中心的偏差控制无人机向目标方向定高飞行，当目标中心与图像中心的偏差小于预设阈值时，则认为无人机悬停在目标正上方，此时将无人机自身的地理坐标作为目标的地理坐标，记录此目标的唯一编号与地理坐标。本专利技术的目标搜索与定位方法可应用于指定区域中多个目标的搜索，以及对目标的地理坐标进行定位，定位的相对误差小于0.1m。附图说明图1是本专利技术方法所用的无人机视觉系统架构示意图；图2是指定搜索范围内规划出的航线示意图；图3是视野中出现多个待定位目标时的定位策略示意图；图4是无人机检测到视野中车辆的示意图；表1是本实施例目标检测模型在Visdrone数据集上的性能指标具体实施方式下面结合实施例和附图对本专利技术的一种基于无人机视觉系统的地面目标地理坐标定位方做出详细说明。本专利技术的一种基于无人机视觉系统的地面目标地理坐标定位方法，是在无人机视觉采集系统上实现的。首先进行软硬件平台的搭建，具体包括如下两部分：1.搭建搜索和定位平台：实施例中所述的无人机视觉采集系统如图1所示，包括有安装在DJIM210RTK(Real-timekinematic,实时动态)四旋翼无人机1上的禅思X5S广角云台相机2,安装在M210RTK四旋翼无人机1上的处理器载板3，安装在RTSO-9003U处理器载板3上的NVIDIATegrax2处理器4，安装在M210RTK四旋翼无人机1上的RTK天线5，安装在M210RTK四旋翼无人机1上与处理器载板3连接的长距离数据传输电台模块A6，安装在M210RTK四旋翼无人机1上的长距离图像传输模块A7，设置于地面的RTK移动基站8，安装在地面端电脑9上的长距离数据传输模块B6、美乐威USBCaptureGenHDMI视频采集卡10，与HDMI视频采集卡相连的图像传输模块B7。平台主要分为无人机端与地面端两部分。云台相机可以通过机械防抖使无人机在飞行过程中采集的图像更加清晰稳定，云台相机上的广角镜头是为了使采集的图像具有更大的视野范围。RTK天线让无人机可以进行高精度的实时差分定位，便于无人机在目标搜索任务中对目标进行更精确的定位。无人机通过数据传输接收地面端发送的搜索任务和各种指令，云台相机实时采集图像通过M210RTK与Cendence遥控器之间的图像传输链路将图像传回地面端，然后通过美乐威CaptureGenHDMI图像采集卡将传回的信号本文档来自技高网...

【技术保护点】
1.一种基于无人机视觉系统的地面目标地理坐标定位方法，在无人机视觉采集系统上实现的，包括以下步骤：/n(1)搭建和训练目标检测模型，步骤如下:/n第一步，构建带有标注信息的图像数据集：采集无人机空中视角下的图片，挑选出含有待搜索目标的图片对其进行标注，构建符合目标检测算法训练所需格式的标注数据集；/n第二步，对目标检测深度学习模型进行训练：针对所得到的数据集，调整目标检测模型的超参数，对目标检测模型进行训练，得到无人机空中视角下可检测待搜索目标的目标检测模型；训练方法如下：/n1)使用在ImageNet数据集上进行预训练的DarkNet-53分类模型，去掉全连接层后作为特征提取部分，在特征提取部分的基础上增加特征金字塔作为多尺度特征融合的部分，最后在特征金字塔各预测层上添加1×1大小的卷积核，用来在特征金字塔各预测层每个位置进行目标分类以及目标位置的回归，在回归目标位置时，在预先设置先验框的基础上进行目标位置的回归，在计算损失函数时，使用交叉熵以及均方误差分别计算类别概率以及位置参数的损失，对损失函数中的每项采用求和操作，然后在批上取平均；/n2)使用多先验框匹配的监督策略进行目标检测模型的训练，各张训练图像中的每个目标匹配特征金字塔多个预测层上的先验框来计算损失，令网络用多个预测层预测同一个目标，设置目标检测模型的基本图像输入大小，采用多尺度训练，训练过程中每隔一定批次，随机将训练图像缩放至不同大小，当训练过程中的验证指标无明显变化时，即得到无人机空中视角下的目标检测模型；/n(2)将地面端电脑，移动基站与无人机部署到预定位置；/n(3)在地面端电脑划定待搜索区域并设置待搜索目标，根据待搜索区域自动进行航线规划，生成航线覆盖搜索区域；/n(4)由地面端电脑发布任务，无人机起飞，开始执行任务；/n(5)无人机按既定航线飞行，云台相机以垂直于地面的俯仰角采集图像，将云台相机采集到的图像通过图像传输模块实时传回地面端，由地面端系统读取云台相机采集到的图像并同时利用已训练好的目标检测模型搜索目标，检测到目标后，对目标进行定位。/n...

【技术特征摘要】
1.一种基于无人机视觉系统的地面目标地理坐标定位方法，在无人机视觉采集系统上实现的，包括以下步骤：
(1)搭建和训练目标检测模型，步骤如下:
第一步，构建带有标注信息的图像数据集：采集无人机空中视角下的图片，挑选出含有待搜索目标的图片对其进行标注，构建符合目标检测算法训练所需格式的标注数据集；
第二步，对目标检测深度学习模型进行训练：针对所得到的数据集，调整目标检测模型的超参数，对目标检测模型进行训练，得到无人机空中视角下可检测待搜索目标的目标检测模型；训练方法如下：
1)使用在ImageNet数据集上进行预训练的DarkNet-53分类模型，去掉全连接层后作为特征提取部分，在特征提取部分的基础上增加特征金字塔作为多尺度特征融合的部分，最后在特征金字塔各预测层上添加1×1大小的卷积核，用来在特征金字塔各预测层每个位置进行目标分类以及目标位置的回归，在回归目标位置时，在预先设置先验框的基础上进行目标位置的回归，在计算损失函数时，使用交叉熵以及均方误差分别计算类别概率以及位置参数的损失，对损失函数中的每项采用求和操作，然后在批上取平均；
2)使用多先验框匹配的监督策略进行目标检测模型的训练，各张训练图像中的每个目标匹配特征金字塔多个预测层上的先验框来计算损失，令网络用多个预测层预测同一个目标，设置目标检测模型的基本图像输入大小，采用多尺度训练，训练过程中每隔一定批次，随机将训练图像缩放至不...

【专利技术属性】
技术研发人员：张军，金睿琦，朱新山，井涛，孙嘉城，甘永东，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12