基于单目视觉的多无人机智能识别及相对定位方法技术

本发明专利技术属于无人机编队感知研究领域，针对GPS拒止环境下无人机编队的定位问题，为提出一种新型多无人机基于单目视觉的智能识别及相对定位算法，并进行微型无人机编队实时飞行实验。本发明专利技术采用的技术方案是，多无人机基于单目视觉的智能识别及编队相对定位方法，在跟随无人机上，根据单目视觉信息，并利用基于Darknet的卷积神经网络在线检测识别视野中的领航无人机，利用识别结果计算出跟随无人机自身相对领航机的相对位置，利用控制算法实现跟随无人机对领航机跟踪。本发明专利技术主要应用于无人机编队控制场合。机编队控制场合。机编队控制场合。

【技术实现步骤摘要】
基于单目视觉的多无人机智能识别及相对定位方法


[0001]本专利技术属于无人机编队感知研究领域。针对GPS拒止环境下无人机编队的定位问题，设计了一种新型多无人机基于单目视觉的智能识别及相对定位算法。

技术介绍

[0002]近年来，随着无人机技术的高速发展，无人机开始被用来执行一些高复杂性、高动态性和高度不确定的任务。虽然旋翼无人机有着上述众多优势，但由于无人机需要满足轻量化和小型化，单架无人机的效率和性能受限，当执行复杂任务时容错率较低。因此，无人机的任务模式开始由单机执行任务模式向多无人机协同作业方向发展。
[0003]在军用及民用领域，无人机自主飞行执行任务需要无人机具备定位能力。对单个无人机而言，其搭载的惯性测量单元(Inertial Measurement Unit,IMU)可以计算出无人机三轴姿态角、角速度和角加速度，通过IMU获取的数据从而可以对无人机进行快速、稳定的姿态控制。而对于无人机编队而言，由于编队内无人机在三维空间中要以一定的结构形式形成某种队形排列，因此编队内的无人机不仅需要自身位置，更需要获取其他无人机的位置。在室内情况下，运动捕捉系统由于其毫米级的定位精度被广泛应用，但运动捕捉系统作为外部设备，也限制着无人机只能在系统覆盖的区域实现定位。在室外情况下，基于全球定位系统(Global Positioning System,GPS)的定位方法已成为主流，但其定位精度不高，在楼宇间以及森林环境下信号微弱甚至丢失。除上述方法外，常用的定位技术还有RTK(Real
‑
time Kinematic)定位技术、基于视觉的定位技术、基于激光雷达(LiDAR)的定位技术和超宽带(Ultra Wide Band,UWB)定位技术等。其中，RTK定位技术虽然定位精度较高，但由于其是建立在基站和流动站基础上依赖GPS载波相位观测值进行实时动态定位，其本质上仍需要GPS信号的覆盖，故和GPS缺点一致。而UWB定位技术需要部署多个基站，缺点类似于运动捕捉系统，其定位距离受限于基站的部署位置。
[0004]因此，在上述方法失效的情况下，无人机一般需要利用自身搭载的传感器来进行自身的定位，其中基于激光雷达定位与基于视觉定位为主要方法。激光雷达具有稳定、精确、实时性好的优点，但由于其价格昂贵、体积和重量的限制使其不能适用于小型无人机系统。视觉传感器具有体积小、重量轻、价格低的优点，虽然其需要较大的计算量的支持，但近年来随着计算机视觉技术的发展、机载计算单元能力的提高，基于视觉的定位方式已经逐渐成为热点。因此，专利技术基于视觉的定位方法对无人机及其编队自主飞行有着重要意义。
[0005]目前常见的用于基于视觉的无人机编队相对定位方法可以分为三种：基于自然环境的位姿估计、基于人工标签特征的位姿估计和基于无人机自身特征的位姿估计。其中同时定位与建图(Simultaneous Localization and Mapping,SLAM)的前端，视觉里程计(Visual Odometry,VO)是最具有代表性的一种基于自然环境的位姿估计方法，该方法主要是通过相邻图像中的信息估计相机运动，进而获取定位信息。该方法对环境纹理要求较高，要求图像中具有丰富的特征点，一旦相机远离纹理表面时，定位信息会显著性变差，甚至丢失。基于人工标签的位姿估计方法主要是通过在无人机上部署一些人工特征，根据预先设
计好的检测方法，相机从图片中检测上述特征，进而实现相对定位。目前常用的标签主要有二维码标签、圆形标签、H型标签和LED标签等。该方法也是较多研究人员目前所采用的方法，优点是计算量小，仅需从图片中检测人工标签即可，具有较快的识别速度与较高的定位精度。但缺点也很明显，定位方法完全依赖人工部署标签，一旦标签丢失或损坏，便无法实现定位，并且在无人机上增加标签会增大无人机负载与飞行阻力等，最终影响无人机的可持续飞行时间。基于无人机自身特征的位姿估计方法主要目的是去标签化，通过深度学习等方法，在环境中提取出无人机自身特征进行定位，也是目前研究的一个热点。该方法优点为不依赖外部条件，仅根据无人机自身特征从环境中分离出无人机，进行相对定位。该方法的主要缺点为涉及到深度学习，计算量较大，但随着近年来机载嵌入式设备算力的快速发展，已经完全具备机载计算机在线识别的要求。
[0006]2018年，苏黎世联邦理工学院的研究团队提出了一种基于单目视觉的相对位姿估计方法，用于自主近距离编队飞行。该团队通过在Master无人机上部署LED标签，Slave无人机配备单目相机，相机通过捕捉LED灯光，间接计算出自己相对于Master无人机的位置。该团队还使用卡尔曼滤波器将计算出的相对位置与飞控中的IMU获得的数据进行了数据融合。最后进行了3D仿真以及室内实验，将估计出的相对位置数据与运动捕捉系统获得的数据进行对比，实验效果较好。之后在室外进行了进一步的实验验证，验证了算法的可靠性。
[0007]2016年，美国亚利桑那州立大学的研究人员提出了一种基于单目视觉的无人机相对定位框架。两架无人机均配备单目相机，以两个单目相机的相对姿态估计策略为基础，在相机连续运动中求解无人机的相对运动位姿。该方法要求同一时刻，两架无人机拍摄的图片有重叠区域，之后通过分离并匹配该重叠区域的共同特征来估计无人机之间的相对位姿，通过三角测量的方法进行尺度还原，最终实现无人机的相对定位。该团队首先在Gazebo仿真环境验证了方法的有效性。之后在室外环境下，以一架无人机和一台用于模拟静止无人机的摄像机进行了室外实验验证，并和GPS获得的数据进行了对比，取得了良好的定位效果。
[0008]2019年，捷克理工大学的研究团队创新性地提出了一种基于UVDAR(UltraViolet Direction And Ranging)传感器的无人机编队相对定位方法。UVDAR传感器系统基于紫外光线原理，利用紫外光谱提供相对位置和偏航测量值用于无人机控制，进而引导Follower无人机至Leader无人机指定的位置和方向。无人机上搭载紫外摄像机，和多个能够发射紫外光线的标记点构成UVDAR传感器系统。该方法在室外条件下进行了验证，证明了用于编队飞行的可靠性。

技术实现思路

[0009]为克服现有技术的不足，本专利技术旨在针对GPS拒止环境下无人机编队的定位问题，设计一种新型多无人机基于单目视觉的智能识别及相对定位算法，进行了微型无人机编队实时飞行实验。本专利技术采用的技术方案是，多无人机基于单目视觉的智能识别及编队相对定位方法，在跟随无人机上，根据单目视觉信息，并利用基于Darknet的卷积神经网络在线检测识别视野中的领航无人机，利用识别结果计算出跟随无人机自身相对领航机的相对位置，利用控制算法实现跟随无人机对领航机跟踪。
[0010]采用的卷积神经网络为具有24层网络的YOLOv3
‑
tiny，该网络架构采用全卷积的
方式，无全连接层，最后输出的特征图送入YOLO层，YOLO层采用基于Anchor的预测方法来取代全连接层。
[0011]采用的卷积神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，在跟随无人机上，根据单目视觉信息，并利用基于Darknet的卷积神经网络在线检测识别视野中的领航无人机，利用识别结果计算出跟随无人机自身相对领航机的相对位置，利用控制算法实现跟随无人机对领航机跟踪。2.如权利要求1所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，采用的卷积神经网络为具有24层网络的YOLOv3
‑
tiny，该网络架构采用全卷积的方式，无全连接层，最后输出的特征图送入YOLO层，YOLO层采用基于Anchor的预测方法来取代全连接层。3.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，采用的卷积神经网络具体结构如下：(1)卷积层a.卷积计算卷积的主要功能是指卷积核即滤波器通过在输入图片上滑动，通过卷积操作从而得到一组新的图像特征；b.批归一化输入为一个小批量样本：I＝{λ1,...,λ
n
}；输出：{y
i
＝BN
λ,β
(λ
i
)}，其具体展开如(1)所示.其中，ε为大于0的常数，作用为防止分母等于0，γ,β为需要学习的模型参数，采用滚动平均值式(2)的方法来替代式(1)中平均值μ
I
的计算；c.激活函数YOLO层前的卷积层输出经过的激活函数为线性激活函数linear(f(x)＝x)，其余卷积层都经过非线性激活函数LeakyReLU处理后输出；(2)最大值池化层Maxpool池化层pooling layer通常在卷积层之后使用，用于进行降采样，网络池化层均采用最大值池化方式；(3)上采样层Upsample与特征融合层Route采样层使用了最近邻差值方法，该差值方法无需计算，通过将与待求像素距离最近的邻像素的像素值赋值给待求像素值来实现；特征融合层的作用是将浅层卷积网络与深层卷积网的输出特征图在深度方向上进行拼接，特征融合的作用是保留浅层特征图的信息，为之后YOLO层的预测保留更多的特征；
(4)YOLO层YOLO层对全连接层进行了取代，作用是在全卷积神经网络输出的特征图上进行分类和定位回归，共采用两个YOLO层，分别负责不同尺度特征图的预测，实现多尺度预测，即大网格预测大物体，小网格预测小物体，每个网格会由三个先验框即Anchor进行预测。4.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法，其特征是，预测流程设计；输入图片通过卷积神经网络提取特征，得到n
×
n大小的特征图，然后再将输入图像平均分成n
×
n个网格,根据训练集中提供的Bbox真值，目标的中心坐标落在哪个网格中，就由该网格来预测该目标m每个网格会有固定数量的边界框参与预测，预测使用的先验边界框是预先通过K
‑
means聚类得到的固定大小的锚框Anchor，此外，预测得到的特征图除上述n
×
n的两个特征维度外，还有纵向的深度维度，大小为B*(5+C)，其中B表示每个网格所需要预测的边界框数量，C表示边界框的类别，5表示Bbox的四个坐标信息和目标置信度；卷积神经网络需要为每个Bbox预测四个坐标值，网络输出t
x
,t
y
,t
w
,t
h
为相对目标中心网格左上角坐标的偏移值，其中t
x
表示目标中心网格左上角坐标x方向的偏移值，t
y
表示目标中心网格左上角坐标y方向的偏移值,t
w
为矩形框宽度方向上的偏移量，t
h
为矩形框高度方向上的偏移量；进而通过式(4)计算得出预测的Bbox坐标值，其中c
x
,c
y
为目标中心网格距图像坐标系原点的偏移量，l
w
,l
h
表示为锚框的宽和高，σ(
·
)为sigmoid函数，其值域为(0,1)起归一化作用，计算结果b
x
,b
y
,b
w
,b
h
表示预测得到的Bbox坐标，以网格为单位：卷积神经网络除了需要预测Bbox坐标外，还需要预测出类别置信度得分其计算公式如式(5)，其中Pr(Class
i
)表示目标属于类别i的概率，指预测框和真值框之间的交叠比IoU(Intersection over Union)，Pr(Class
i
|Object)指条件类别概率，表示在目标已经存在的前提下目标属于类别i的概率，Pr(Object
i
)表示Bbox框是否包含目标的概...

【专利技术属性】
技术研发人员：鲜斌，费思远，
申请(专利权)人：天津大学，
类型：发明
国别省市：