一种无人机智能检测与同步定位多目标的方法技术

本发明专利技术提供一种无人机智能检测与同步定位多目标的方法，属于无人机光电探测技术领域。本发明专利技术采用YOLOv5算法对无人机可见光吊舱拍摄的图像进行自动目标检测，结合无人机位姿、吊舱姿态和当前激光测距值，解算检测到的目标空间位置坐标。本发明专利技术将激光测距与无人机单目视觉测量融合，在无需操作激光测距仪对准目标的情况下，同步定位通过YOLOv5算法检测到的多个目标；本发明专利技术不需要无人机相对地面高度，不需要假设目标与无人机在地面投影点之间的区域平坦，通过带激光测距功能的吊舱，即可解决无人机智能检测与同步定位多个目标的技术问题。术问题。术问题。

【技术实现步骤摘要】
一种无人机智能检测与同步定位多目标的方法


[0001]本专利技术属于无人机光电探测领域，具体涉及一种无人机使用带激光测距功能的光电吊舱智能检测与同步定位多个目标的方法。

技术介绍

[0002]随着无人机技术的发展和应用的普及，使用其搭载的光电吊舱进行大范围快速探测成为许多应用领域的首选解决方案，例如军警安防、野外搜救、森林防火等。无人机光电吊舱探测在技术上的核心内容是：发现和定位目标。针对这两点，目前成熟的模式是无人机将光电吊舱实时拍摄的视频图像回传到地面端，人工发现目标，随后调整吊舱姿态，将激光测距仪对准目标，根据无人机位姿、吊舱姿态和激光测距值解算目标的空间坐标，即常说的“打点定位”。
[0003]计算机视觉技术飞速发展，应用在无人机光电吊舱探测中，已经能够智能地同步检测多个目标，例如发现野外被困的人员等。但是如何自主地同步定位多个目标，仍是一个亟需攻克的技术难题。依靠手动调整吊舱姿态对准每一个目标的定位方式，操作复杂，速度慢，一次操作仅能定位一个目标；尤其是固定翼无人机飞行速度比较快，人工很难完成多个目标的定位。因此，无人机载单个吊舱的多目标智能检测与同步定位技术是近年来的研究热点。
[0004]文献《Detection,Tracking,and Geolocation of Moving Vehicle From UAV Using Monocular Camera》提出的一种利用无人机携带的单个吊舱对多个目标进行检测、跟踪与定位的方法，该方法不利用激光测距，而是引入无人机相对地面高度进行位置解算，假设目标和无人机在地面的投影点之间的区域是平坦的。这种假设通常难以满足，尤其是当目标与无人机地面投影点距离较远时，误差较大。

技术实现思路

[0005]本专利技术目的是提出一种无人机智能检测与定位多目标的方法，不需要无人机相对地面高度，不需要假设目标与无人机在地面投影点之间的区域平坦，通过带激光测距功能的吊舱，解决无人机智能检测与同步定位多个目标的技术问题。
[0006]为达到上述目的，解决上述技术问题，本专利技术采用YOLOv5算法对无人机可见光吊舱拍摄的图像进行自动目标检测，结合无人机位姿、吊舱姿态和当前激光测距值，解算检测到的目标空间位置坐标。
[0007]展开技术方案前，首先明确本专利技术中所需要用到的坐标系。
[0008]参考坐标系(n系)O
‑
XYZ，用来表示无人机与目标在三维空间中绝对位置的坐标系，其中Z轴垂直于大地水平面向下。
[0009]无人机体坐标系(b系)O
b
‑
X
b
Y
b
Z
b
，用来定义无人机相对于参考系姿态角的坐标系。
[0010]像素坐标系，用来定义目标在图像上位置的坐标系。
[0011]相机坐标系(c系)O
c
‑
X
c
Y
c
Z
c
，也叫视线坐标系，相机(小孔)成像的空间投影坐标
系。
[0012]并根据相关坐标系确定无人机和吊舱的姿态角：
[0013]本专利技术的技术方案如下：
[0014]第一步，获取当前时刻t吊舱拍摄的图像I、无人机的在参考系中的位置x
UAV
＝(x
UAV
,y
UAV
,z
UAV
)、无人机姿态角(φ,θ,ψ)、吊舱姿态角(α,β,γ)、吊舱激光测距值d0(即吊舱视线与地面交点G到吊舱的斜距)等测量值。
[0015]第二步，采用YOLOv5算法模块对图像I进行自动目标检测。假设算法检测到N个目标，它们的中心点在三维空间中表示为P＝{P1,
…
,P
N
}，它们在图像上对应的点表示成P'＝{P'1,
…
,P'
N
}，即目标与光心连线和像平面的交点。如图1所示。P'在像素坐标系中的坐标为即检测算法在图像上对目标的定位。后续操作流程如图2所示。
[0016]第三步，求解P'点在c系中的归一化坐标P＝{P1,
…
,P
N
}在n系中的坐标表示为其中x
i
表示X的第i列向量，表示X的第i行向量。已知吊舱光学相机焦距为f，标定得到其内参数矩阵其中表示图像中心(视线轴与像平面交点)在像素坐标系中的坐标。利用以上参数，可由U计算P'在c系中的坐标V。按下式逐列归一化V得到单位方向矢量集合
[0017][0018]第四步，由吊舱姿态角(α,β,γ)求解c系到b系的坐标转换矩阵由无人机姿态角(φ,θ,ψ)求解b系到n系的坐标转换矩阵最终可得c系到n系的坐标转换矩阵
[0019]多目标位置的求解思路是首先根据激光测距结果d0求解G点在参考系中的高度，即坐标z
G
的值，然后基于小范围内地面平坦的条件令所有目标点的Z坐标值都为z
G
，求解出每个目标点的斜距d＝(d1,
…
,d
N
)，最后再代入公式，求解出(x
i
,y
i
),i＝1,...,N。
[0020]第五步，求解G点在n系中的坐标，获得其高度坐标z
G
。设第i个目标到无人机的斜距表示为d
i
，则可根据下式计算第i个目标在n系中的坐标。
[0021][0022]已知G点斜距d0，以及x
UAV
，R和代入(2)式可求解x
G
＝(x
G
,y
G
,z
G
)。
[0023]第六步，此处假设P＝{P1,
…
,P
N
}与G在同一水平高度上，即粗略认为包含目标点与G点的小范围内地面平坦，令z
i
＝z
G
,i＝1,...,N，即s3＝z
G1N
，则根据
[0024][0025]可求解d。其中，*表示Hadamard积。m
×
n的矩阵A＝[a
ij
]和m
×
n的矩阵B＝[b
ij
]的Hadamard积仍然是m
×
n的矩阵，其中(A*B)
ij
＝a
ij
b
ij
。
[0026]第七步，求解s1和s2。根据
[0027][0028]求解s1和s2，其中，
⊙
表示Khatri
‑
Rao积。两个具有相同列数的矩阵和的Khatri
‑
Rao积记为它由两个矩阵的对应列向量的Kronecker积排列而成。m
×
n矩阵A＝[a1,
…
,a
n
]和p
×
q矩阵B的Kronecker本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机智能检测与定位多目标的方法，其特征在于，开展无人机智能检测与定位多目标之前，明确使用的相关坐标系及姿态参数；相关坐标系：参考坐标系O
‑
XYZ，用来表示无人机与目标在三维空间中绝对位置的坐标系，其中Z轴垂直于大地水平面向下；无人机体坐标系O
b
‑
X
b
Y
b
Z
b
，用来定义无人机相对于参考系姿态角的坐标系；像素坐标系，用来定义目标在图像上位置的坐标系；相机坐标系O
c
‑
X
c
Y
c
Z
c
，相机成像的空间投影坐标系；并根据相关坐标系定义无人机和吊舱的姿态角；所述无人机智能检测与定位多目标的方法包括如下步骤：第一步，获取当前时刻t吊舱拍摄的图像I、无人机在参考坐标系中的位置x
UAV
＝(x
UAV
,y
UAV
,z
UAV
)、无人机姿态角(φ,θ,ψ)、吊舱姿态角(α,β,γ)、吊舱激光测距值d0的测量值；第二步，使用YOLOv5算法模块对图像I进行自动目标检测；假设算法检测到N个目标，它们的中心点在三维空间中表示为P＝{P1,
…
,P
N
}，它们在图像上对应的点表示成P'...

【专利技术属性】
技术研发人员：朱得糠，郭鸿博，李彤，孟志鹏，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：