基于无人机航拍图像的车辆检测网络建立方法及其应用技术

本发明专利技术公开了基于无人机航拍图像的车辆检测网络建立方法及其应用，属于车辆检测领域，包括：建立车辆检测网络，并利用航拍数据集训练对其进行训练；航拍数据集中的训练样本为已标注车辆位置及类别的航拍图像；车辆检测网络为深度学习神经网络，其以图像为输入，用于预测输入的图像中车辆的位置和类别，并输出预测置信度；训练损失函数为：L

【技术实现步骤摘要】
基于无人机航拍图像的车辆检测网络建立方法及其应用


[0001]本专利技术属于车辆检测领域，更具体地，涉及一种基于无人机航拍图像的车辆检测网络建立方法及其应用。

技术介绍

[0002]无人机航拍图像的车辆特征提取和检测是一个重要的分支，也是一个难点。无人机航拍图像车辆检测是指通过无人机航拍获取RGB图像，对车辆在图像中的位置和类别进行预测。相比于传统固定摄像机拍摄的交通图像，无人机航拍图像的监控视角更广、拍摄高度不一，相应地会带来图像的背景复杂多样、车辆尺度变化较大以及车辆类别分布不均等问题，如何快速正确地检测出图像中的车辆成为一个富有挑战性的课题。
[0003]车辆检测的本质是提取有鉴别性的特征，完成车辆分类和回归任务。相较于传统的目标检测方法，基于深度学习的方法在特征提取和分类回归上有着明显的优势，所以现有的无人机航拍图像车辆检测方法大多是在通用检测算法的基础上进行改进。
[0004]目标检测的分类任务要求提取到的特征包含更多的高级信息，回归任务要求特征包含更多的位置、细节信息，但这两种要求在同一个特征图上很难同时兼得。特征提取网络中，浅层的特征分辨率更高，含有丰富的位置、细节信息，更适用于小目标的检测；但是其语义信息较低，含噪声较多，不适合用于目标分类任务，可能会造成大量的虚检。而深层特征更抽象，具有更强的语义信息，更适用于目标分类任务；但由于其感受野更大，特征分辨率更低，导致对细节的感知能力较差，并不适用于小目标的定位。所以，对深浅层特征进行融合，构建特征金字塔，各取所长，能够有效地增强浅层特征的高级特征信息，提升目标检测，尤其是小目标检测的精度。在基于金字塔的特征融合方面，现有的融合方式主要采用简单的等权重相加处理或通道合并处理，这些方法在特征融合的过程中没有考虑不同层特征的贡献度，使得网络对特征的利用和特征信息的有效表达不足，从而影响检测的精度。且当前方法在损失函数设计方面，往往只使用表征目标类别的分类损失和对目标进行定位的回归损失来约束网络参数的优化，最终网络所提取的特征的类别鉴别能力有限，这影响了车辆检测的精度，因此，从无人机航拍图像进行车辆检测的检测精度有待进一步提高。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了一种基于无人机航拍图像的车辆检测网络建立方法及其应用，其目的在于，建立更为准确的车辆检测网络，提升车辆检测的精度。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于无人机航拍图像的车辆检测网络建立方法，包括：
[0007]建立待训练的车辆检测网络，并利用航拍数据集训练对其进行训练；航拍数据集中的训练样本为已标注车辆位置及类别的航拍图像；车辆检测网络为深度学习神经网络模型，其以图像为输入，用于预测输入的图像中车辆的位置和类别，并输出预测置信度；
[0008]训练过程中，计算损失的损失函数为：L
total
＝L
loc
+L
cls
+L
disc
；L
loc
为回归损失，用于表示车辆位置预测值与真实值之间的差异；L
cls
为分类损失，用于表示车辆类别预测值与真实值之间的差异；L
disc
为类间可鉴别损失，用于表示训练样本在特征空间中的分布情况，且同类训练样本的特征分布越聚集、不同类训练样本的特征分布越分散，类间可鉴别损失L
disc
越小；
[0009]训练结束后，完成车辆检测网络的建立。
[0010]进一步地，L
disc
＝L
var
+L
dist
；
[0011]其中，L
var
为方差项，用于表示同类训练样本的特征聚集程度，且同类训练样本的特征聚集程度越高，方差项L
var
的取值越小；L
dist
为距离项，用于表示不同类训练样本的特征分散程度，且不同类训练样本的特征分散程度越高，距离项L
dist
的取值越小。
[0012]进一步地，
[0013][0014]其中，C表示航拍数据集中车辆类别的总数，N
c
表示航拍数据集中第c个类别对应的训练样本总数，μ
c
表示第c个类别对应的航拍图像的特征向量均值，x
i
表示第i张航拍图像的特征向量；δ
v
为预设的阈值，δ
v
>0；[x]+
＝max(0,x)。
[0015]进一步地，
[0016][0017]其中，C表示航拍数据集中车辆类别的总数；c
A
和c
B
表示两个不同的车辆类别，和分别表示这两个类别对应的航拍图像的特征向量均值；δ
d
为预设的阈值，δ
d
>0；[x]+
＝max(0,x)。
[0018]进一步地，
[0019]L
cls
＝
‑
α
t
W
t
(1
‑
P
t
)
γ
log(P
t
)
[0020]其中，a为超参数；p表示相应类别的预测置信度；γ为预设的权重系数；w
class
表示对应类别错分类训练样本的权重，p
class
表示对应类别的训练样本在所有训练样本中出现的概率；β为超参数。
[0021]进一步地，车辆检测网络包括：特征提取骨干网络、特征融合网络、分类子网络和回归子网络；
[0022]特征提取骨干网络，用于提取输入图像的三个不同尺度的特征，按照尺度从大到
小，依次记为C3、C4和C5；
[0023]特征融合网络，包括语义特征提取模块和特征金字塔加权融合模块，语义特征提取模块用于对特征C5做进一步的特征提取，得到特征C6，并对特征C6做进一步地特征提取，得到特征C7；特征金字塔加权融合模块为5层特征金字塔网络，其输出的5层特征自底向上依次记为P3～P7，其中，特征P7为特征C7经卷积运算后的结果，特征PM为其上层特征P(M+1)与特征CM加权融合后经卷积运算的结果；
[0024]分类子网络，用于根据特征融合网络输出的特征P3～P7预测输入图像中车辆的类别，并输出预测置信度；
[0025]回归子网络，用于根据特征融合网络输出的特征P3～P7预测输入图像中车辆的位置；
[0026]其中，M为正整数，且3≤M≤6。
[0027]进一步地，在训练过程中，特征P(M+1)与特征CM加权融合为特征PM的权重系数动态调整。
[0028]按照本专利技术的另一个方面，提供了一种基于无人机航拍图像的车辆检测方法，包括：
[0029]将待检测的航拍图像输入至由本专利技术提供的基于无人机航拍图像的车辆检测网络建立方法所建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机航拍图像的车辆检测网络建立方法，其特征在于，包括：建立待训练的车辆检测网络，并利用航拍数据集训练对其进行训练；所述航拍数据集中的训练样本为已标注车辆位置及类别的航拍图像；所述车辆检测网络为深度学习神经网络，其以图像为输入，用于预测输入的图像中车辆的位置和类别，并输出预测置信度；训练过程中，计算损失的损失函数为：L
total
＝L
loc
+L
cls
+L
disc
；L
loc
为回归损失，用于表示车辆位置预测值与真实值之间的差异；L
cls
为分类损失，用于表示车辆类别预测值与真实值之间的差异；L
disc
为类间可鉴别损失，用于表示训练样本在特征空间中的分布情况，且同类训练样本的特征分布越聚集、不同类训练样本的特征分布越分散，所述类间可鉴别损失L
disc
越小；训练结束后，完成所述车辆检测网络的建立。2.如权利要求1所述的基于无人机航拍图像的车辆检测网络建立方法，其特征在于，L
disc
＝L
var
+L
dist
；其中，L
var
为方差项，用于表示同类训练样本的特征聚集程度，且同类训练样本的特征聚集程度越高，所述方差项L
var
的取值越小；L
dist
为距离项，用于表示不同类训练样本的特征分散程度，且不同类训练样本的特征分散程度越高，所述距离项L
dist
的取值越小。3.如权利要求2所述的基于无人机航拍图像的车辆检测网络建立方法，其特征在于，其中，C表示所述航拍数据集中车辆类别的总数，N
c
表示所述航拍数据集中第c个类别对应的训练样本总数，μ
c
表示第c个类别对应的航拍图像的特征向量均值，x
i
表示第i张航拍图像的特征向量；δ
v
为预设的阈值，δ
v
>0；[x]
+
＝max(0,x)。4.如权利要求2所述的基于无人机航拍图像的车辆检测网络建立方法，其特征在于，其中，C表示所述航拍数据集中车辆类别的总数；c
A
和c
B
表示两个不同的车辆类别，和分别表示这两个类别对应的航拍图像的特征向量均值；δ
d
为预设的阈值，δ
d
>0；[x]
+
＝max(0,x)。5.如权利要求...

【专利技术属性】
技术研发人员：许毅平，田岩，李若男，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：