【技术实现步骤摘要】
本专利技术属于目标检测，尤其涉及一种用于无人机巡逻的实时目标检测方法。
技术介绍
1、目标检测是无人机应用于巡检、边境巡逻和搜索救援等任务的重要技术支撑，但是传统的目标检测方法过于依赖手工设计的先验知识，无法根据场景的变化自适应提取特征，难以满足无人机在各种复杂环境中对地面目标的高精度检测需要，基于深度学习的方法则可以通过深度神经网络自适应提取图像特征，因此较传统方法的检测效果普遍更好。然而，与其他场景相比，无人机图像具有背景复杂度高、目标体积小和目标经常被遮挡等特点，对目标检测算法的检测精度带来了更大的挑战，同时，无人机执行任务时的飞行速度一般较快，对目标检测算法对推理速度也提出了更高的要求。
技术实现思路
1、针对上述技术问题，本专利技术第一方面提出了一种用于无人机巡逻的实时目标检测方法，即基于卷积神经网络和transformer相结合的无人机图像实时目标检测方法(rtd-net)，在保证算法可以在无人机设备中实时推理的同时提高算法的检测精度，尤其是增强了对无人机图像中小尺度目标的检测能力。所述方法包括：
2、通过无人机采集真实场景图像，对所述真实场景图像进行标注，以生成训练集、验证集和测试集；
3、利用目标检测网络检测所述训练集中的图像所包含的目标，并基于所述验证集来验证检测结果，以完成对所述目标检测网络的训练，并利用经训练的目标检测网络对所述测试集中的图像进行检测；
4、其中，所述目标检测网络包括特征提取模块、特征融合模块和注意力检测头；
5、所述特征提取模块从输入侧到输出侧分别为：第一卷积层、第二卷积层、第一轻量特征提取模块、第三卷积层、第二轻量特征提取模块、第四卷积层、第三轻量特征提取模块、第五卷积层、高效卷积transformer模块和快速金字塔池化模块；
6、所述特征融合模块包括第六卷积层、第一加权融合模块、第四轻量特征提取模块、第七卷积层、第二加权融合模块、第五轻量特征提取模块、第八卷积层、第三加权融合模块、第六轻量特征提取模块、第九卷积层、第四加权融合模块和第七轻量特征提取模块；
7、所述注意力检测头包括第一检测头、第二检测头和第三检测头，所述第一检测头用于检测尺寸在第一尺寸范围内的目标，所述第二检测头用于检测尺寸在第二尺寸范围内的目标，所述第三检测头用于检测尺寸在第三尺寸范围内的目标，所述第一尺寸范围小于所述第二尺寸范围，所述第二尺寸范围小于所述第三尺寸范围，且各个尺寸范围不存在交集。
8、根据本专利技术第一方面的方法，将所述训练集中的图像作为输入图像，由所述特征提取模块对所述输入图像进行特征提取，以获取第一图像特征、第二图像特征和第三图像特征；其中：
9、所述输入特征先后经过所述特征提取模块的所述第一卷积层、所述第二卷积层、所述第一轻量特征提取模块、所述第三卷积层、所述第二轻量特征提取模块、所述第四卷积层、所述第三轻量特征提取模块、所述第五卷积层、所述高效卷积transformer模块和所述快速金字塔池化模块；
10、所述第二轻量特征提取模块的输出为所述第一图像特征，所述第三轻量特征提取模块的输出为所述第二图像特征，所述快速金字塔池化模块的输出为所述第三图像特征，将所述第一图像特征、所述第二图像特征和所述第三图像特征送入所述特征融合模块。
11、根据本专利技术第一方面的方法，所述特征融合模块对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合，以输出第一融合特征、第二融合特征和第三融合特征，并将所述第一融合特征送入所述第一检测头，将所述第二融合特征送入所述第二检测头，将所述第三融合特征送入所述第三检测头；其中：
12、所述第三图像特征经所述第六卷积层和上采样处理后得到第一中间特征，所述第一加权融合模块将所述第一中间特征与所述第二图像特征进行加权融合，得到第一加权融合结果；
13、所述第一加权融合结果经所述第四轻量特征提取模块、所述第七卷积层并进行上采样处理后得到第二中间特征，所述第二加权融合模块将所述第二中间特征与所述第一图像特征进行加权融合，得到第二加权融合结果；
14、所述第二加权融合结果经所述第五轻量特征提取模块、所述第八卷积层并进行下采样处理后得到第三中间特征，所述第三加权融合模块将所述第三中间特征与所述第二图像特征、所述第四轻量特征提取模块的输出特征进行加权融合，得到第三加权融合结果；
15、其中，所述第二加权融合结果经所述第五轻量特征提取模块后得到所述第一融合特征，所述第一融合特征被送入所述第一检测头；
16、所述第三加权融合结果经所述第六轻量特征提取模块、所述第九卷积层并进行下采样处理后得到第四中间特征，所述第四加权融合模块将所述第四中间特征与所述第三图像特征进行加权融合，得到第四加权融合结果；
17、其中，所述第三加权融合结果经所述第六轻量特征提取模块后得到所述第二融合特征，所述第二融合特征被送入所述第二检测头；
18、所述第四加权融合结果经所述第七轻量特征提取模块后得到所述第三融合特征，所述第三融合特征被送入所述第三检测头。
19、根据本专利技术第一方面的方法，所述第一检测头基于所述第一融合特征进行目标检测，得到所述第一尺寸范围内的目标；所述第二检测头基于所述第二融合特征进行目标检测，得到所述第二尺寸范围内的目标；所述第三检测头基于所述第三融合特征进行目标检测，得到所述第三尺寸范围内的目标；并基于所述验证集来验证所述第一尺寸范围内的目标、所述第二尺寸范围内的目标和所述第三尺寸范围内的目标。
20、根据本专利技术第一方面的方法，各个轻量特征提取模块均被配置为：
21、将待进行轻量特征提取的图像进行通道分割，分为16个通道数为c1/32的子特征图和1个通道数为c1/2的子特征图，c1为所述待进行轻量特征提取的图像的原通道数；
22、对于通道数为c1/32的子特征图，利用由大小为1×1、步长为1的卷积和大小为3×3、步长为1的卷积构成的卷积组进行处理；对于通道数为c1/2的子特征图，利用大小为1×1、步长为1的卷积进行处理；
23、将经卷积处理后的各个子特征图按通道维度进行拼接，利用大小为1×1、步长为1的卷积进行特征融合，经批量处理化层后输出。
24、根据本专利技术第一方面的方法，所述高效卷积transformer模块被配置为：
25、对于输入到所述高效卷积transformer模块的特征图，将其按通道分割为2个通道数为c2/2的子特征图，c2为输入到所述高效卷积transformer模块的特征图的原通道数；
26、对于第一个通道数为c2/2的子特征图，经大小为1×1、步长为1的卷积后，利用多头自注意力模块进行全局特征提取；对于第二个通道数为c2/2的子特征图，利用大小为1×1、步长为1的卷积处理；
27、将经处理后的两个子特征图按通道维度进行拼接，利用大小为1×1、步长为1的卷积进本文档来自技高网...
【技术保护点】
1.一种用于无人机巡逻的实时目标检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，将所述训练集中的图像作为输入图像，由所述特征提取模块对所述输入图像进行特征提取，以获取第一图像特征、第二图像特征和第三图像特征；其中：
3.根据权利要求2所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，所述特征融合模块对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合，以输出第一融合特征、第二融合特征和第三融合特征，并将所述第一融合特征送入所述第一检测头，将所述第二融合特征送入所述第二检测头，将所述第三融合特征送入所述第三检测头；其中：
4.根据权利要求3所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，所述第一检测头基于所述第一融合特征进行目标检测，得到所述第一尺寸范围内的目标；所述第二检测头基于所述第二融合特征进行目标检测，得到所述第二尺寸范围内的目标；所述第三检测头基于所述第三融合特征进行目标检测，得到所述第三尺寸范围内的目标；并基于所述验证集来验证所述第一尺寸范围内的目
5.根据权利要求1所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，各个轻量特征提取模块均被配置为：
6.根据权利要求1所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，所述高效卷积Transformer模块被配置为：
7.根据权利要求1所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，各个加权融合模块均被配置为：为待加权融合的各个特征图分配权重，所述权重通过学习获取；并通过逐像素增加的方式进行特征融合，经激活函数ReLU和大小为1×1的卷积层后输出。
8.根据权利要求4所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，所述第一检测头、所述第二检测头和第三检测头均配置有NAM模块，所述NAM模块包括通道注意模块和空间注意力模块，在进行目标检测前，各个检测头均利用所述通道注意力模块来计算特征图中各个通道的重要性以及利用所述空间注意力模块来抑制所述重要性低于阈值的特征。
9.一种用于无人机巡逻的实时目标检测系统，其特征在于，所述系统包括无人机和处理中心，其中：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-8任一项所述的一种用于无人机巡逻的实时目标检测中的步骤。
...【技术特征摘要】
1.一种用于无人机巡逻的实时目标检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，将所述训练集中的图像作为输入图像，由所述特征提取模块对所述输入图像进行特征提取，以获取第一图像特征、第二图像特征和第三图像特征；其中：
3.根据权利要求2所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，所述特征融合模块对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合，以输出第一融合特征、第二融合特征和第三融合特征，并将所述第一融合特征送入所述第一检测头，将所述第二融合特征送入所述第二检测头，将所述第三融合特征送入所述第三检测头；其中：
4.根据权利要求3所述的一种用于无人机巡逻的实时目标检测方法，其特征在于，所述第一检测头基于所述第一融合特征进行目标检测，得到所述第一尺寸范围内的目标；所述第二检测头基于所述第二融合特征进行目标检测，得到所述第二尺寸范围内的目标；所述第三检测头基于所述第三融合特征进行目标检测，得到所述第三尺寸范围内的目标；并基于所述验证集来验证所述第一尺寸范围内的目标、所述第二尺寸范围内的目标和所述第三尺寸范围内的目标。
5.根据权利要求1所述的一种用于无人机...
【专利技术属性】
技术研发人员：王洋洋，张杰，颜江，周健，李泽方，
申请(专利权)人：中国人民解放军军事科学院系统工程研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。