特征增强与融合的小目标检测方法、装置及设备制造方法及图纸

本公开提供了一种特征增强与融合的小目标检测方法，包括：将预设尺寸的小目标图像输入Focus网络之后，进行卷积计算，得到初始特征图；将初始特征图输入浅层特征增强网络结构，得到N组浅层特征图；将第N个浅层特征增强网络模块输出的浅层特征图输入深层特征提取网络结构，得到深层特征图；深层特征图输入跨层特征融合网络结构，得到N组特征融合图，跨层特征融合网络结构包括N个依次连接的跨层特征融合模块，第k个跨层特征融合模块将上一跨层特征融合模块输出的特征融合图和第N—k+1个浅层特征增强网络模块输出的浅层特征图融合；基于目标检测器对深层特征图和N组特征融合图进行目标检测，定位小目标。该方法可实现小目标的高精度检测。高精度检测。高精度检测。

【技术实现步骤摘要】
特征增强与融合的小目标检测方法、装置及设备


[0001]本公开涉及计算机视觉
，尤其涉及一种特征增强与融合的小目标检测方法、装置及电子设备。

技术介绍

[0002]在实际应用中，我们通常需要在遥感和航空摄影等图像中检测小目标。随着神经网络的快速发展，基于卷积神经网络的目标检测算法在精度上取得了巨大突破，在现实生活中得到了广泛应用。由于小目标的像素数很小，可用的特征很少，在网络中多次卷积和汇集后大量信息会丢失。因为这些问题，小目标检测一直是一个热点和难点。
[0003]为了提高网络的提取能力，人们已经进行了大量的研究。经典的特征提取网络包括InceptionNet，Resnet和Darknet53等，可以发现增加网络结构的宽度、深度和复杂性可以提高网络检测性能；为了充分利用浅层网络的详细信息来提高小目标检测任务的精度，FPN、PAN，STDL和BiFPN等网络进行了深度和浅层特征的融合。然而，这些方案都会大幅度增加参数量和计算量，导致检测网络难以在边缘端部署和应用。轻量级网络可以在计算资源有限的情况下，以牺牲网络检测精度为代价最大化推理速度并减少计算资源的占用。由于小目标可用信息较少，因此需要更复杂的网络来获取图像中的更多相关信息以辅助检测；然而，轻量级网络的参数较少，其特征提取和特征融合能力不足，导致其拟合能力有限。因此，探索如何提高轻量级网络在小目标检测任务中的性能，对于在移动边缘芯片上部署和实际应用基于卷积神经网络的目标检测算法具有重要意义。

技术实现思路

[0004]鉴于上述问题，本专利技术提供了一种特征增强与融合的小目标检测方法。
[0005]本公开的第一个方面提供了一种特征增强与融合的小目标检测方法，包括：将预设尺寸的小目标图像输入Focus网络之后，经过第一CBL结构进行卷积计算，得到初始特征图；将所述初始特征图输入浅层特征增强网络结构，得到N组浅层特征图，所述浅层特征增强网络结构包括N个依次连接的浅层特征增强网络模块，各所述浅层特征增强网络模块对应输出1组浅层特征图，第1个浅层特征增强网络模块的输入为所述初始特征图，第2个至第N个浅层特征增强网络模块的输入均为上一浅层特征增强网络模块输出的浅层特征图；将第N个浅层特征增强网络模块输出的浅层特征图输入深层特征提取网络结构，得到深层特征图；将所述深层特征图输入跨层特征融合网络结构，得到N组特征融合图，所述跨层特征融合网络结构包括N个依次连接的跨层特征融合模块，第1个跨层特征融合模块的输入为所述深层特征图和第N个浅层特征增强网络模块输出的浅层特征图，所述第k个跨层特征融合模块的输入为上一跨层特征融合模块输出的特征融合图和第N
‑
k+1个浅层特征增强网络模块输出的浅层特征图，各所述跨层特征融合模块各输出1组所述特征融合图，k＝1，2，
…
，N，N≥2；基于目标检测器对所述深层特征图和所述N组特征融合图进行目标检测，定位所述小目标图像中包含的小目标。
[0006]可选地，所述浅层特征增强网络模块包括改进的C3结构和第二CBL结构；所述改进的C3结构包括第三CBL结构、第四CBL结构、拉普拉斯瓶颈层、第一Concat结构和第五CBL结构，所述第三CBL结构和所述第四CBL结构的输入相同，所述拉普拉斯瓶颈层设于所述第四CBL结构之后，所述第三CBL结构和所述拉普拉斯瓶颈层的输出作为所述第一Concat结构的输入，所述第五CBL结构的输入为所述第一Concat结构的输出；所述拉普拉斯瓶颈层包括第六CBL结构、第七CBL结构、张量增强函数和张量相加运算结构，所述第六CBL结构和所述第七CBL结构顺序连接，所述张量增强函数与所述第六CBL结构的输入相同，所述张量增强函数的输出和所述第七CBL结构的输出为所述张量相加运算结构的输入；所述将所述初始特征图输入浅层特征增强网络结构，得到N组浅层特征图包括：在第k个浅层特征增强网络模块改进的C3结构中，基于所述张量增强函数与所述改进的C3结构的残差结构，增强所述初始特征图或上一浅层特征增强网络模块输出的浅层特征图中小目标的轮廓张量；基于所述第二CBL结构对增强轮廓张量的特征图进行卷积运算，得到第k组浅层特征图；依次基于各所述浅层特征增强网络模块处理得到所述N组所述浅层特征图。
[0007]可选地，所述张量增强函数为：
[0008][0009][0010]其中，X表示所述轮廓张量，g(X)表示所述张量增强函数，二维张量f(x，y)为X的二维表示，x和少表示二维张量f(x，y)中每个像素的坐标。
[0011]可选地，所述将第N个浅层特征增强网络模块输出的浅层特征图输入深层特征提取网络结构，得到深层特征图包括：依次经过所述深层特征提取网络结构包括的res C3结构、第八CBL结构、SPP结构、第一normal C3结构和第九CBL结构处理所述第N个浅层特征增强网络模块输出的浅层特征图，挖掘所述浅层特征图包括的深层语义特征，得到所述深层特征图。
[0012]可选地，所述跨层特征融合模块包括跨层注意力上采样网络、第二Concat结构、第二normal C3结构和第十CBL结构，所述将所述深层特征图输入跨层特征融合网络结构，得到N组特征融合图包括：在第k个所述跨层特征融合模块中，基于跨层注意力上采样网络的注意力机制，将输入的浅层特征图与输入的深层特征图或输入的特征融合图进行像素对齐后进行特征融合，得到细节信息引导融合特征图；当k＝1时，获取所述res C3结构处理所述浅层特征图得到的浅层特征提取图，将所述浅层特征提取图与所述细节信息引导融合特征图输入所述第二Concat结构进行拼接；当k＞1时，获取第N+2
‑
k个浅层特征增强网络模块中改进的C3结构输出的增强轮廓张量的特征图，将所述浅层特征提取图与所述细节信息引导融合特征图输入所述第二Concat结构进行拼接；通过所述第二normal C3结构对所述第二Concat结构输出的拼接图进行特征提取，进行卷积计算后，得到第k组特征融合图。
[0013]可选地，所述在第k个所述跨层特征融合模块中，基于跨层注意力上采样网络的注意力机制，将输入的浅层特征图与输入的深层特征图或输入的特征融合图进行像素对齐后
进行特征融合，得到细节信息引导融合特征图包括：在第k个所述跨层特征融合模块中的跨层注意力上采样网络中，将输入的深层特征图或特征融合图进行最近邻上采样；将所述最近邻上采样与第N
‑
k+1个浅层特征增强网络模块输出的浅层特征图进行像素对齐，得到第一张量；对所述第一张量进行1
×
1的二维卷积，得到键张量和值张量；对所述第N
‑
k+1个浅层特征增强网络模块输出的浅层特征图进行1
×
1的二维卷积，得到查询张量；基于所述查询张量和所述键张量计算注意力系数；将所述值张量和所述注意力系数融合，得到所述细节信息引导融合特征图。
[0014]可选地，所述基于目标检测器对所述深层特征图和所述N组特征融合图进行目标检测，定位所述小目标图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征增强与融合的小目标检测方法，其特征在于，包括：将预设尺寸的小目标图像输入Focus网络之后，经过第一CBL结构进行卷积计算，得到初始特征图；将所述初始特征图输入浅层特征增强网络结构，得到N组浅层特征图，所述浅层特征增强网络结构包括N个依次连接的浅层特征增强网络模块，各所述浅层特征增强网络模块对应输出1组浅层特征图，第1个浅层特征增强网络模块的输入为所述初始特征图，第2个至第N个浅层特征增强网络模块的输入均为上一浅层特征增强网络模块输出的浅层特征图；将第N个浅层特征增强网络模块输出的浅层特征图输入深层特征提取网络结构，得到深层特征图；将所述深层特征图输入跨层特征融合网络结构，得到N组特征融合图，所述跨层特征融合网络结构包括N个依次连接的跨层特征融合模块，第1个跨层特征融合模块的输入为所述深层特征图和第N个浅层特征增强网络模块输出的浅层特征图，所述第k个跨层特征融合模块的输入为上一跨层特征融合模块输出的特征融合图和第N
‑
k+1个浅层特征增强网络模块输出的浅层特征图，各所述跨层特征融合模块各输出1组所述特征融合图，k＝1，2，
…
，N，N≥2；基于目标检测器对所述深层特征图和所述N组特征融合图进行目标检测，定位所述小目标图像中包含的小目标。2.根据权利要求1所述的方法，其特征在于，所述浅层特征增强网络模块包括改进的C3结构和第二CBL结构；所述改进的C3结构包括第三CBL结构、第四CBL结构、拉普拉斯瓶颈层、第一Concat结构和第五CBL结构，所述第三CBL结构和所述第四CBL结构的输入相同，所述拉普拉斯瓶颈层设于所述第四CBL结构之后，所述第三CBL结构和所述拉普拉斯瓶颈层的输出作为所述第一Concat结构的输入，所述第五CBL结构的输入为所述第一Concat结构的输出；所述拉普拉斯瓶颈层包括第六CBL结构、第七CBL结构、张量增强函数和张量相加运算结构，所述第六CBL结构和所述第七CBL结构顺序连接，所述张量增强函数与所述第六CBL结构的输入相同，所述张量增强函数的输出和所述第七CBL结构的输出为所述张量相加运算结构的输入；所述将所述初始特征图输入浅层特征增强网络结构，得到N组浅层特征图包括：在第k个浅层特征增强网络模块改进的C3结构中，基于所述张量增强函数与所述改进的C3结构的残差结构，增强所述初始特征图或上一浅层特征增强网络模块输出的浅层特征图中小目标的轮廓张量；基于所述第二CBL结构对增强轮廓张量的特征图进行卷积运算，得到第k组浅层特征图；依次基于各所述浅层特征增强网络模块处理得到所述N组所述浅层特征图。3.根据权利要求2所述的方法，其特征在于，所述张量增强函数为：
其中，X表示所述轮廓张量，g(X)表示所述张量增强函数，二维张量f(x，y)为X的二维表示，x和y表示二维张量f(x，y)中每个像素的坐标。4.根据权利要求2所述的方法，其特征在于，所述将第N个浅层特征增强网络模块输出的浅层特征图输入深层特征提取网络结构，得到深层特征图包括：依次经过所述深层特征提取网络结构包括的res C3结构、第八CBL结构、SPP结构、第一normalC3结构和第九CBL结构处理所述第N个浅层特征增强网络模块输出的浅层特征图，挖掘所述浅层特征图包括的深层语义特征，得到所述深层特征图。5.根据权利要求4所述的方法，其特征在于，所述跨层特征融合模块包括跨层注意力上采样网络、第二Concat结构、第二normal C3结构和第十CBL结构，所述将所述深层特征图输入跨层特征融合网络结构，得到N组特征融合图包括：在第k个所述跨层特征融合模块中，基于跨层注意力上采样网络的注意力机制，将输入的浅层特征图与输入的深层特征图或输入的特征融合图进行像素对齐后进行特征融合，得到细节信息引导融合特征图；当k＝1时，获取所述res C3结构处理所述浅层特征图得到的浅层特征提取图，将所述浅层特征提取图与所述细节信息引导融合特征图输入所述第二Concat结构进行拼接；当k＞1时，获取第N+2
‑
k个浅层特征增强网络模块中改进的...

【专利技术属性】
技术研发人员：崔梦华，龚国良，鲁华祥，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：