一种遮挡条件下的目标检测方法技术

本发明专利技术公开一种遮挡条件下的目标检测方法，涉及目标检测技术领域。本发明专利技术以提升遮挡情况下AI视觉算法的识别准确率为出发点，提出一种遮挡条件下的目标检测方法。输入某一个图片或者视频，经过预处理后输入目标检测框架，通过学习输入图像的遮挡模式，根据遮挡情况对特征信息分别从空间维度和通道维度进行差异化处理，该方法考虑到空间注意力和通道注意力之间的相关性，通过空间注意力匹配遮挡模式后，引导通道注意力对特征信息进行分解。通过在遮挡数据集上进行测试，取得了理想的结果。本发明专利技术覆盖面广，扩展性强，能够方便的集成到已有的目标检测算法框架中。已有的目标检测算法框架中。已有的目标检测算法框架中。

【技术实现步骤摘要】
一种遮挡条件下的目标检测方法


[0001]本专利技术属于目标检测
，尤其涉及一种遮挡条件下的目标检测方法。

技术介绍

[0002]借助于深度学习在特征提取方面的优越性，目标检测技术在安防、自动驾驶、医疗和军事等领域实现了广泛的应用。然而，深度学习属于统计学习的范畴，高度依赖质量较高且数量较大的数据。在现实场景中，由于遮挡的存在，使得目标检测仍然是一项具有挑战性的任务。人类视觉系统可以使人类能够在物体部分信息被遮挡或者丢失的情况下，也能通过场景中存在的轮廓来延续和推断，以此来判断物体的属性。然而，基于深度学习的计算机视觉系统完成遮挡物体的有效检测还很困难。通过训练得到的神经网络模型无法对复杂的遮挡模式进行充分学习，泛化能力较弱，对训练集中未出现场景的处理能力较差。
[0003]一般的遮挡目标检测方法可以简单分为输入模块、特征提取模块、检测网络模块、后处理模块和输出模块。输入模块将摄像头等图像采集设备所拍摄的照片经过数据预处理后送入特征提取模块；特征提取模块通过骨干网络对输入图片进行特征提取，提取的特征被送入到检测网络模块进行目标预测；检测网络模块根据输入的特征来判断每个预测框的目标类别；后处理模块旨在为每个目标保留一个检测结果并去除其他冗余的检测结果；输出模块将最终的检测结果进行标注后进行输出。检测流程如图1所示。
[0004]当检测目标被遮挡时，会影响特征提取和识别检测等分析任务，进而降低计算机视觉系统的性能。因此，如何提升实际场景中遮挡条件下目标检测算法的识别准确率是非常重要的研究方向，对视觉落地应用具有重要的理论及指导意义。
[0005]目前，基于注意力机制的检测算法能够显著提升目标的特征表达能力。但是已有的这些注意力方法并未充分的考虑空间注意力和通道注意力的关联性，导致所提出的方法特征增强效果有限，并不能很好地对遮挡情况进行处理。
[0006]针对目标被遮挡这一情况，研究者们已经提出各种注意力算法来提升目标检测的精度。总的来说，相关研究可以分为三个策略方向：(1)使用空间注意力，关注于输入图像哪里的特征是可见的，其将通道信息进行压缩产生二维空间注意力掩膜；(2)使用通道注意力，关注于输入图像什么样的特征是可见的，其将空间信息进行压缩产生一维通道注意力权重；(3)使用空间注意力和通道注意力的结合，其融合了二者的优点，同时考虑了输入图像哪里的特征是可见的以及什么样的特征是可见的。
[0007]第一种策略当前的研究较少，对于空间注意力的获取大多采用全局最大池化和全局平均池化操作，这种方法简单，但特征表达能力弱，同时单一的空间注意力忽略了通道信息的影响；第二种策略目前的研究较多，不同通道代表着目标不同部位的特征信息，但通过全局平均池化获取通道注意力的方式不能很好的捕获丰富的输入信息，在处理不同的输入时缺乏特征多样性；第三种策略融合了空间注意力和通道注意力的优势，但现有方法中两种注意力的获取是相互独立的，没有充分考虑二者之间的关联性。

技术实现思路

[0008]针对现有AI视觉算法在实际遮挡环境下会出现识别准确率下降较为明显的现象，且针对这一问题的研究工作较少，没有形成一个统一的提升框架。本专利技术以提升遮挡情况下AI视觉算法的识别准确率为出发点，提出一种遮挡条件下的目标检测方案，其利用残差机制在保证模型精度的情况下，显著降低模型参数量。
[0009]本专利技术第一方面公开了一种遮挡条件下的目标检测方法。所述方法包括：
[0010]步骤S1、调用输入模块采集图像数据，并对所述图像数据进行包括剪裁操作和放大操作的预处理，将经所述预处理后的图像数据作为目标检测图像，其中，所述输入模块为光学仪器设备；
[0011]步骤S2、调用基于卷积神经网络结构的特征提取模块从所述目标检测图像中提取出图像特征信息，所述特征提取模块包括骨干网络和可见区域增强网络；
[0012]步骤S3、调用检测网络模块基于所述图像特征信息确定预测信息，其中，所述检测网络模块的网络层根据经学习的参数确定预测框中的目标置信度，所述目标置信度高于阈值的目标为所述预测信息；
[0013]步骤S4、调用所述后处理模块从所述预测信息中筛选出每个目标的一个最优预测结果，并删除其他冗余预测结果；
[0014]步骤S5、调用输出模块对所述每个目标的一个最优预测结果进行标注，并进行输出。
[0015]根据第一方面的方法，所述目标检测图像的大小为C
×
H
×
W，其中，H
×
W为图像尺寸，C为图像通道数；基于Resnet的所述骨干网络在对所述目标检测图像进行特征提取时，在每个卷积块后增加一个所述可见区域增强网络，所述可见区域增强网络由空间注意力网络和通道注意力网络两部分构成；所述卷积块提取的特征信息图作为所述可见区域增强网络的输入，所述可见区域增强网络基于所述特征信息图依次调用所述空间注意力网络计算所述空间注意力以及调用所述通道注意力网络计算所述通道注意力重组后的特征信息图F
′′
由所述特征信息图F、所述空间注意力A
s
和所述通道注意力A
c
进行计算后获得：
[0016]F
′
＝F
×
A
s
[0017][0018]F
′′
＝F
′×
A
c
[0019]其中，F'表示经过所述空间注意力网络后的特征信息。
[0020]根据第一方面的方法，所述空间注意力网络由C1卷积层、C2卷积层和C3卷积层构成；其中：
[0021]所述C1卷积层接收所述骨干网络的Resnet卷积块获取的特征信息图作为输入，通过卷积操作和SiLU非线性激活函数激活操作进行下采样，其中，卷积核大小为1
×
1，卷积步长为1，输出通道为输入通道的1/2；
[0022]所述C2卷积层接收所述C1卷积层经处理的特征信息，进行卷积操作和SiLU非线性激活函数激活操作进行下采样，其中，卷积核大小为3
×
3，卷积步长为1，输出通道大小为1；
[0023]所述C3卷积层接收所述C2卷积层经处理的特征信息，进行卷积操作和SiLU非线性激活函数激活操作进行下采样，其中，卷积核大小为3
×
3，卷积步长为1，输出通道大小为1；
[0024]所述骨干网络的Resnet卷积块获取的特征信息图通过C1
‑
C3三个卷积层构成的所述空间注意力网络后，得到所述空间注意力卷积层构成的所述空间注意力网络后，得到所述空间注意力经过所述空间注意力网络后的特征信息表示为：
[0025][0026]其中，特征信息图F的每个通道c的特征信息逐像素(i,j)与空间注意力A
s
相对应的像素(i,j)相乘。
[0027]根据第一方面的方法，所述通道注意力网络由一个卷积求和层CS和四个全连接层F1
‑
F4构成；其中：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遮挡条件下的目标检测方法，其特征在于，所述方法包括：步骤S1、调用输入模块采集图像数据，并对所述图像数据进行包括剪裁操作和放大操作的预处理，将经所述预处理后的图像数据作为目标检测图像，其中，所述输入模块为光学仪器设备；步骤S2、调用基于卷积神经网络结构的特征提取模块从所述目标检测图像中提取出图像特征信息，所述特征提取模块包括骨干网络和可见区域增强网络；步骤S3、调用检测网络模块基于所述图像特征信息确定预测信息，其中，所述检测网络模块的网络层根据经学习的参数确定预测框中的目标置信度，所述目标置信度高于阈值的目标为所述预测信息；步骤S4、调用所述后处理模块从所述预测信息中筛选出每个目标的一个最优预测结果，并删除其他冗余预测结果；步骤S5、调用输出模块对所述每个目标的一个最优预测结果进行标注，并进行输出。2.根据权利要求1所述的一种遮挡条件下的目标检测方法，其特征在于：所述目标检测图像的大小为C
×
H
×
W，其中，H
×
W为图像尺寸，C为图像通道数；基于Resnet的所述骨干网络在对所述目标检测图像进行特征提取时，在每个卷积块后增加一个所述可见区域增强网络，所述可见区域增强网络由空间注意力网络和通道注意力网络两部分构成；所述卷积块提取的特征信息图作为所述可见区域增强网络的输入，所述可见区域增强网络基于所述特征信息图依次调用所述空间注意力网络计算所述空间注意力以及调用所述通道注意力网络计算所述通道注意力重组后的特征信息图F
′′
由所述特征信息图F、所述空间注意力A
s
和所述通道注意力A
c
进行计算后获得：F
′
＝F
×
A
s
F
′′
＝F'
×
A
c
其中，F'表示经过所述空间注意力网络后的特征信息。3.根据权利要2所述的一种遮挡条件下的目标检测方法，其特征在于，所述空间注意力网络由C1卷积层、C2卷积层和C3卷积层构成；其中：所述C1卷积层接收所述骨干网络的Resnet卷积块获取的特征信息图作为输入，通过卷积操作和SiLU非线性激活函数激活操作进行下采样，其中，卷积核大小为1
×
1，卷积步长为1，输出通道为输入通道的1/2；所述C2卷积层接收所述C1卷积层经处理的特征信息，进行卷积操作和SiLU非线性激活函数激活操作进行下采样，其中，卷积核大小为3
×
3，卷积步长为1，输出通道大小为1；所述C3卷积层接收所述C2卷积层经处理的特征信息，进行卷积操作和SiLU非线性激活函数激活操作进行下采样，其中，卷积核大小为3
×
3，卷积步长为1，输出通道大小为1；所述骨干网络的Resnet卷积块获取的特征信息图通过C1
‑
C3三个卷积层构成的所述空间注意力网络后，得到所述空间注意力构成的所述空间注意力网络后，得到所述空间注意力经过所述空间注意力
网络后的特征信息表示为：其中，特征信息图F的每个通道c的特征信息逐像素(i,j)与空间注意力A
s
相对应的像素(i,j)相乘。4.根据权利要3所述的一种遮挡条件下的目标检测方法，其特征在于，所述通道注意力网络由一个卷积求和层CS和四个全连接层F1
‑
F4构成；其中：所述CS卷积求和层以所述特征信息图和所述空间注意力为输入，进行对应像素点(i,j)之间的相乘求和，得到为输入，进行对应像素点(i,j)之间的相乘求和，得到表示为：所述全连接层F1和所述全连接层F2将A
cs
的通道数以1/4和1/2的比例逐步降低；所述全连接层F3和所述全连接层F4基于所述全连接层F2的输出逐步升高通道数，得到通道注意力经过所述通道注意力网络后的特征信息为：其中，经过所述空间注意力网络后的特征信息的每个通道的特征信息与所述通道注意力相对应通道的注意力权重相乘得到F
′′
。5.一种遮挡条件下的目标检测系统，其特征在于，所述系统的处理单元被配置为依次执行：步骤S1、调用输入模块采集图像数据，并对所述图像数据进行包括剪裁操作和放大操作的预处理，将经所述预处理后的图像数据作为目标检测图像，其中，所述输...

【专利技术属性】
技术研发人员：谢永强，孙方伟，李忠博，齐锦，梁进君，王真，
申请(专利权)人：中国人民解放军军事科学院系统工程研究院，
类型：发明
国别省市：