基于多尺度交叉注意力的接触网开口销缺陷目标检测方法技术

本发明专利技术公开了一种基于多尺度交叉注意力的接触网开口销缺陷目标检测方法，包括：在视频中选取作为输入网络的图像，并得到输入网络的图像的特征图；将特征图分别输入可变卷积时空融合模块中，得到经过该模块加强后的特征图；针对得到的特征图进行特征目标检测，得到特征目标的中心点坐标以及特征目标的长与宽。本发明专利技术充分利用了视频序列图像中的时间上下文信息，设计了可变卷积时空融合模块来克服提取视频序列图像的特征的困难点，得到经过时空融合加强后的特征图，最后在该特征图上进行目标检测，得到最终的检测结果，适用于视频目标检测场景。检测场景。检测场景。

【技术实现步骤摘要】
基于多尺度交叉注意力的接触网开口销缺陷目标检测方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于多尺度交叉注意力的接触网开口销缺陷目标检测方法。

技术介绍

[0002]目标检测与图像分类是计算机视觉中一项非常重要的任务，在人脸识别、无人驾视频监控等领域中有着广泛的应用。目标检测的目的是从图像或视频中计算出待检测的目标位置以及识别该目标的类别。
[0003]随着深度卷积神经网络的发展，深度学习的一些问题也显现了出来。例如在文本翻译和图片标注任务中，不同单词的输出都依赖于同一个编码的向量，导致计算某一时刻的输出时使用的信息包含了大量无关的内容；同样的情况出现在基于图像或视频的目标检测任务中，往往图像中背景所占的像素比例远大于目标比例，在对小目标时尤为明显，网络在计算时对目标和背景不加区分地进行特征提取，造成了极大的计算力浪费。小目标异常、弱异常等同样是深度学习图像目标检测中具有挑战性的任务。小目标由于占图像比例小、绝对像素点小、信噪比低等特点，小目标的特征会淹没在背景噪声之中，检测比较困难。经典的基于卷积神经网络的目标检测算法不能较好地检测小目标。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多尺度交叉注意力的接触网开口销缺陷目标检测方法，充分利用卷积神经网络中各个特征图中的特征与注意力信息，设计了多尺度交叉注意力模块来克服目标检测中小目标检测的困难点，得到经过交叉注意力加强后的特征图，最后在该特征图上进行检测，得到最终的检测结果，具有良好的应用前景。
[0005]实现本专利技术目的的技术方案为：一种基于多尺度交叉注意力的接触网开口销缺陷目标检测方法，包括：
[0006]步骤S1，从数据中选取图片作为网络的输入，并得到输入网络的图像的特征图；
[0007]步骤S2，将特征图分别输入多尺度交叉通道注意力特征增强模块中，获取每层特征图的通道注意力，对特征的通道相关性进行建模，得到经过通道注意力增强后的特征图；
[0008]步骤S3，将经过多尺度交叉通道注意力增强后的特征图分别输入多尺度交叉空间注意力特征增强模块中，获取每层特征图的空间注意力，对特征的空间结构进行建模，得到经过空间注意力增强后的特征图；
[0009]步骤S4，针对步骤S3所得到的特征图进行特征目标检测，得到特征目标的中心点坐标、特征目标的长与宽以及特征目标是否属于缺陷类别标识。
[0010]与现有技术相比，本专利技术的有益效果为：本专利技术充分利用了卷积神经网络中不同特征图所包含的注意力信息，设计了多尺度交叉注意力模块来克服特征提取不充分、不明显的困难点，得到经过多尺度交叉注意力加强后的特征图，最后在经过特征增强后的特征图上进行检测，得到最终的检测结果，适用于接触网开口销缺陷目标检测场景；针对卷积神
经网络中低层特征图所包含的感受野小，对特征通道信息不敏感的情况，通过多尺度交叉通道注意力模块，对图像通道特征进行精确增强；针对卷积神经网络中高层特征图所包含的感受野大，对特征空间信息不敏感的情况，通过多尺度交叉空间注意力模块，对图像空间特征进行精确增强。
附图说明
[0011]图1为本专利技术基于多尺度交叉注意力的接触网开口销缺陷目标检测方法的流程图。
[0012]图2为按照本专利技术的多尺度交叉通道注意力模块示意图。
[0013]图3为按照本专利技术的多尺度交叉空间注意力模块示意图。
[0014]图4为本专利技术的接触网开口销缺陷目标检测结果图一。
[0015]图5为本专利技术的接触网开口销缺陷目标检测结果图二。
具体实施方式
[0016]为使本领域技术人员更加清楚和明确本专利技术的技术方案，下面结合实施例及附图对本专利技术作近一步详细的描述，但本专利技术的实施方式不限于此。
[0017]如图1
‑
图3所示，本实施例选提供的基于多尺度交叉注意力的接触网开口销缺陷目标检测方法，包括：
[0018]步骤S1，从数据中选取图片作为网络的输入，并得到输入网络的图像的特征图；
[0019]步骤S2，将特征图分别输入多尺度交叉通道注意力特征增强模块中，获取每层特征图的通道注意力，对特征的通道相关性进行建模，得到经过通道注意力增强后的特征图；
[0020]步骤S3，将经过多尺度交叉通道注意力增强后的特征图分别输入多尺度交叉空间注意力特征增强模块中，获取每层特征图的空间注意力，对特征的空间结构进行建模，得到经过空间注意力增强后的特征图；
[0021]步骤S4，针对步骤S3所得到的特征图进行特征目标检测，得到特征目标的中心点坐标(x,y)、特征目标的长于宽(w,h)以及特征目标是否属于缺陷类别标识C1。
[0022]在本实施例中，如图1所示，步骤S1具体包括如下
[0023]步骤s1.1.从数据中选取图片进行预处理，将预处理后的图片作为网络的输入图像；
[0024]步骤s1.2.将网络输入的图片进行多次卷积进行特征提取，选取合适的高中低三层尺度不一的特征图进行注意力生成，设它们从大尺度到小尺度分别为F1、F2和F3。
[0025]在本实施例中，如图1所示，步骤S2具体包括如下
[0026]步骤s2.1.将特征图F1、F2和F3一同输入多尺度交叉通道注意力模块中，利用模块生成每张特征图对应的通道注意力，分别记为k1、k2和k3；
[0027]步骤s2.2.在多尺度交叉通道注意力模块生成通道注意力后，将高层特征所生成的通道注意力k
n
与较低一层特征图F
n
‑1相互点乘，得到特征加强后的特征图F
′
n
‑1，重复此步骤多次，直到得到所有输入特征图对应加强后的特征图F
′1、F
′2和F
′3。
[0028]在本实施例中，如图1所示，步骤s2.1中的通道注意力生成公式具体为：
[0029][0030][0031]其中，其中F为输入特征图，MLP表示多层多层感知机，它的层与层之间是全连接的，第一层神经元个数为C/r，C为特征图通道数，r为减少率，激活函数为Relu，第二层神经元个数为C。AvgPool表示平均池化层，此层选取规定大小区域内的平均值作为输出，MaxPool表示最大池化层，此层选取规定大小区域内的最大值和作为输出，为卷积计算所涉及的区域。表示经过平均池化之后的特征图，表示经过最大池化后的特征图。
[0032]在本实施例中，如图1所示，步骤s2.2中的通道注意力与特征图点乘过程具体公式为：
[0033]F
′
n
‑1＝(k1…
k
n
)
·
(f1…
f
n
)
[0034]其中，(k1…
k
n
)为通道注意力k
n
的所有元素，(f1…
f
n
)为特征图F
N
‑1每个像素上的特征向量。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度交叉注意力的接触网开口销缺陷检测方法，其特征在于，包括：步骤S1，从数据中选取图片作为网络的输入，并得到输入网络的图像的特征图；步骤S2，将特征图分别输入多尺度交叉通道注意力特征增强模块中，获取每层特征图的通道注意力，对特征的通道相关性进行建模，得到经过通道注意力增强后的特征图；步骤S3，将经过多尺度交叉通道注意力增强后的特征图分别输入多尺度交叉空间注意力特征增强模块中，获取每层特征图的空间注意力，对特征的空间结构进行建模，得到经过空间注意力增强后的特征图；步骤S4，针对步骤S3所得到的特征图进行特征目标检测，得到特征目标的中心点坐标、特征目标的长与宽以及特征目标是否属于缺陷类别标识。2.根据权利要求1所述的基于多尺度交叉注意力的接触网开口销缺陷检测方法，其特征在于，步骤S1具体包括如下：步骤s1.1，从数据中选取图片进行预处理，将预处理后的图片作为网络的输入图像；步骤s1.2，将网络输入的图片进行多次卷积进行特征提取，选取高中低三层尺度不一的特征图进行注意力生成，设它们从大尺度到小尺度分别为F1、F2和F3。3.根据权利要求2所述的基于多尺度交叉注意力的接触网开口销缺陷检测方法，其特征在于，步骤S2具体包括如下：步骤s2.1，将特征图F1、F2和F3一同输入多尺度交叉通道注意力模块中，利用模块生成每张特征图对应的通道注意力，分别记为k1、k2和k3；步骤s2.2，在多尺度交叉通道注意力模块生成通道注意力后，将高层特征所生成的通道注意力k
n
与较低一层特征图F
n
‑1相互点乘，得到特征加强后的特征图F
′
n
‑1，重复此步骤多次，直到得到所有输入特征图对应加强后的特征图F
′1、F
′2和F
′3。4.根据权利要求3所述的基于多尺度交叉注意力的接触网开口销缺陷检测方法，其特征在于，步骤s2.1中的通道注意力生成公式具体为：注意力生成公式具体为：其中，MLP表示多层多层感知机，它的层与层之间是全连接的，第一层神经元个数为C/r，C为特征图通道数，r为减少率，激活函数为Relu，第二层神经元个数为C；AvqPool表示平均池化层，此层选取规定大小区域内的平均值作为输出，MaxPool表示最大池化层，此层选取规定大小区域内的最大值和作为输出；表示经过平均池化之后的特征图，表示经过最大池化后的特征图。5.根据权利要求4所述的基于多尺度交叉注意力的接触网开口销缺陷检测方法，其特征在于，步骤s2.2中的通道注意力与特征图点乘过程具体公式为：F
′
n
‑1＝(k
1 ... k
n
...

【专利技术属性】
技术研发人员：吴泽彬，陈子全，徐伟，刘建新，陈圣堂，徐洋，丁道华，黄永祯，夏雷，
申请(专利权)人：中国铁路上海局集团有限公司南京供电段，
类型：发明
国别省市：