基于深度学习的折角塞门卡子丢失故障检测方法技术

基于深度学习的折角塞门卡子丢失故障检测方法，解决了现有目标自动识别方式难以在大尺度图像的小目标检测中同时兼顾准确性和实时性的问题，属于铁路货车故障检测领域。本发明专利技术包括：获取货车底、侧部原始图像；利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；根据折角塞门阀体边界信息，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，将底、侧部二级子图像的垂直拼接，获得融合待检图像；利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息；根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，确定是否发生丢失故障。确定是否发生丢失故障。确定是否发生丢失故障。

【技术实现步骤摘要】
基于深度学习的折角塞门卡子丢失故障检测方法


[0001]本专利技术涉及一种基于深度学习的折角塞门卡子丢失故障检测方法，属于铁路货车故障检测领域。

技术介绍

[0002]货车折角塞门卡子丢失可能危及货运列车行车安全，故对折角塞门卡子的存在性检测十分必要。但现有检测方法存在缺陷，主要是相对于直接获取到的高分辨率底、侧部货运列车图像，折角塞门卡子尺度在原始图像中占比很小，属于小目标检测范畴。而对于小目标物体的人工检测，检车员极易因疲劳造成漏检、错检；而现有的单步图像目标自动识别方式又难以在大尺度图像的小目标检测中同时兼顾准确性和实时性。

技术实现思路

[0003]针对现有目标自动识别方式难以在大尺度图像的小目标检测中同时兼顾准确性和实时性的问题，本专利技术提供一种基于深度学习的折角塞门卡子丢失故障检测方法。
[0004]本专利技术的一种基于深度学习的折角塞门卡子丢失故障检测方法，包括：
[0005]S1、获取货车底、侧部原始图像；
[0006]S2、利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；
[0007]S3、根据折角塞门阀体边界信息，在水平方向对侧部原始图像进行缩放，使底、侧部原始图像中折角塞门阀体边界宽度相等，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，再以折角塞门阀体边界水平对齐为条件，进行底、侧部二级子图像的垂直拼接，获得融合待检图像；
[0008]S4、利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息；
[0009]S5、根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，若是，检测结果为折角塞门卡子未丢失，若否，检测结果为折角塞门卡子丢失，进行告警。
[0010]作为优选，所述阀体边界检测模型采用CPNDet网络，CPNDet网络采用的损失函数为；
[0011][0012]其中，L
α
‑
CIoU
表示CPNDet网络损失，α为附加的幂次正则项，IoU为预测框与真实框的交并比，ρ2(b,b
gt
)表示预测框中心点b与真实框中心点b
gt
的欧氏距离，c2表示预测框与真实框最小外接矩形的对角线长度；(βυ)表示纵横比一致性损失；
[0013]作为优选，w
gt
和h
gt
分别为真实框的宽和高，w和h分别为预测框的宽和高。
[0014]作为优选，所述卡子边界检测模型采用FasterRCNN网络，采用多头自注意力检测金字塔替换FasterRCNN网络中基于ResNet50的FPN骨干网络中的下采样结构；
[0015]多头自注意力检测金字塔包括图像区域分割模块、图像局部特征序列化模块、4个多头自注意力特征提取模块和3个图像局部特征下采样模块；
[0016]图像区域分割模块，与图像局部特征序列化模块连接，用于接收输入图像，输入图像为维度(C,H,W)的图像，对输入图像以P*P大小的矩形空间对图像进行分割，并重组成维度的图像局部特征集合，并发送给图像局部特征序列化模块；C表示输入图像的通道数，H表示输入图像的高度，W表示输入图像的宽度；
[0017]图像局部特征序列化模块，与1号多头自注意力特征提取模块连接，用于将接收的图像局部特征集合展平，形成维度的新集合，将新集合进行转置操作，生成序列化后的图像局部特征集合,维度为将序列化后的图像局部特征集合发送至1号多头自注意力特征提取模块；
[0018]1号多头自注意力特征提取模块用于将序列化后的图像局部特征集合中的特征进行提取,提取出的特征向量输入至1号图像局部特征下采样模块；1号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0019]1号图像局部特征下采样模块，与2号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至2号多头自注意力特征提取模块，2号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0020]2号多头自注意力特征提取模块，与2号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至2号图像局部特征下采样模块；
[0021]2号图像局部特征下采样模块，与3号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至3号多头自注意力特征提取模块，3号多头自注意力特征提取模块由6个多头相对位置编码自注意力模组堆叠组成；
[0022]3号多头自注意力特征提取模块，与3号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至3号图像局部特征下采样模块；
[0023]3号图像局部特征下采样模块，与4号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至4号多头自注意力特征提取模块，4号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0024]4号多头自注意力特征提取模块，用于对输入的特征向量进行特征提取，提取出的特征向量为多头自注意力检测金字塔获得下采样结果。
[0025]作为优选，每个图像局部特征下采样模块包括相连接的下采样层和全连接层，下采样层，用于利用数值为1、间隔为1的空洞卷积模板对输入的图像向量进行下采样，输入的图像向量的维度为(H,W,C)，输出维度为(H/2,W/2,4C)的特征向量至全连接层；
[0026]全连接层，用于将维度为(H/2,W/2,4C)的特征向量重整维度为(H/2,W/2,2C)的特征向量输出。
[0027]作为优选，每个多头相对位置编码自注意力模组包括一个注入相对位置编码的多头自注意力层、一个LayerNorm层和一个多层感知机；
[0028]注入相对位置编码的多头自注意力层包括num_heads个并行的单头自注意力层，每个单头自注意力层的输出为：
[0029][0030]其中，向量Q
i
＝X1W
iQ
，向量K
i
＝X1W
iK
，向量V
i
＝X1W
iV
，i表示单头自注意力层的索引值，W
iQ
、W
iK
、W
iV
表示三种线性投影变换，X1表示多头自注意力层的输入，假设Q
i
、K
i
、V
i
的维度为(M,L)，X1的维度为(M,N)，B
i
为相对位置重要性参数，维度为(M,M)，B
i
的计算依赖相对位置索引表和相对位置重要性数值表；
[0031]对每个单头自注意力层的输出以Concat的形式进行拼接，拼接后的结果为多头自注意力层的输出，该输出再依次经过LayerNorm层和多层感知机，多层感知机输出提取的特征向量维度为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，包括：S1、获取货车底、侧部原始图像；S2、利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；S3、根据折角塞门阀体边界信息，在水平方向对侧部原始图像进行缩放，使底、侧部原始图像中折角塞门阀体边界宽度相等，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，再以折角塞门阀体边界水平对齐为条件，进行底、侧部二级子图像的垂直拼接，获得融合待检图像；S4、利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息；S5、根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，若是，检测结果为折角塞门卡子未丢失，若否，检测结果为折角塞门卡子丢失，进行告警。2.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，所述阀体边界检测模型采用CPNDet网络，CPNDet网络采用的损失函数为；其中，L
α
‑
CIoU
表示CPNDet网络损失，α为附加的幂次正则项，IoU为预测框与真实框的交并比，ρ2(b，b
gt
)表示预测框中心点b与真实框中心点b
gt
的欧氏距离，c2表示预测框与真实框最小外接矩形的对角线长度；(βυ)表示纵横比一致性损失。3.根据权利要求2所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，w
gt
和h
gt
分别为真实框的宽和高，w和h分别为预测框的宽和高。4.根据权利要求3所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，对阀体边界检测模型进行训练的方法包括：对包含折角塞门卡子区域的工位图像进行标记，构建阀体边界检测训练集；采用均值为0，方差为0.01的正态分布模型对阀体边界检测模型的权重进行随机初始化，将阀体边界检测训练集中图像作为输入，通过重复迭代优化，直至得到阀体边界检测模型权重的最佳值。5.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，所述卡子边界检测模型采用FasterRCNN网络，采用多头自注意力检测金字塔替换FasterRCNN网络中基于ResNet50的FPN骨干网络中的下采样结构；多头自注意力检测金字塔包括图像区域分割模块、图像局部特征序列化模块、4个多头自注意力特征提取模块和3个图像局部特征下采样模块；图像区域分割模块，与图像局部特征序列化模块连接，用于接收输入图像，输入图像为维度(C，H，W)的图像，对输入图像以P*P大小的矩形空间对图像进行分割，并重组成维度的图像局部特征集合，并发送给图像局部特征序列化模块；C表示输入图像的通道数，H表示输入图像的高度，W表示输入图像的宽度；图像局部特征序列化模块，与1号多头自注意力特征提取模块连接，用于将接收的图像
局部特征集合展平，形成维度的新集合，将新集合进行转置操作，生成序列化后的图像局部特征集合，维度为将序列化后的图像局部特征集合发送至1号多头自注意力特征提取模块；1号多头自注意力特征提取模块用于将序列化后的图像局部特征集合中的特征进行提取，提取出的特征向量输入至1号图像局部特征下采样模块；1号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；1号图像局部特征下采样模块，与2号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至2号多头自注意力特征提取模块，2号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；2号多头自注意力特征提取模块，与2号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至2号图像局部特征下采样模块；2号图像局部特征下采样模块，与3号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至3号多头自注意力...

【专利技术属性】
技术研发人员：杨宇，
申请(专利权)人：哈尔滨市科佳通用机电股份有限公司，
类型：发明
国别省市：