一种基于注意力机制的图像故障细粒度识别方法技术

本发明专利技术提供一种基于注意力机制的图像故障细粒度识别方法，在细粒度识别网络NTS

【技术实现步骤摘要】
一种基于注意力机制的图像故障细粒度识别方法


[0001]本专利技术属于图像识别
，具体涉及一种基于注意力机制的图像故障细粒度识别方法。

技术介绍

[0002]本专利技术更加偏重于具体的工程应用，目标是解决目前铁路系统中铁路货车相关零部件的故障检测问题。由于铁路货车有着各种各样的硬件设备以及零件，不管是大型的零件还是小型的零件都可能会出现细微的故障，使用传统的目标检测方法对于很小的故障，例如划痕、裂痕等检测效果并不理想，细粒度方法就是专注于更细微的特征，因此针对铁路中发生的细微故障采用细粒度图像识别方法加以检测与预警，给检测人员起到了辅助的作用。
[0003]细粒度识别就是分析一个类所包含的子类的所有对象，例如鲜花种类、飞机类别。借助深度学习的热潮，近年来细粒度识别使用深度学习技术取得了显著进步，但仍然存在特征提取不足，粒度获取不充分等问题。又因故障样本有限、不均衡以及故障样本与非故障样本类间差异小、类内差异大等问题，细粒度故障识别仍有较大的提升空间。
[0004]目前，图像细粒度识别算法主要有两种：强监督信息的细粒度模型，和弱监督信息的细粒度模型。
[0005]强监督细粒度模型是在进行模型训练时，除了需要输入图像级类别标签外，还需要使用其他的辅助信息，如图像中物体部分的标注框和部分利于训练部位的标注点，以便获得更高的识别准确率。
[0006]虽然在强监督下依靠人工标注的标签、标注框、以及辅助文本等信息，细粒度图像识别取得了不错的进展，并在细粒度公开数据集上得到了很高的精度。但强监督对数据集标注很繁琐，并且需要花费昂贵的人工成本。弱监督的细粒度模型在网络训练过程中仅使用图像类别标签信息，不需要额外的附加信息，就可以取得和强监督下相近或者更高的分类精度，因此对弱监督的细粒度算法的研究是当前的主流趋势。
[0007]虽然现有的一些细粒度识别方法在公开数据集上以及取得了不错的进展，但是本文重点研究的铁路货车数据集，有别于细粒度公开数据集CUB
‑
200
‑
2011。铁路货车数据集图像如图2和图3所示，图像样本的背景大多为黑、白、灰色，且目标物和背景之间没有明显的界限，由于铁路货车的色彩单一，普通的特征提取网络往往会提取到一些无关的特征信息，进而干扰最终的检测，这极大的不利于细粒度识别网络的学习。又因为故障发生的频率很低，因此故障样本少，故障样本和正常样本之间存在着极不平衡的数量关系，仅仅通过对故障样本进行数据增强的方式来扩充数据，仍然需要人工标注的方式，存在弊端。

技术实现思路

[0008]专利技术目的：以解决现有的细粒度图像识别方法因数据集背景单一化而不能提取到有用的细粒度的特征，并且由于故障样本和正常样本数量不均衡导致的总体分类结果差等
技术问题，提出一种基于注意力机制的图像故障细粒度识别方法；
[0009]为了实现上述目的，本专利技术采用以下技术方案：一种基于注意力机制的图像故障细粒度识别方法，包括以下步骤:
[0010]步骤1：采集的样本经预处理后输入预先训练优化好的Navigator网络进行特征提取，得到一系列矩形区域，再将一系列矩形区域输入STAN网络进行权重的重新分配，将权重重新分配后的区域中信息量最大的K个区域从原输入样本中映射出来得到K个映射区域；
[0011]步骤2：将K个映射区域输入Scrutinizer网络中进行细粒分类识别，得到样本的类别，其中对于故障样本与正常样本极不均衡的数据样本，在进行细粒分类识别时Scrutinizer网络中的损失函数为Focal Loss损失函数。
[0012]进一步地，所述STAN网络包括输入端、Conv层、BatchNorm层、SoftPool层、Sigomid层、相加器、相乘器以及输出端；
[0013]所述输入端分别与Conv层、SoftPool层和相加器相连接，且所述相加器分别与BatchNorm层和相乘器相连接，所述相乘器分别与Sigomid层和输出端相连接，所述Conv层与BatchNorm层相连接，所述SoftPool层与另一Conv层相连接，另一所述Conv层与Sigomid层相连接。
[0014]进一步地，所述Focal Loss损失函数的公式为：
[0015]FL(p
t
)＝
‑
(1
‑
p
t
)
γ
log(p
t
)
[0016]其中，p
t
表示样本属于正确类别的概率，p表示预测样本属于1的概率，y表示标签，γ是使用交叉验证调整的聚焦参数，也即是调制因子。
[0017]进一步地，所述Navigator网络具体训练步骤包括：
[0018]步骤A1：经预处理的图像样本输入Navigator网络进行特征提取，得到一系列矩形区域，再将一系列矩形区域输入STAN网络进行权重的重新分配，将权重重新分配后的区域中信息丰富度最大的M个区域从故障样本中映射出来，得到M个最具判别性的区域；
[0019]步骤A2：将M个最具判别性的区域输入到Teacher网络中，通过Teacher网络得到M个区域的置信度，再通过Teacher网络的损失函数计算M个区域的置信度的损失值，不断的减小损失值优化Teacher网络，其中对于故障样本与正常样本极不均衡的数据样本，在进行计算M个区域的置信度的损失值时Teacher网络中的损失函数为Focal Loss损失函数，之后通过优化后的Teacher网络重新得到优化后的M个区域的置信度，接着经过STAN网络对优化后的M个区域的置信度进行权重的重新分配，得到权重重新分配后的M个区域的置信度，将权重重新分配后的M个区域的置信度反馈给Navigator网络，通过Navigator网络的损失函数计算M个最具判别性的区域的信息丰富度和权重重新分配后的M个区域的置信度一致性的损失值，通过逐渐减小损失值让权重重新分配后的M个区域的置信度排序与M个最具判别性的区域的信息丰富度的排序一致，来训练Navigator网络，其中对于故障样本与正常样本极不均衡的数据样本，在进行计算M个最具判别性的区域的信息丰富度和权重重新分配后的M个区域的置信度一致性的损失值时Navigator网络中的损失函数为Focal Loss损失函数。
[0020]进一步地，所述步骤2中分类时使用的分类函数为softmax函数。
[0021]有益效果：首先在NTS
‑
Net网络的基础上首先引入了STAN网络，STAN网络通过指数加权的方式，使得网络在下采样阶段将最大程度的保留原始特征图的信息，避免信息的丢
失，更好的为后续操作服务。接着，当输入为故障样本与正常样本极不均衡的数据样本时，通过将Navigator网络的损失函数、Teacher网络的损失函数和Scrutinizer网络的损失函数均更换为Focal Loss损失函数，解决了私有铁路货车数据集中不同种类的故障中，故障样本和正常样本比例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的图像故障细粒度识别方法，其特征在于，包括以下步骤:步骤1：采集的样本经预处理后输入预先训练优化好的Navigator网络进行特征提取，得到一系列矩形区域，再将一系列矩形区域输入STAN网络进行权重的重新分配，将权重重新分配后的区域中信息量最大的K个区域从原输入样本中映射出来得到K个映射区域；步骤2：将K个映射区域输入Scrutinizer网络中进行细粒分类识别，得到样本的类别，其中对于故障样本与正常样本极不均衡的数据样本，在进行细粒分类识别时Scrutinizer网络中的损失函数为Focal Loss损失函数。2.根据权利要求1所述的基于注意力机制的图像故障细粒度识别方法，其特征在于，所述STAN网络包括输入端、Conv层、BatchNorm层、SoftPool层、Sigomid层、相加器、相乘器以及输出端；所述输入端分别与Conv层、SoftPool层和相加器相连接，且所述相加器分别与BatchNorm层和相乘器相连接，所述相乘器分别与Sigomid层和输出端相连接，所述Conv层与BatchNorm层相连接，所述SoftPool层与另一Conv层相连接，另一所述Conv层与Sigomid层相连接。3.根据权利要求1所述的基于注意力机制的图像故障细粒度识别方法，其特征在于，所述Focal Loss损失函数的公式为：FL(p
t
)＝
‑
(1
‑
p
t
)
γ
log(p
t
)其中，p
t
表示样本属于正确类别的概率，p表示预测样本属于1的概率，y表示标签，γ是使用交叉验证调整的聚焦参数，也即是调制因子。4.根据权利...

【专利技术属性】
技术研发人员：徐琴珍，王潇祎，俞科栋，郑志刚，许诺，杨绿溪，
申请(专利权)人：东南大学，
类型：发明
国别省市：