【技术实现步骤摘要】
本专利技术属于动车异常检测的，主要涉及了一种基于特征增强和通信网络的小样本动车异常检测方法及系统。
技术介绍
1、随着技术的不断创新和突破以及经济的快速发展，我国的交通运输领域也在蓬勃发展，动车组和高铁作为其中的代表性交通工具，因快速便捷而广受大众的欢迎。动车长时间远距离地在多样的气候变化环境中高速行驶，受到各种环境和作用力的影响，车内的各种元器件会受到一定程度的影响，严重地有可能会发生损坏从而引发异常。而对于高速行驶的列车来说，任何微小的异常都有可能影响列车零部件的正常运转造成重大的事故，从而带来严重的危害。所以，为了保障列车的正常运行，保障乘客的安全，避免严重事故的发生，及时检测到动车的异常是非常有必要和有意义的。
2、常见的动车异常包括油迹、异物和腻子破损，这些异常由于发生的较少所以得到的样本数量很少，每一类异常在图像上也表现得多样化，外观轮廓上不具备相似性，每个异常的形状很不规则，区域大小也存在着较大差别，异常所处的背景环境也很复杂，因此，动车异常检测是比较困难且挑战性较高的任务。早期动车异常检测以人工巡视为主，受到各种因素影响，效率低下而且准确率有待提高。计算机视觉和深度学习的快速突破为自动化异常检测提供了一种更好的解决方案，该方法大大提高了检测效率和效果。
3、现阶段对动车异常进行的文献调查显示，大多数基于深度学习的方法都需要较多的数据进行训练，而且对于每一种新的异常都需要耗费较大的人力标注数据，性能和效率方面还有待提升，而且异常图像数据难以收集。因此，亟需一种有效且合适的方法基于小样本及时检
技术实现思路
1、本专利技术正是针对现有技术中异常样本收集困难、对于每个新的异常都需要耗费大量的人力进行标注并且效率低的问题，提供一种基于特征增强和通信网络的小样本动车异常检测方法及系统，通过数据采集与整理标注、图像预处理、建立特征增强和通信网络模型，并进行模型训练，最终得到最优特征增强和通信网络模型，输出异常类别的预测结果。所述特征增强和通信网络模型至少包括特征相似度计算模块、互注意力特征增强模块、多方面特征融合模块以及相似性增强模块，相似性增强模块是多方面特征融合模块中的一部分；将经过预处理后的支撑-查询图像对输入到多层次特征增强和通信网络模型中，提取多层次support图像特征和query图像特征，对于不同层次特征，提出互注意力特征增强模块从上下文聚合和注意力机制方面对其进行增强，基于特征间的通信提出特征相似度计算模块捕获多种多层次相似性包括对应特征层相似性和非对应特征层相似性，提出多方面特征融合模块促进多层次相似性特征间的融合以及相似性特征与增强的query特征的融合，得到更具代表性的特征用于query图像的预测。本方法适用于基于小样本的动车异常自动化检测，不仅可以解决对于每一类新的异常需要大量劳动力标注训练样本的问题，而且还能利用训练好的模型基于一张或者几张异常样本图像直接检测新的异常，大大提高了检测效率。
2、为了实现上述目的，本专利技术采取的技术方案是：基于特征增强和通信网络的小样本动车异常检测方法，包括如下步骤：
3、s1，数据采集与整理标注：采集动车内部元件的分布图像，对图像中显示的异常类别进行分类，并通过人工对图像进行像素层次的标注，每一张图像对应一张同样大小的mask图像；
4、s2，图像预处理：在步骤s1采集到的图像中，随机选择一对支撑-查询图像对，所述支撑图像对包括support图像和其对应的mask图像，查询图像对包括query图像和其对应的mask图像，对图像进行预处理；所述预处理至少包括数据增强和归一化操作；
5、s3，建立特征增强和通信网络模型，并进行模型训练：所述特征增强和通信网络模型至少包括特征相似度计算模块、互注意力特征增强模块、多方面特征融合模块和相似性增强模块，相似性增强模块是多方面特征融合模块中的一部分；将经过步骤s2预处理后的支撑-查询图像对输入到特征增强和通信网络模型中，基于骨干网络分别提取提取多层次support图像特征和query图像特征，包括多种局部细节特征和全局语义特征，提出不同的模块对不同层次特征进行交互与增强，基于特征间的通信捕获相似性并融合多方面特征包括多层次相似性和增强的query特征，得到更具代表性的特征用于query图像的预测，利用交叉熵损失函数计算query图像的预测结果与其标注的mask图像之间的损失，采用adam优化算法调整模型的权重，反复抽取样本迭代训练获得最优的模型；
6、s4，测试结果输出：将需要测试的的图像按照上述步骤输入步骤s3训练后得到的最优特征增强和通信网络模型，输出异常类别的预测结果。
7、作为本专利技术的一种改进，所述步骤s1中的异常类别至少包括油迹、异物和腻子破损三种，通过labelme软件让每张异常图像对应一张同样大小的mask图像，所述mask图像上异常区域像素点的值代表异常类别，1代表油迹，2代表异物，3代表腻子破损，其他区域作为背景用0表示。
8、作为本专利技术的一种改进，所述步骤s2的数据预处理中，数据增强操作至少包括直方图均衡化和随机改变明度对比度；所述归一化操作基于imagenet数据集上统计的均值和标准差进行处理，所有经过预处理后的图像尺度大小统一。
9、作为本专利技术的另一种改进，所述步骤s3中，通过权重共享的骨干网络提取多层次support图像特征和query图像特征，所述骨干网络为resnet50或者vgg16，训练时权重被冻结，不参与参数优化。
10、作为本专利技术的另一种改进，所述步骤s3中，对于每一个通道上的query特征图基于以下公式得到相似性特征
11、
12、
13、其中，n表示第n个通道，σ是relu函数，表示通道维度的平均值，∪表示stack操作，表示support特征图，表示第ln个通道上query特征与support特征通信后的特征；
14、对于每一个通道上的增强的query特征图基于以下公式得到相似性特征
15、
16、
17、其中，表示插值操作，表示拼接操作，σ是relu函数，表示通道维度的平均值,∪表示stack操作,和表示其他层次的增强的support特征，表示第n个通道上query特征与增强后的support通信后的特征。
18、为了实现上述目的，本专利技术还采取的技术方案是：基于特征增强和通信网络的小样本动车异常检测系统，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤
19、与现有技术相比，本专利技术具有的有益效果：
20、(1)本专利技术提出的方法不仅可以解决对于每一类新的异常需要大量劳动力标注训练样本的问题，而且对于新的异常检测无需重新进行训练，可以利用已经训练好的模型基于一张或者几张新的异常样本图像直接检测新的异常，大大提高了检测效率。
21、(2)本专利技术的检测方法可以适应复本文档来自技高网...
【技术保护点】
1.基于特征增强和通信网络的小样本动车异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于特征增强和通信网络的小样本动车异常检测方法，其特征在于：所述步骤S1中的异常类别至少包括油迹、异物和腻子破损三种，通过LabelMe软件让每张异常图像对应一张同样大小的mask图像，所述mask图像上异常区域像素点的值代表异常类别，1代表油迹，2代表异物，3代表腻子破损，其他区域作为背景用0表示。
3.如权利要求1所述的基于特征增强和通信网络的小样本动车异常检测方法，其特征在于：所述步骤S2的数据预处理中，数据增强操作至少包括直方图均衡化和随机改变明度对比度；所述归一化操作基于ImageNet数据集上统计的均值和标准差进行处理，所有经过预处理后的图像尺度大小统一。
4.如权利要求2或3所述的基于特征增强和通信网络的小样本动车异常检测方法，其特征在于：所述步骤S3中，通过权重共享的骨干网络提取多层次support图像特征和query图像特征，所述骨干网络为ResNet50或者VGG16，训练时权重被冻结，不参与参数优化。
5.如权
6.基于特征增强和通信网络的小样本动车异常检测系统，包括计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
...【技术特征摘要】
1.基于特征增强和通信网络的小样本动车异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于特征增强和通信网络的小样本动车异常检测方法，其特征在于：所述步骤s1中的异常类别至少包括油迹、异物和腻子破损三种，通过labelme软件让每张异常图像对应一张同样大小的mask图像，所述mask图像上异常区域像素点的值代表异常类别，1代表油迹，2代表异物，3代表腻子破损，其他区域作为背景用0表示。
3.如权利要求1所述的基于特征增强和通信网络的小样本动车异常检测方法，其特征在于：所述步骤s2的数据预处理中，数据增强操作至少包括直方图均衡化和随机改变明度对比度；所述归一化操作基于imagenet数据集上统计的均值和标...
【专利技术属性】
技术研发人员：路小波，刘维，魏运，黄卫，冉智丹，
申请(专利权)人：东南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。