基于正样本的异物检测方法及存储介质技术

本发明专利技术的一种基于正样本的异物检测方法及存储介质，其方法包括采用机器人定点巡检拍摄方式获取待测设备同一部位的待测图像与模板图像；将待测图像与模板图像进行配准；接着将配准后待测图像的异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图；然后对异物分割图进行后处理，得到异物区域与概率。本发明专利技术采用机器人定点拍摄方式获取样本，简化了检测定位难点，适用于基于正样本重构判别异物检测方法。仅需收集正常样本且无需人工标注，大大降低了训练样本收集制作难度；另外基于正样本的异物检测算法，通过使用异物模拟生成器、异物重构网络以及异物分割判别网络，适用于所有的异物类型，检测精度较高，泛化能力强。泛化能力强。泛化能力强。

【技术实现步骤摘要】
基于正样本的异物检测方法及存储介质


[0001]本专利技术涉及视觉表面异常检测
，具体涉及一种基于正样本的异物检测方法及存储介质。

技术介绍

[0002]当前，随着交通智慧化建设的推进与发展，轨道交通在越来越多的城市里面应用，列车作为的轨道交通的重要组成部分，列车在运行过程中，由于环境中的垃圾、悬挂物、树叶等造成列车部件被异物覆盖、遮挡，对轨道交通列车的正常运行带来隐患。因此对可能包含异物的部件进行检测识别有助于发现异物，消除潜在隐患，对轨道交通的安全具有重要的意义。
[0003]传统的检修模式依赖检修人员晚间巡检，但轨道系统带电存在安全隐患且仅依靠检修人员经验的模式难以真正及时地排除可能存在的隐患，开发自动异物识别方法迫在眉睫。目前，异物识别的方法按照发展历史可分为深度学习之前与深度学习之后，其中：
[0004]深度学习之前，传统图像处理研究的主要问题是，获得浅层后图像的特征，如灰度值，SIFT和HOG，尝试开发不同的检测方法基于统计或传统机器学习的机制方法，如密度估计，一类分类等。然后，如果图像或特征不符合相应的分布模型，它们将被识别为异常，但是铁路现场的环境相对复杂，图像预处理步骤繁多、针对性较强，鲁棒性差，且多种算法计算量惊人。
[0005]随着深度学习的发展，用于异物检测的方法可分为有监督和不监督两个方向，有监督的深度学习异常检测模型，如目标检测，对明确异常类型场景识别率较高，网络训练相对简单。但缺点在于：
[0006]其一，需要大量样本学习，训练需要最少几千乃至几万的数据量，成本较高，而且由于场景异物样本的稀缺性，收集样本工作量太大，手动注释可能过于耗时。
[0007]其二，目标检测对类别要求很高，模型无法穷举所有的异常种类，具有局限性。
[0008]不监督的自动编码器和GAN重构办法，能够使用无异常图像来学习强大的重构子空间。但是仅从无异常数据中学习模型，没有针对判别异常检测进行明确优化，并且确定是否存在与正常外观没有显着差异的异常仍然具有挑战性，因为有些异常通常可以很好地重构。进而使用合成异常来训练判别分割方法，但这会导致对合成外观的过度拟合，使学习到的决策边界无法很好地推广到真实异常。

技术实现思路

[0009]本专利技术提出的一种基于正样本的异物检测方法，可解决上述技术问题。
[0010]为实现上述目的，本专利技术采用了以下技术方案：
[0011]一种基于正样本的异物检测方法，包括以下步骤：
[0012]S1、采用机器人定点拍摄方式获取待测设备同一部位的待测图像与模板图像；
[0013]S2、将待测图像与模板图像进行配准，得到待测图像中异物待检区域；
[0014]S3、将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图；
[0015]S4、对异物分割图像进行后处理，进行异常定位与检测。
[0016]进一步的，步骤S3将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图，还包括，
[0017]将异物检测区域在原图中通过平移、旋转、缩放、改变光照强度这些方式进行图像增强，接着将增强后的异物检测区域转换成1024*1024尺寸的图像，作为异物检测网络输入。
[0018]进一步的，所述预先训练好的异物检测网络包括异常模拟生成器、异物重构网络与异物分割判别网络，其中，异常模拟生成器的处理步骤如下：
[0019]6)使用柏林噪声生成器生成噪声，捕获各种形状异常；
[0020]7)通过随机均匀选取阈值，将噪声二值化为异常图；
[0021]8)从与输入图像分布无关的异常源图像数据集中采样的异常纹理源图像A；
[0022]9)使用随机增强采样方法，从集合{后处理、锐度、日晒、均衡、亮度变化、颜色变化、自动对比度}中随机选择三种操作对A进行增强；
[0023]10)增强的纹理图像A、异常图Ma以及原始图像I混合用来生成刚刚超出分布的异常；最终模拟异常生成器生成异常图像Ia定义为，
[0024][0025]其中A为增强后纹理图像，M
a
为异常掩码图、I为输入原图，是M
a
图像取反，
⊙
是元素乘法运算，β是混合中的不透明度参数，从[0.1,1.0]区间中均匀采样。
[0026]进一步的，所述的异物重构网络采用编码
‑
解码架构，其中异物检测网络使用一种编码
‑
解码架构，编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四卷积变换层与上采样层以及第五卷积层，第五层卷积层的输出作为重构图像Ir输出；
[0027]编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，解码器和编码器都学习正常样本的编码，然后从降维编码中仅可能生成接近原始输入。
[0028]进一步的，所述的异物分割判别网络采用类似U
‑
Net架构并具有跳跃连接的编码
‑
解码架构，其中编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四的卷积变换层与上采样层以及第五层卷积层，并将编码器第四层池化层上采样与解码器第一层卷积变换层连接，将编码器第三层池化层上采样与解码器第二层卷积变换层连接，将编码器第二层池化层上采样与解码器第三层卷积变换层连接，将编码器第一层池化层上采样与解码器第四层卷积变换层连接，解码器第五层卷积层输出异物分割掩码图；
[0029]编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，编码与解码采用跳跃连接的编码，全面捕捉高维图像空间中正态数据分布的多尺度分布。
[0030]进一步的，所述的S4对异物分割图像进行后处理，进行异常定位与检测，包括：
[0031]所述的将异物分割图像进行后处理，得到异物概率与区域，其中使用异常检测掩码直接进行异常定位，同时使用均值滤波器卷积层对像素级异常检测掩码进行平滑处理，
聚合局部异常响应信息，通过取平滑异常分数图的最大值η来计算图像级异常分数，进行异常检测，η定义为：
[0032]η＝max(M
o
*f
sf
×
sf
)
[0033]其中f
sf
×
sf
是大小为sf
×
sf的均值滤波器，*是卷积算子。
[0034]进一步的，对异物检测网络的训练步骤如下：
[0035]在列车车下箱体环境中，在需要进行异物检测点中采中用机器人定点拍摄方式采集各部件的正常图像；
[0036]其中，采集各部件正常图像用于异物训练以及作测试时的模板图像，分别提取采集图像各部件异物待检测区域，作为异物检测网络的输入；
[0037]基于正样本进行异物检测，无需定义标签；其中异物重构网络利用各部件采集异物待检测样本、柏林噪声生成器以及与异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于正样本的异物检测方法，其特征在于，包括以下步骤，S1、采用机器人定点拍摄方式获取待测设备同一部位的待测图像与模板图像；S2、将待测图像与模板图像进行配准，得到待测图像中异物待检区域；S3、将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图；S4、对异物分割图像进行后处理，进行异常定位与检测。2.根据权利要求1所述的基于正样本的异物检测方法，其特征在于：步骤S3将异物待检测区域作为预先训练好的异物检测网络输入，得到精确的异物分割图，还包括，将异物检测区域在原图中通过平移、旋转、缩放、改变光照强度这些方式进行图像增强，接着将增强后的异物检测区域转换成1024*1024尺寸的图像，作为异物检测网络输入。3.根据权利要求2所述的基于正样本的异物检测方法，其特征在于：所述预先训练好的异物检测网络包括异常模拟生成器、异物重构网络与异物分割判别网络，其中，异常模拟生成器的处理步骤如下：1)使用柏林噪声生成器生成噪声，捕获各种形状异常；2)通过随机均匀选取阈值，将噪声二值化为异常图；3)从与输入图像分布无关的异常源图像数据集中采样的异常纹理源图像A；4)使用随机增强采样方法，从集合{后处理、锐度、日晒、均衡、亮度变化、颜色变化、自动对比度}中随机选择三种操作对A进行增强；5)增强的纹理图像A、异常图Ma以及原始图像I混合用来生成刚刚超出分布的异常；最终模拟异常生成器生成异常图像Ia定义为，其中A为增强后纹理图像，M
a
为异常掩码图、I为输入原图，是M
a
图像取反，
⊙
是元素乘法运算，β是混合中的不透明度参数，从[0.1,1.0]区间中均匀采样。4.根据权利要求3所述的基于正样本的异物检测方法，其特征在于：所述的异物重构网络采用编码
‑
解码架构，其中异物检测网络使用一种编码
‑
解码架构，编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四卷积变换层与上采样层以及第五卷积层，第五层卷积层的输出作为重构图像Ir输出；编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，解码器和编码器都学习正常样本的编码，然后从降维编码中仅可能生成接近原始输入。5.根据权利要求3所述的基于正样本的异物检测方法，其特征在于：所述的异物分割判别网络采用类似U
‑
Net架构并具有跳跃连接的编码
‑
解码架构，其中编码器包括依次连接的第一到第四的卷积层与池化层；解码器包括依次连接的第一到第四的卷积变换层与上采样层以及第五层卷积层，并将编码器第四层池化层上采样与解码器第一层卷积变换层连接，将编码器第三层池化层上采样与解码器第二层卷积变换层连接，将编码器第二层池化层上采样与解码器第三层卷积变换层连接，将编码器第一层池化层上采样与解码器第四层卷积变换层连接，解码器第五层卷积层输出异物分割掩码图；编码器包含多层卷积层、激活层、池化层，解码器包含多层卷积层，激活层、上采样层，编码与解码采用跳跃连接的编码，全面捕捉高维图像空间中正态数据分布的多尺度分布。6.根据权利要求1所述的基于正样本的异物检测方法，其特征在于：所述的S4对异物分
割图像进行后处理，进行异常定位与检测，包括：所述的将异物分割图像进行后处理，得到异物概率与区域，其中使用异常检测掩码直接进行异常定位，同时使用均值滤波器卷积层对像素级异常检测掩码进行平滑处理，聚合局部异常响应信息，通过取平滑异常分数图的最大值η来计算图像级异常分数，进行异常检测，η定义为：η＝max(M
o
*f
sf
×
sf
)其中f
sf
×
sf<...

【专利技术属性】
技术研发人员：吴道平，印祯民，周炯，章海兵，汪中原，
申请(专利权)人：科大智能科技股份有限公司科大智能电气技术有限公司，
类型：发明
国别省市：