【技术实现步骤摘要】
一种基于语义上下文的工业缺陷图像分割检测方法及装置
[0001]本专利技术涉及图像分割领域，尤其涉及一种基于语义上下文的工业缺陷图像分割检测方法及装置，通过设计神经网络学习的上下文依赖关系、构建上下文特征集合以及参数调整，实现了对工业图像的像素级缺陷检测。
技术介绍
[0002]语义分割是计算机视觉和数字图像处理的一个热门方向，广泛应用于自动驾驶汽车、虚拟现实、人机交互和医疗影像分析等诸多领域。计算机视觉可以减少人力成本的消耗，对于提高工业自动化水平具有重要的现实意义。近年来随着深度学习的普及，语义分割算法得到了较为快速的发展，到目前为止，高性能的语义分割算法都基于深度学习。经典的关于语义分割的工作主要有：
[0003]基于候选区域的语义分割模型：Girshick等人提出了Region
‑
based Convolutional NeuralNetwork(R
‑
CNN，基于候选区域的卷积神经网络)模型，首先使用selective search(选择性搜索)算法提取2000个候选框，然后通过卷积网络对候选框进行串行的特征提取，再根据提取的特征使用SVM(支持向量机)对候选框进行分类预测，最后使用回归方法对区域框进行修正。虽然这种方法在准确率上得到提升，但是R
‑
CNN效率较低。2015年，Ross 等人提出了Fast R
‑
CNN，直接使用一个神经网络对整个图像进行特征提取，省去了串行提取特征的时间。2016年提出的Faster R>‑
CNN将selective search算法替换成为RPN(区域生成网络)，使用RPN网络进行region(候选区域)的选取。
[0004]基于注意力机制的语义分割模型：Yu等人于2018年提出FPN(判别特征网络)，引入通道注意力机制，利用高级阶段的语义一致性信息指导并有针对性地选择底级阶段更具区分力的空间特征信息。2019年，Fu等人提出DANet(双路注意力网络)，将自注意力机制应用到图像分割中。DANet使用位置注意力模块聚合每个像素点的位置特征，使用通道注意力模块选择性的加强相互依赖的通道权重，并将两个模块的输出结果相融合得到最终输出，在场景图像中对目标物体实现了更精确的像素级预测。
[0005]基于编码器
‑
解码器结构的语义分割模型：FCN(全卷积神经网络)打破了之前需要一个窗口来将语义分割任务转变为图片分类任务的观念，使用编码器提取图像特征，使用解码器对提取的特征进行上采样，恢复原图大小。UNet(U形网络)是在医学影像分割中最常用的模型，网络的每个卷积层得到的特征图都会concatenate(拼接)到对应的上采样层，从而实现对每层特征图都有效使用到后续计算中。2015年的ICLR上提出DeepLab V1结合了深度卷积神经网络(DCNNs)和概率图模型(DenseCRFs)的方法。不仅考虑DCNN 的输出，而且考虑该像素点周围像素点的值。但是，DCNNs由于重复的池化和下采样降低了分辨率，造成细节信息的损失，不利于图像中小目标的检测。DeepLab v2采用的空洞卷积算法扩展感受野，基于空洞卷积，设计了ASPP(空洞空间金字塔池化)模块。deeplabv3改进了ASPP模块，引入了全局池化分支能够聚集到全局的上下文信息。但deeplab v3 需要8倍和16倍上采样feature map(特征图)，引入了较多与特征无关的信息。 Badrinarayanan等人提出SegNet
(分割网络)，是典型的编码
‑
解码结构，编码层使用VGG (用于大尺度图像识别的深度卷积网络)的前13层，解码层由一系列的卷积层和上采样层组成，最后将特征图连接到分类器预测输入图像的像素级标签值上。SegNet在进行最大池化操作时使用索引来保存特征的位置信息，上采样期间直接将特征值填充到最大池化操作前的位置，省去了上采样的学习，进一步保留了特征信息。与FCN相比，SegNet减少了池化操作带来的特征丢失，提高了训练效率。
[0006]然而在实际工业应用中，上述方法取得的效果并不令人满意。由于工业缺陷的尺寸较小、颜色偏暗，与背景特征的相似度高，利用传统的图像分割方法在分类时只考虑物体类别本身的特征，不考虑与周围类别的上下文依赖关系，算法很容易将背景与缺陷目标无关的区域错误分类成缺陷目标。
[0007]因此，提出有效的工业缺陷图像分割算法，对于提升工业缺陷的检测准确率、保障工业产品安全以及提升工业化水平具有重要意义。
[0008]近年来，随着深度学习的复兴，语义分割领域迅速发展，特别是卷积神经网络的出现，极大地提高了语义分割算法的性能，逐像素的分类方式可以获取更准确的图片信息。但现有的语义分割方法并未有效地关注到像素间的语义上下文依赖关系，外观相似但类别不同的物体对网络分割会造成混淆，仅依靠形状、纹理等外观信息独立地对目标进行分类，忽略了上下文类别依赖关系，在分割时将会造成“类间混淆”现象，影响网络的分割性能。
[0009]在现实生活场景中，每个类别的物体并不是孤立存在的，通常与某些类别的对象同时出现，与周围的环境、场景存在着密切联系。例如，在焊缝图像中，焊接缺陷通常存在于焊缝区域内，焊缝区域外部会存在少数非缺陷的背景杂质。而由于焊接图像颜色偏暗、对比图低、背景嘈杂，神经网络如果只根据形状、颜色等外观信息对物体进行分类，忽略了目标周围的上下文信息和依赖关系，会错误地将焊缝区域外的非缺陷物体分类为缺陷，造成类间混淆现象。此外，传统的人工手动检测方式的质量和效率受检测人员的专业水平和工作状态影响很大，长时间地进行探伤工作会造成用眼疲劳，增加了误判和漏判的概率，影响工业探伤的质量。
技术实现思路
[0010]本专利技术针对现有的图像分割上下文信息不足、上下文依赖关系不明确以及传统人工手动检测缺陷的质量和效率低的问题，提供了一种基于语义上下文的工业缺陷图像分割检测方法及装置，实现了对焊缝缺陷像素级别的自动检测，详见下文描述：
[0011]第一方面，一种基于语义上下文的工业缺陷图像分割检测方法，所述方法包括：
[0012]针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；
[0013]利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；
[0014]结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，并在焊缝缺陷数据集上进行语义分割评估。
[0015]在一种实施方式中，所述针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征具体为：
[0016]通过构建上下文特征聚合模块获得上下文信息，在上下文注意力机制作用下，利用上下文特征向量集合自适应增强粗分割图的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述方法包括：针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，并在焊缝缺陷数据集上进行语义分割评估。2.根据权利要求1所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征具体为：通过构建上下文特征聚合模块获得上下文信息，在上下文注意力机制作用下，利用上下文特征向量集合自适应增强粗分割图的特征；为特征不明显的像素点补充上下文语义信息，将改进后的特征和初始特征进行融合，增强对图像的理解。3.根据权利要求2所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述上下文特征聚合模块为基础网络提取的初始特征设计了一个并行分支；在上分支中，使用尺寸为3*3的卷积核对Feature进行处理，并使用1*1的卷积核进行降维，得到粗略的分割结果；在下分支中使用1*1的卷积和对特征图进行降维，通过重塑粗分割结果并与转置后的Feature进行矩阵相乘操作，构建上下文特征向量集合；所述上下文特征聚合模块获得局部上下文特征信息及远距离的上下文特征。4.根据权利要求3所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述方法在3*3的卷积核和1*1的卷积核后使用批处理归一化和Relu激活函数。5.根据权利要求3所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果具体为：通过构建上下文注意力模块将转置后的上下文特征向量和重塑后的粗分割...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。