基于流扭曲的表面缺陷区域分割方法、装置及电子设备制造方法及图纸

本申请涉及一种基于流扭曲的表面缺陷区域分割方法、装置及电子设备，属于缺陷检测技术领域，本申请中的基于流扭曲的表面缺陷区域分割方法，包括：获取目标表面图像；利用训练好的分割网络模型对目标表面图像进行缺陷区域分割处理；其中，分割网络模型的网络结构中，具有将图像的跨尺度特征进行空间一致性约束的流扭曲模块。本申请的技术方案，通过在分割网络模型中配置流扭曲模块，对分割预测处理过程中图像的跨尺度特征进行空间一致性约束，从而减少了不同网络层级特征的空间不一致，可获得更优的特征融合，从而有利于缺陷区域分割精度的提升。的提升。的提升。

【技术实现步骤摘要】
基于流扭曲的表面缺陷区域分割方法、装置及电子设备


[0001]本申请属于缺陷检测
，具体涉及一种基于流扭曲的表面缺陷区域分割方法、装置及电子设备。

技术介绍

[0002]近年来，在工件表面缺陷检测相关技术中，基于深度学习语义分割算法的工件表面缺陷区域分割取得快速发展。现有代表性方法采用U
‑
Net等编码器
‑
解码器架构、或者DeeplabV3等方法，通过融合图像的底层空间细节和高层判别语义等多层级特征实现多尺度特征的有效融合，或者通过不同感受野范围的膨胀卷积金字塔，聚合不同距离范围的上下文信息，实现对缺陷区域的分割预测。
[0003]现有相关方法在对图像的多尺度特征提取和融合方面取得了进展，但忽略了一个基本而又重要的问题：即不同网络层级的跨尺度特征没有施加空间一致性约束，使得不同网络层级的特征之间存在空间不一致的问题，从而增大了不同网络层级特征之间的差异，并增加了同一网络层级内特征的相似度，从而影响了缺陷区域分割的精度。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于流扭曲的表面缺陷区域分割方法、装置及设备，以解决区域分割处理中不同网络层级的跨尺度特征缺少空间一致性约束，所导致的缺陷区域分割精度不佳的问题。
[0006]为实现以上目的，本申请采用如下技术方案：第一方面，本申请提供一种基于流扭曲的表面缺陷区域分割方法，该方法包括：获取目标表面图像；利用训练好的分割网络模型对所述目标表面图像进行缺陷区域分割处理；其中，所述分割网络模型的网络结构中，具有将图像的跨尺度特征进行空间一致性约束的流扭曲模块。
[0007]可选地，所述流扭曲模块被配置为：对输入模块的最浅层特征进行1*1卷积，得到第一卷积操作结果，以及对输入模块的各深层特征分别进行上采样，并对采样结果相应进行K*K卷积，得到与各所述深层特征相应的第二卷积操作结果；根据所述第一操作卷积结果和各所述第二卷积操作结果进行扭曲映射操作，并基于操作得到的扭曲映射像素权值对所述深层特征中最深层特征进行引导上采样，得到引导上采样后特征；将所述引导上采样后特征和所述最浅层特征进行逐像素加和处理，将处理后的结
果作为模块的输出。
[0008]可选地，所述K*K卷积的配置规则为：在不同的输入情况下，所述K的取值使所述第一操作卷积结果和相应所述第二操作卷积结果的分辨率相同。
[0009]可选地，采用逐像素相加的方式进行所述扭曲映射操作。
[0010]可选地，基于以下表达式进行所述引导上采样：其中，其中，Q
11
、Q
12
、Q
21
、Q
22
表示已知点，（x,y）表示要插入的点，w
11
、w
12
、w
21
、w
22
分别表示相应已知点的扭曲映射像素权值。
[0011]可选地，所述分割网络模型基于HRNet网络构建。
[0012]可选地，所述分割网络模型的HRNet网络具有N级结构；HRNet网络的第一级结构中，基于残差网络对输入特征进行特征提取并向下一级结构输出，以及将提取的特征进行降分辨率处理，并将处理后的特征向下一级结构输出；HRNet网络的第二级结构至第（N
‑
1）级结构中，基于残差网络分别对上一级结构输出的不同尺度特征进行特征提取，并将提取的特征分别通过一特征融合模块以及（N
‑
1）个流扭曲模块进行处理，并将处理后的特征向下一级结构输出，以及将该级结构中特征融合模块处理后的特征进行降分辨率处理，并将处理后的特征向下一级结构输出；HRNet网络的第N级结构中，基于残差网络分别对上一级结构输出的不同尺度特征进行特征提取，并将提取的特征分别通过一特征融合模块及N个流扭曲模块进行处理，并将处理后的特征输出。
[0013]可选地，在缺陷区域分割处理过程中，还包括：将所述目标表面图像通过卷积块进行特征提取，并将提取的特征作为向所述HRNet网络的第一级结构输入的特征；以及将所述HRNet网络的第N级结构输出的不同尺度的特征沿通道维度进行特征拼接，并基于拼接结果进行分割预测。
[0014]第二方面，本申请提供一种基于流扭曲的表面缺陷区域分割装置，其特征在于，包括：获取模块，用于获取目标表面图像；分割处理模块，用于利用训练好的分割网络模型对所述目标表面图像进行缺陷区域分割处理；其中，所述分割网络模型的网络结构中，具有将图像的跨尺度特征进行空间一致性约束的流扭曲模块。
[0015]第三方面，本申请提供一种电子设备，包括：存储器，其上存储有可执行程序；处理器，用于执行所述存储器中的所述可执行程序，以实现上述所述方法的步骤。
[0016]本申请采用以上技术方案，至少具备以下有益效果：本申请中的基于流扭曲的表面缺陷区域分割方法，通过获取目标表面图像；利用
训练好的分割网络模型对目标表面图像进行缺陷区域分割处理；其中，分割网络模型的网络结构中，具有将图像的跨尺度特征进行空间一致性约束的流扭曲模块。本申请的技术方案，通过在分割网络模型中配置流扭曲模块，对分割预测处理过程中图像的跨尺度特征进行空间一致性约束，从而减少了不同网络层级特征的空间不一致，可获得更优的特征融合，从而有利于缺陷区域分割精度的提升。
[0017]本专利技术的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。
附图说明
[0018]附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
[0019]图1为本申请一个实施例提供的基于流扭曲的表面缺陷区域分割方法的流程示意图；图2为本申请一个实施例中流扭曲模块的实现示意说明图；图3为本申请一个实施例中引导上采样的示意说明图；图4为本申请一个实施例中分割网络模型的网络结构示意说明图；图5为本申请一个实施例提供的基于流扭曲的表面缺陷区域分割装置的结构示意图；图6为本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
[0020]为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
[0021]如
技术介绍
中所述，近年来，在工件表面缺陷检测相关技术中，基于深度学习语义分割算法的工件表面缺陷区域分割取得快速发展。现有代表性方法采用U
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流扭曲的表面缺陷区域分割方法，其特征在于，包括：获取目标表面图像；利用训练好的分割网络模型对所述目标表面图像进行缺陷区域分割处理；其中，所述分割网络模型的网络结构中，具有将图像的跨尺度特征进行空间一致性约束的流扭曲模块。2.根据权利要求1所述的表面缺陷区域分割方法，其特征在于，所述流扭曲模块被配置为：对输入模块的最浅层特征进行1*1卷积，得到第一卷积操作结果，以及对输入模块的各深层特征分别进行上采样，并对采样结果相应进行K*K卷积，得到与各所述深层特征相应的第二卷积操作结果；根据所述第一操作卷积结果和各所述第二卷积操作结果进行扭曲映射操作，并基于操作得到的扭曲映射像素权值对所述深层特征中最深层特征进行引导上采样，得到引导上采样后特征；将所述引导上采样后特征和所述最浅层特征进行逐像素加和处理，将处理后的结果作为模块的输出。3.根据权利要求2所述的表面缺陷区域分割方法，其特征在于，所述K*K卷积的配置规则为：在不同的输入情况下，所述K的取值使所述第一操作卷积结果和相应所述第二操作卷积结果的分辨率相同。4.根据权利要求3所述的表面缺陷区域分割方法，其特征在于，采用逐像素相加的方式进行所述扭曲映射操作。5.根据权利要求2所述的表面缺陷区域分割方法，其特征在于，基于以下表达式进行所述引导上采样：其中，Q
11
、Q
12
、Q
21
、Q
22
表示已知点，（x,y）表示要插入的点，w
11
、w
12
、w
21
、w
22
分别表示相应已知点的扭曲映射像素权值。6.根据权利要求1至5中任一项所述的表面缺陷区域分割方法，其特征在于，所述分割网络模型基于HRNet网...

【专利技术属性】
技术研发人员：李朋超，杨庆泰，蔡丽蓉，
申请(专利权)人：北京矩视智能科技有限公司，
类型：发明
国别省市：