一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法技术

本发明专利技术提供一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法，涉及计算机视觉技术领域。该方法首先对含有裂纹扩展痕迹缺失区域的图像进行预处理，将一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行外边框标记后输入至辅助分割模型进行弱监督训练，得到mask语义分割图像输入至缺失区域语义分割模型；将另一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行mask标记后输入至缺失区域语义分割模型进行全监督训练；将输入至缺失区域语义分割模型训练过的两部分裂纹扩展痕迹缺失区域数据集图像进行融合，得到缺失分割区域；最后，利用生成对抗网络形成裂纹扩展痕迹缺失区域精细轮廓分割模型，将输入图片的裂纹扩展痕迹缺失区域分割出来。纹扩展痕迹缺失区域分割出来。纹扩展痕迹缺失区域分割出来。

【技术实现步骤摘要】
一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法。

技术介绍

[0002]机械装备的运行可靠性和服役安全性直接影响国防建设和国民经济发展。大尺寸结构通常会含有一些不可避免的初始缺陷，如冶金缺陷、制造缺陷等，服役过程中也会承受随机循环载荷、复杂环境的作用而萌生裂纹。随着服役年限的增加，这些缺陷或裂纹会不断扩展，直至引发断裂失效。从微观尺度的角度考虑，对于裂纹的的研究既是断裂失效的最主要“方法”，也是唯一“物证”。针对裂纹进行深入分析，是研究其失效历程和失效机理的重要手段，对优化材料设计及改性、结构设计和制造工艺有着重要的指导意义。
[0003]复杂环境因素、人为因素等会对裂纹形貌造成一定程度的破坏，导致裂纹扩展历程的部分痕迹缺失。另一方面，裂纹的纹理特征表现为精细化、复杂化、不规则，微观成像技术难以呈现细微纹理的全貌。这种裂纹扩展信息的不连续性和不完整性，导致无法准确探明失效缘由和失效机理。采用新理论、新方法对微观尺度裂纹扩展过程中的缺失信息进行追溯，从而复原失效历程、辨识失效机理，是失效分析领域具有重要价值、具有光明前景的新思想、新概念、新技术。
[0004]然而，传统的裂纹扩展痕迹缺失区域分割方法是靠人工完成的，如采用高分辨率电镜和X射线来处理，这都需要依靠专门技术人员和复杂的设备，而且效率低下。面对复杂裂纹缺失区域的检测精度较低，生成的缺失区域轮廓线较粗且线条边缘不规则，轮廓不平滑，填充内容不精确，致使高频区域的纹理修复不完整。随着人工智能和计算机视觉的发展，深度学习方法在解决这类问题上很有前景。但是微观尺度断口图像的裂纹扩展缺失区域轮廓复杂多变，现有的方法通常需要大量精细标注的图像进行训练，并且标注过程既繁琐又耗费人力。因此如何解决缺失区域轮廓生成过程中的泛化问题，建立能够精确表达裂纹扩展缺失区域轮廓的深度推理网络，判别缺失区域的生成精度，优化网络的训练策略，是实现扩展裂纹缺失区域轮廓精确表达的关键，同时也是实现微观尺度裂纹扩展历程智能追溯的核心任务。

技术实现思路

[0005]本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法，利用深度学习算法框架，将裂纹扩展痕迹缺失区域准确地提取出来。
[0006]为解决上述技术问题，本专利技术所采取的技术方案是：一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法，对含有裂纹扩展痕迹缺失区域的图像进行预处理，将一部分裂纹扩展痕迹缺失区域数据集图像首先利用标注工具进行bounding box标记，然后输入至辅助分割模型进行弱监督训练，得到精确的mask语义分割图像，并将mask语义分割图像输
入至缺失区域语义分割模型；同时，将另一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行mask标记，然后输入至缺失区域语义分割模型进行全监督训练；将输入至缺失区域语义分割模型训练过的一部分裂纹扩展痕迹缺失区域数据集图像和另一部分裂纹扩展痕迹缺失区域数据集图像利用多尺度特征组合方法进行融合，得到缺失分割区域；最后，利用生成对抗网络的博弈机制，形成裂纹扩展痕迹缺失区域精细轮廓分割模型，将输入图片的裂纹扩展痕迹缺失区域精确分割出来；
[0007]具体包括以下步骤：
[0008]步骤1：获取含有裂纹扩展痕迹缺失区域的图像，形成数据集；将数据集分成两部分：一部分为占总数据集的百分之七十以上的用于进行外边框bounding box标记的裂纹扩展痕迹缺失区域数据集，称为大部分裂纹扩展痕迹缺失区域数据集；另一部分则为总数据集中其他的进行语义分割mask标记的裂纹扩展痕迹缺失区域数据集，称为小部分裂纹扩展痕迹缺失区域数据集；
[0009]步骤2：进行预训练过程：对大部分裂纹扩展痕迹缺失区域数据集利用标注工具进行外边框bounding box标记，并将外边框bounding box标记的缺失区域灰度图像、标记的标签图像以及含有裂纹扩展痕迹缺失区域的原图像作为弱监督训练数据集，对辅助分割模型进行弱监督训练，直至模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集的mask标签图像；其中，辅助分割模型采用现有的编码器
‑
解码器分割模型；
[0010]步骤2.1：将大部分裂纹扩展痕迹缺失区域数据集中的图像利用标注工具进行外边框bounding box标记，得到带外边框bounding box标记的缺失区域纹理灰度图像和标签图像；
[0011]步骤2.2:将大部分裂纹扩展痕迹缺失区域数据集中的原图像、外边框bounding box标记的缺失区域纹理灰度图像和标签图像作为弱监督数据集；
[0012]步骤2.3：从弱监督数据集中选取一组弱监督训练数据集样本，输入至辅助分割模型，对辅助分割模型进行弱监督训练；
[0013]步骤2.4：通过辅助分割模型中的分割编码器提取bounding box标签图像背景形貌与缺失区域的图像特征，学习bounding box背景形貌与缺失区域的图像特征之间的逻辑关系，得到预测的缺失区域；
[0014]步骤2.5：利用分割解码器计算预测缺失区域与背景形貌的误差，在分割解码器中加入自校正模块，利用自校正模块中的交叉熵损失区分逐渐减小预测缺失区域与背景形貌的误差；
[0015]步骤2.6：重复步骤2.1
‑
2.5，直至辅助分割模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集的mask标签图像；
[0016]步骤3：进行训练过程：对小部分裂纹扩展痕迹缺失区域数据集利用标注工具进行像素级的mask标记，得到标记的缺失区域灰度图像和mask标签图像；并将标记的缺失区域灰度图像、mask标签图像以及裂纹扩展痕迹缺失区域原图像作为全监督训练数据集；利用大部分裂纹扩展痕迹缺失区域数据集和小部分裂纹扩展痕迹缺失区域数据集中的两类缺失区域纹理灰度图像和mask标签图像，输入至缺失区域语义分割模型进行半监督训练，直至模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集和小部分裂纹扩展痕迹缺失区域数据集的精准的预测缺失区域；其中，缺失区域语义分割模型采用的是FasterR
‑
CNN模型；
[0017]通过小部分裂纹扩展痕迹缺失区域数据集对缺失区域语义分割模型进行训练的步骤如下：
[0018]步骤3.1：将小部分裂纹扩展痕迹缺失区域数据集中的图像利用标注工具Labelme进行像素级的mask标记，得到标记的缺失区域灰度图像和mask标签图像；
[0019]步骤3.2：将裂纹扩展痕迹缺失区域的原图像、利用标注工具Labelme标记的裂纹扩展痕迹缺失区域的灰度图像和mask标签图像作为全监督训练数据集；
[0020]步骤3.3：从全监督训练数据集中选取一组全监督训练数据集样本，输入至缺失区域语义分割模型，对缺失区域语义分割模型进行训练；
[0021]步骤3.4：通过缺失区域语义分割模型中的Resnet50本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法，其特征在于：对含有裂纹扩展痕迹缺失区域的图像进行预处理，将一部分裂纹扩展痕迹缺失区域数据集图像首先利用标注工具进行bounding box标记，然后输入至辅助分割模型进行弱监督训练，得到精确的mask语义分割图像，并将mask语义分割图像输入至缺失区域语义分割模型；同时，将另一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行mask标记，然后输入至缺失区域语义分割模型进行全监督训练；将输入至缺失区域语义分割模型训练过的一部分裂纹扩展痕迹缺失区域数据集图像和另一部分裂纹扩展痕迹缺失区域数据集图像利用多尺度特征组合方法进行融合，得到缺失分割区域；最后，利用生成对抗网络的博弈机制，形成裂纹扩展痕迹缺失区域精细轮廓分割模型，将输入图片的裂纹扩展痕迹缺失区域精确分割出来。2.根据权利要求1所述的基于深度学习的裂纹扩展痕迹缺失区域的分割方法，其特征在于：具体包括以下步骤：步骤1：获取含有裂纹扩展痕迹缺失区域的图像，形成数据集；将数据集分成两部分：一部分为占总数据集的百分之七十以上的用于进行外边框bounding box标记的裂纹扩展痕迹缺失区域数据集，称为大部分裂纹扩展痕迹缺失区域数据集；另一部分则为总数据集中其他的进行语义分割mask标记的裂纹扩展痕迹缺失区域数据集，称为小部分裂纹扩展痕迹缺失区域数据集；步骤2：进行预训练过程：对大部分裂纹扩展痕迹缺失区域数据集利用标注工具进行外边框bounding box标记，并将外边框bounding box标记的缺失区域灰度图像、标记的标签图像以及含有裂纹扩展痕迹缺失区域的原图像作为弱监督训练数据集，对辅助分割模型进行弱监督训练，直至模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集的mask标签图像；其中，辅助分割模型采用现有的编码器
‑
解码器分割模型；步骤3：进行训练过程：对小部分裂纹扩展痕迹缺失区域数据集利用标注工具进行像素级的mask标记，得到标记的缺失区域灰度图像和mask标签图像；并将标记的缺失区域灰度图像、mask标签图像以及裂纹扩展痕迹缺失区域原图像作为全监督训练数据集；利用大部分裂纹扩展痕迹缺失区域数据集和小部分裂纹扩展痕迹缺失区域数据集中的两类缺失区域纹理灰度图像和mask标签图像，输入至缺失区域语义分割模型进行半监督训练，直至模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集和小部分裂纹扩展痕迹缺失区域数据集的精准的预测缺失区域；其中，缺失区域语义分割模型采用的是Faster R
‑
CNN模型；步骤4：将输入缺失区域语义分割模型训练过的大部分裂纹扩展痕迹缺失区域数据集图像和小部分裂纹扩展痕迹缺失区域数据集图像利用多尺度特征组合方法进行融合，训练基于生成对抗网络的精细轮廓模型；其中，基于生成对抗网络的精细轮廓模型采用的是GAN生成对抗网络；步骤5：进行分割获取过程：将存在缺失的裂纹扩展痕迹原图像、缺失的裂纹扩展痕迹灰度图像和Mask标签图像作为输入图像，利用步骤4中训练好的基于生成对抗网络的精细轮廓模型，将生成器和判别器进行交替迭代和优化，最终得到缺失区域的精细化分割图像。3.根据权利要求2所述的基于深度学习的裂纹扩展痕迹缺失区域的分割方法，其特征在于：所述步骤2的具体方法为：步骤2.1：将大部分裂纹扩展痕迹缺失区域数据集中的图像利用标注工具进行外边框bounding box标记，得到带外边框bounding box标记的缺失区域纹理灰度图像和标签图
像；步骤2.2:将大部分裂纹扩展痕迹缺失区域数据集中的原图像、外边框bounding box标记的缺失区域纹理灰度图像和标签图像作为弱监督数据集；步骤2.3：从弱监督数据集中选取一组弱监督训练数据集样本，输入至辅助分割模型，对辅助分割模型进行弱监督训练；步骤2.4：通过辅助分割模型中的分割编码器提取bounding box标签图像背景形貌与缺失区域的图像特征，学习bounding box背景形貌与缺失区域的图像特征之间的逻辑关系，得到预测的缺失区域；步骤2.5：利...

【专利技术属性】
技术研发人员：张啸尘，李翰文，张天，孟维迎，龙彦泽，李颂华，周鹏，石怀涛，丁兆洋，张宇，邹德芳，李峻州，范才子，金兰茹，刁梦楠，
申请(专利权)人：沈阳建筑大学，
类型：发明
国别省市：