一种基于深度学习的连接件剖面图像自动分割方法技术

本发明专利技术公开了一种基于深度学习的连接件剖面图像自动分割方法，针对轻量化连接工艺，收集连接件的剖面图像作为样本图像，对每一张样本图像通过标注工具进行标注，标注出图像中不同板材、紧固件及其它关注区域位置，生成标注后样本图像对应的掩码图像及文本文件，并将其与原图一起作为训练样本；将训练样本进行图像增强处理，并生成对应的掩码图像及文本文件；选择或搭建基于图像实例分割的深度学习模型；针对选择或搭建的深度学习网络模型进行训练环境的搭建；设置深度学习网络模型的训练参数；将训练样本加入深度学习网络模型进行训练，训练完成后得到的深度学习模型用于连接件的剖面图像自动分割。的剖面图像自动分割。

【技术实现步骤摘要】
一种基于深度学习的连接件剖面图像自动分割方法


[0001]本专利技术涉及图像分割与计算机视觉领域，特别涉及一种基于深度学习的连接件剖面图像自动分割方法。

技术介绍

[0002]轻量化已成为机械行业发展趋势，轻量化材料一般有轻合金、高强度金属材料、工程塑料、碳纤维增强复合材料和陶瓷材料等。综合考虑成本、性能及轻量化效果，采用多材料混合设计是机械行业采用的最为重要的轻量化手段。然而，传统的工艺技术却难以满足各材料间的混合连接，使得轻量化多材料零部件的装配面临巨大挑战。目前，针对零部件的材料及结构设计，主流的轻量化连接工艺有铝合金点焊(RSW)，自冲铆接(SPR)，无铆钉自冲铆接(Clinching)，热熔自攻螺钉(FDS)，结构胶(Adhesive)等，不同连接工艺过程中产生的剖面图像是研究连接工艺的重要资料。
[0003]图像分割是一种基本的计算机视觉技术，是自动化图像处理的一个重要环节，是图像分析与理解的基础。从最初的传统图像分割算法，到现在的基于深度学习的图像分割算法，图像分割取得了巨大的进步，它的目标是为图像中的每个像素分类，以理解图像中的内容，使每个部分的分析更容易。
[0004]在多材料连接领域，连接技术工程师需要逐张图像手动去统计分析剖面图像中特定的区域及关键指标参数。该方法的缺点是耗时耗力，且受主观因素影响较大，无法做到标准化流程。因此，针对海量的连接件剖面图像，如果能够快速准确地去做图像分割，通过深度学习模型来理解连接件剖面图像中每个像素所代表的真实内容，对研究连接工艺具有重要的指导意义。

技术实现思路

[0005]为了解决现有技术中存在的不足，本申请提出了一种基于深度学习的连接件剖面图像自动分割方法，利用深度学习算法和图像增强技术对材料连接过程中产生的剖面图像进行图像分割，克服现在工程师手动统计剖面图像的缺点，为实现连接件剖面图像的自动化、智能化、标准化分析提供技术支持。
[0006]本专利技术所采用的技术方案如下：
[0007]一种基于深度学习的连接件剖面图像自动分割方法，所述方法包括以下步骤：
[0008]步骤1，训练集制作：针对轻量化连接工艺，收集连接件的剖面图像作为样本图像，对每一张样本图像通过标注工具进行标注，标注出图像中不同板材、紧固件及其它关注区域位置，生成标注后样本图像对应的掩码图像及文本文件，并将其与原图一起作为训练样本；
[0009]步骤2，将训练样本进行图像增强处理，并生成对应的掩码图像及文本文件；
[0010]步骤3，选择或搭建基于图像实例分割的深度学习模型；
[0011]步骤4，针对选择或搭建的深度学习网络模型进行训练环境的搭建；
[0012]步骤5，设置深度学习网络模型的训练参数；
[0013]步骤6，将训练样本加入步骤3中选定的深度学习网络模型进行训练，训练完成后得到适用于该连接件剖面图像自动分割的深度学习模型；
[0014]步骤7，将待检测的图像输入步骤6中训练得到的深度学习网络模型，深度学习网络模型输出预测掩码图像，根据掩码图像中实例的分割效果，重复步骤5及步骤6进行模型优化。
[0015]进一步，所述轻量化连接工艺包括点焊、自冲铆接、无铆钉自冲铆接、热熔自攻螺钉、结构胶中的一种或者多种组合。
[0016]进一步，步骤1中对样本图像进行标注的标注工具选择Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合。
[0017]进一步，步骤1中所获得的文本文件为JSON或者XML的格式，用于记录具体的板材、紧固件信息及其连接后形成的区域手动分割结果。
[0018]进一步，步骤2中对图像增强工具选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。
[0019]进一步，利用上述增强工具，对图像进行图像增强方式为平移、翻转、旋转、加噪、模糊、锐化、裁剪、缩放中的一种或者多种组合。
[0020]进一步，步骤3中的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。
[0021]进一步，图像实例分割的深度学习网络模型FCN、U
‑
Net、SegNet、Mask
‑
RCNN、PolarMask、TensorMask、Mask Scoring RCNN、YOLACT系列、SOLO系列、DeepLab系列中的一种及基于它们的衍生模型。
[0022]进一步，步骤5中的深度学习网络模型的参数设置包括学习率(Learning Rate)、优化器(Optimizer)、批次大小(Batch Size)、激活函数(Activation Functions)、迭代次数(Epoch)中的一种或多种组合。
[0023]进一步，步骤5中的深度学习网络模型的优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合。
[0024]进一步，步骤5中的深度学习网络模型的激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
[0025]本专利技术有如下技术效果和优点：
[0026]本专利技术所提出的一种基于深度学习的连接件剖面图像自动分割方法，能够实现批量连接件剖面图像的自动化分割，减少人工参与过程；
[0027]另外，本方法能够实现连接件剖面图像统一化，标准化分割流程；
[0028]相比于传统算法进行的分割方法，此专利技术的分割精度更高，适应场景更加复杂，可扩展性更强。部分连接件剖面轮廓不明显的情况下也能得到相对很好的预测效果。
附图说明
[0029]图1为本专利技术方法流程示意图。
[0030]图2为实施例1中的测试图。
[0031]图3为采用实施例1中方法获得的模型测试效果图。
[0032]图4为实施例2中的测试图。
[0033]图5为采用实施例2中方法获得的模型测试效果图
‑
铆钉。
[0034]图6为采用实施例2中方法获得的模型测试效果图
‑
上层板。
[0035]图7为采用实施例2中方法获得的模型测试效果图
‑
下层板。
具体实施方式
[0036]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。
[0037]如图1所示，本专利技术采用一种基于深度学习的连接件剖面图像自动分割方法，包括如下步骤：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的连接件剖面图像自动分割方法，其特征在于，所述方法包括以下步骤：步骤1，训练集制作：针对轻量化连接工艺，收集连接件的剖面图像作为样本图像，对每一张样本图像通过标注工具进行标注，标注出图像中不同板材、紧固件及其它关注区域位置，生成标注后样本图像对应的掩码图像及文本文件，并将其与原图一起作为训练样本；步骤2，将训练样本进行图像增强处理，并生成对应的掩码图像及文本文件；步骤3，选择或搭建基于图像实例分割的深度学习模型；步骤4，针对选择或搭建的深度学习网络模型进行训练环境的搭建；步骤5，设置深度学习网络模型的训练参数；步骤6，将训练样本加入步骤3中选定的深度学习网络模型进行训练，训练完成后得到适用于该连接件剖面图像自动分割的深度学习模型；步骤7，将待检测的图像输入步骤6中训练得到的深度学习网络模型，深度学习网络模型输出预测掩码图像，根据掩码图像中实例的分割效果，重复步骤5及步骤6进行模型优化。2.根据权利要求1所述的一种基于深度学习的连接件剖面图像自动分割方法，其特征在于，所述轻量化连接工艺包括点焊、自冲铆接、无铆钉自冲铆接、热熔自攻螺钉、结构胶中的一种或者多种组合。3.根据权利要求1所述的一种基于深度学习的连接件剖面图像自动分割方法，其特征在于，对样本图像进行标注的标注工具选择Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合。4.根据权利要求3所述的一种基于深度学习的连接件剖面图像自动分割方法，其特征在于，步骤1中所获得的文本文件为JSON或者XML的格式，用于记录具体的板材、紧固件信息及其连接后形成的区域手动分割结果。5.根据权利要求1所述的一种基于深度学习的连接件剖面图像自动分割方法，其特征在于，步骤2中对图像增强工具选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的...

【专利技术属性】
技术研发人员：仝超，黄理，赵海龙，陈秋任，李钼石，刘钊，方宇东，谈俊，胡晓雅，黄诗尧，包祖国，韩维建，
申请(专利权)人：集萃新材料研发有限公司，
类型：发明
国别省市：