本发明专利技术公开了一种基于残差连接和注意力机制融合的复杂图像分割方法，利用改进的U‑Net模型对图像进行晶界分割，采用Same卷积代替原始的Valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，在编码器和解码器的逐层传递中引入ECA注意力机制，在跳层连接结构中引入CBAM注意力机制，改进后的模型具有更强的特征传播能力，在模型训练时更关注晶界部分，抑制背景响应，从而可以提高晶界识别的准确率，解决由于晶界模糊导致晶界难以分割的问题。设计基于Dice损失和Focal损失的混合损失函数，使模型更关注难分类样本，缓解由于数据类别不均衡导致的晶界难以分割的问题。
【技术实现步骤摘要】
本专利技术涉及航天航空，尤其涉及一种基于残差连接和注意力机制融合的复杂图像分割方法。
技术介绍
1、合金具有强度高、密度低、耐腐蚀性好等优点，被广泛应用于航空航天领域，是高端装备制造的优选结构材料。合金材料的性能与其组织结构间有密切联系，高效、精确地描述和表征合金材料的金相组织特征，对于合金材料的性能预测和组织调控具有重要作用。
2、金相图像分析技术是目前应用最广泛的分析金属价值的方法之一。金相图像分析技术通过对金相图的分割和测量，从图像中建立组织结构的数量、大小、形态等定量描述。图像分割技术使得金相图像分析由人工定性检测转变为定量检测，提高了检测精确度和可靠度，从而得到了广泛应用。
3、近年来，深度学习技术在计算机视觉领域取得突破性进展。在图像分割领域，fcn、u-net、deeplab等模型的检测精度逐渐达到甚至超过了人工水平。深度学习的发展使得图像处理的效率和精度得到了大幅提升，为金相图像分析提供了新方法。u-net是经典的语义分割模型，因其具有准确、高效、鲁棒性强、适用于小样本数据集等的优点，广泛应用于各个领域的图像分割任务中，其在金相图像分析领域也得到广泛应用。
4、目前，基于深度学习的金相图像分割方法主要适用于对比度高、晶界明显及图像特征简单的金相图像，对于晶界模糊的金相图像适用度较低。并且，基于深度学习的金相图像分割方法还存在数据集中、类别不均衡的问题，这也会影响晶界分割。因此，如何解决由于晶界模糊、数据类别不均衡导致晶界难以分割的问题，是本领域技术人员亟需解决的问题。
<
br/>技术实现思路
1、有鉴于此，本专利技术实施例提供了一种基于残差连接和注意力机制融合的复杂图像分割方法，用以解决由于晶界模糊、数据类别不均衡导致晶界难以分割的问题。
2、因此，本专利技术实施例提供了一种基于残差连接和注意力机制融合的复杂图像分割方法，包括如下步骤：
3、s1：将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理；
4、s2：将处理后的数据集划分为训练集和验证集，将训练集输入u-net模型进行训练；
5、s3：利用编码器通过四层卷积和下采样操作逐步缩小输入图像的尺寸，并提取输入图像的目标特征；其中，每层卷积包含两个卷积单元，每个卷积单元包括一个步长为1的3×3的same卷积、一个批归一化层以及一个修正线性层；在卷积单元间引入残差连接，主分支由两个3×3的same卷积、两个bn层和两个relu层组成，捷径分支包含一个1×1的same卷积，用于调整输入图像的通道数，与输出图像的通道数一致；在编码器的逐层传递中引入eca注意力机制；
6、s4：利用解码器通过四层卷积和上采样操作，将提取到的目标特征还原到输入图像的原始尺寸，并逐步恢复图像的细节信息，得到特征图；其中，在解码器的逐层传递中引入eca注意力机制；将解码器中每一步上采样层与编码器中对应步的下采样层拼接，形成跳层连接结构，用于使下采样层提取的目标特征直接传递到上采样层；在跳层连接结构中引入cbam注意力机制；
7、s5：采用1×1的卷积，将解码得到的特征图转化为图像分割结果，将图像分割结果拼接为输入图像的原始尺寸，得到输入图像的晶界分割结果；
8、s6：利用基于dice损失和focal损失的混合损失函数，对u-net模型进行迭代训练优化；
9、s7：将验证集输入到每步训练后得到的u-net模型中，根据输出的晶界分割结果，计算每步训练后得到的u-net模型的准确率，将准确率最高的u-net模型作为最终的u-net模型；
10、s8：将测试集输入最终的u-net模型，利用u-net模型对测试集进行晶界分割。
11、在一种可能的实现方式中，在本专利技术实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤s1，将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理，具体包括如下步骤：
12、s11：通过滑动窗口的方式将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；
13、s12：对各子图像进行平移、旋转、缩放、亮度变换以及弹性变换处理。
14、在一种可能的实现方式中，在本专利技术实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤s3中，下采样由2×2的最大池化实现，池化步长为2。
15、在一种可能的实现方式中，在本专利技术实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤s4中，上采样由2×2的转置卷积实现，转置卷积步长为2。
16、在一种可能的实现方式中，在本专利技术实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤s6，利用基于dice损失和focal损失的混合损失函数，对u-net模型进行迭代训练优化，具体包括：
17、基于dice损失和focal损失的混合损失函数为：
18、l＝wldice+(1-w)lfocal
19、其中，ldice表示dice损失函数，lfocal表示focal损失函数，w为权重系数；
20、利用混合损失函数l对u-net模型进行迭代训练优化。
21、在一种可能的实现方式中，在本专利技术实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤s6中，权重系数w的取值范围为0.4～0.6。
22、本专利技术实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法，利用改进的u-net模型对图像进行晶界分割，采用same卷积代替原始的valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，主分支由两个3×3的same卷积、两个bn层和两个relu层组成，捷径分支包含一个1×1的same卷积，改进后的卷积单元由于使用了same卷积和bn层，且引入残差连接，能够有效地避免特征丢失、梯度消失和梯度爆炸等问题；并且，在编码器和解码器的逐层传递中引入eca注意力机制，可以增强编码器的特征提取能力与解码器的特征还原能力；此外，在跳层连接结构中引入cbam注意力机制，可以解决原始u-net模型的跳层连接可能会引入大量噪声信息的问题。改进后的u-net模型具有更强的特征传播能力，在模型训练过程中更关注晶界部分，抑制背景响应，从而可以提高晶界识别的准确率，解决由于晶界模糊导致晶界难以分割的问题。通过设计基于dice损失和focal损失的混合损失函数，替换原有的交叉熵损失函数，可以使模型在训练时更加关注难分类样本，从而可以很大程度上改善由于数据类别不均衡导致的晶界难以分割的问题。
本文档来自技高网...
【技术保护点】
1.一种基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤S1，将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理，具体包括如下步骤：
3.如权利要求1所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤S3中，下采样由2×2的最大池化实现，池化步长为2。
4.如权利要求1所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤S4中，上采样由2×2的转置卷积实现，转置卷积步长为2。
5.如权利要求1所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤S6，利用基于Dice损失和Focal损失的混合损失函数，对U-Net模型进行迭代训练优化，具体包括：
6.如权利要求5所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤S6中，权重系数w为0.4～0.6。
【技术特征摘要】
1.一种基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤s1，将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理，具体包括如下步骤：
3.如权利要求1所述的基于残差连接和注意力机制融合的复杂图像分割方法，其特征在于，步骤s3中，下采样由2×2的最大池化实现，池化步长为2。
4.如...
【专利技术属性】
技术研发人员：敬石开，赵桐，肖登宝，陈阳，杨锦波，夏磊，张巍，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。