基于编码多路径语义交叉网络的图像语义分割方法及系统技术方案

本发明专利技术涉及一种基于编码多路径语义交叉网络的图像语义分割方法及系统，该方法包括：将图像数据集划分为训练集、验证集和测试集，对训练集中图像进行图像预处理；构建编码多路径语义交叉网络，编码端网络包括用于提取原始图像特征的主路径和用于提取经过预处理图像特征的辅助路径；编码端网络中嵌入语义交叉模块，以让两条路径的信息相互传递；解码端网络用于恢复图像的分辨率，其中嵌入边缘注意力模块；将训练集图像输入编码多路径语义交叉网络进行训练，并通过验证集进行验证；通过测试集对训练好的网络模型进行测试；通过最终的网络模型对新的图像进行语义分割，得到图像语义分割结果。该方法及系统有利于提高对图像中对象进行分割的准确性。进行分割的准确性。进行分割的准确性。

【技术实现步骤摘要】
基于编码多路径语义交叉网络的图像语义分割方法及系统


[0001]本专利技术属于图像处理领域，具体涉及一种基于编码多路径语义交叉网络的图像语义分割方法及系统。

技术介绍

[0002]结肠癌是(CRC)是世界上排名第三的常见癌症，占所有癌症类型的10％。在早期检测到结肠癌可以被治愈，晚期的存活率只有10％，早期的存活率有90％。早期的诊断和干涉治疗在结肠癌预防和诊断中扮演一个重要的角色。结直肠息肉是结肠表面隆起的肿块，它是结肠癌的前兆。如果结肠息肉能被发现和切除，那么结肠癌的早期诊断和治疗是可以实现的。结肠镜检查是筛查和预防结肠癌的有效手段，它可以提供结直肠息肉的位置和外观信息，使医生能够在息肉发展为结肠癌之前将其切除。大量的研究表明，结肠镜检查可使结肠癌的发病率下降30％。但结肠镜检查是一种依赖于操作员的方法，人为的错误以及敏感性的缺乏导致息肉的漏检率很高，平均息肉失误漏检率在4％
‑
12％左右。所以需要一种能够从结肠镜图像中自动、准确分割所有息肉的方法。息肉分割是一个具有挑战性的任务，有两方面的原因，首先息肉常会表现出不同的大小、颜色、纹理、第二，在结肠镜中，息肉边界和它周围正常组织的粘膜通常是模糊的，息肉边界和背景的对比度低。
[0003]早期研究通常设计形状、纹理、颜色的描述符用于结肠镜图像中息肉的分割。然而这些依赖于手动设计特征的模型，只能表示部分图像特征，这些模型只能在特定的情况下表现出较好的性能，且分割的精度较低。
[0004]近些年随着深度学习的发展，有很多人提出了基于深度学习的息肉图像语义分割方法。虽然深度学习的方法取得了一些成果，但是精度还是满足不了临床的要求，同时对于息肉的边缘，细小息肉的分割，以及息肉形状的预测还存在着困难。

技术实现思路

[0005]本专利技术的目的在于提供一种基于编码多路径语义交叉网络的图像语义分割方法及系统，该方法及系统有利于提高对图像中对象进行分割的准确性。
[0006]为实现上述目的，本专利技术采用的技术方案是：一种基于编码多路径语义交叉网络的图像语义分割方法，包括以下步骤：
[0007]S1、将图像数据集划分为训练集、验证集和测试集，然后对训练集中图像进行图像预处理；
[0008]S2、构建编码多路径语义交叉网络，包括编码端网络和解码端网络；所述编码端网络用于提取图像的特征，其有两条路径，主路径用于提取原始图像的特征，辅助路径用于提取经过预处理的训练集图像的特征；所述编码端网络中嵌入语义交叉模块，以让两条路径的信息重复的相互传递，相互补充；所述解码端网络用于恢复图像的分辨率达到和原始图像同样大小的尺寸，其包含两次迭代，并在第二次迭代时嵌入边缘注意力模块；
[0009]S3、将原始训练集图像及经过预处理的训练集图像同时输入构建好的编码多路径
语义交叉网络进行训练，并通过验证集进行验证，得到学习好的网络模型；
[0010]S4、通过测试集对训练好的网络模型进行测试，得到最终的网络模型；
[0011]S5、通过步骤S4得到的最终的网络模型，对新的图像进行语义分割，得到图像语义分割结果。
[0012]进一步地，步骤S1具体包括以下步骤：
[0013]S11、按照8：1：1的比例对图像数据集中图像进行划分，形成训练集、验证集和测试集；
[0014]S12、使用伽马校准对图像进行预处理；伽马校准的计算公式如下：
[0015]f(I)＝I
γ
[0016]其中，I是原始像素点，f(I)是伽马校正过后的像素点，γ是伽马校准的参数；当γ＞1时高灰度值区域的对比度提升，当γ＜1时低灰度值区域的对比度提升；
[0017]S13、对图像进行对比度受限的直方图均衡算法处理。
[0018]进一步地，步骤S2中，所述编码端网络包括5个结构相同的语义交叉模块，分别为第一语义交叉模块、第二语义交叉模块、第三语义交叉模块、第四语义交叉模块和第五语义交叉模块；第一语义交叉模块两个输入，其中一个输入为原始图像，另外一个输入为经过预处理的图像，第一语义交叉模块有三个输出，其中两个输出经过下采样操作以后作为第二语义交叉模块的输入，另外一个输出作为侧边输出到相应的解码层；第二语义交叉模块、第三语义交叉模块、第四语义交叉模块的输入都是上一个模块输入下采样得到的，其中两个输出经过下采样以后作为下一个模块的输入，另外一个输出作为侧边输出到相应的解码层；第五语义交叉模块的输入来自于第四语义交叉模块的输出，其输出作为解码端网络第一次迭代时，第四整合卷积块的输入，以及第二次迭代时，边缘注意力模块的输入。
[0019]进一步地，步骤S2中，所述语义交叉模块有两个输入，输入经过下采样以后进入到模块中，两个输入都要经过3*3的卷积操作，通道数不变，然后再经过1*1的卷积操作通道数降为原来的一半，经过3*3的卷积操作通道数也降低为原来的一半；然后两个路径经过1*1的卷积操作得到的特征图和相邻路径通过3*3卷积操作的特征图进行整合，得到两个输出作为下一个语义交叉模块的输入，将这两个输出再进行整合作为侧边连接的输出。
[0020]进一步地，步骤S2中，所述解码端网络包括4个结构相同的整合卷积块和3个结构相同的边缘注意力模块，分别为第四整合卷积块、第三整合卷积块、第二整合卷积块、第一整合卷积块以及第三边缘注意力模块、第二边缘注意力模块、第一边缘注意力模块；所述解码端网络分为两次迭代，第一次迭代时，第四整合卷积块的输入来自第五语义交叉模块的输出上采样，第三整合卷积块、第二整合卷积块、第一整合卷积块的输入均来自上一层整合卷积块的输出上采样，第四整合卷积块、第三整合卷积块、第二整合卷积块的输出作为第三边缘注意力模块、第二边缘注意力模块第一边缘注意力模块的输入，第一整合卷积块的输出经过连续整除2的下采样后，作为第一边缘注意力模块、第二边缘注意力模块、第三边缘注意力模块的输入；
[0021]第二次迭代时，第三边缘注意力模块的输入分别来自第五语义交叉模块的输出上采样、第一次迭代时对应整合卷积块的侧边输出以及第一整合卷积块的输出下采样；第二边缘注意力模块的输入分别来自第四整合卷积块的输出上采样，第一次迭代时对应整合卷积层的侧边输出，以及第一次迭代时第一整合卷积块的输出下采样；第一边缘注意力模块
的输入分别来自第三整合卷积块的输出上采样，第一次迭代时对应整合卷积块的侧边输出，以及第一次迭代时第一整合卷积块的输出下采样。
[0022]进一步地，所述整合卷积块有两个输入，这两个输入进行整合后，通过两组3*3的卷积操作、批归一化层、激活层。
[0023]进一步地，所述边缘注意力模块有三个输入，分别为上一层的特征映射输入、对应整合卷积块的侧边输出以及第一整合卷积块的输出；将第一整合卷积块的输出下采样到和对应整合卷积块相同的大小尺寸，再进行像素级的减法得到边缘注意力图，然后再将得到的边缘注意力图和特征映射输入进行像素级的乘法得到增强后的特征图，再将原始特征映射和增强后的特征图进行像素级的加法，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于编码多路径语义交叉网络的图像语义分割方法，其特征在于，包括以下步骤：S1、将图像数据集划分为训练集、验证集和测试集，然后对训练集中图像进行图像预处理；S2、构建编码多路径语义交叉网络，包括编码端网络和解码端网络；所述编码端网络用于提取图像的特征，其有两条路径，主路径用于提取原始图像的特征，辅助路径用于提取经过预处理的训练集图像的特征；所述编码端网络中嵌入语义交叉模块，以让两条路径的信息重复的相互传递，相互补充；所述解码端网络用于恢复图像的分辨率达到和原始图像同样大小的尺寸，其包含两次迭代，并在第二次迭代时嵌入边缘注意力模块；S3、将原始训练集图像及经过预处理的训练集图像同时输入构建好的编码多路径语义交叉网络进行训练，并通过验证集进行验证，得到学习好的网络模型；S4、通过测试集对训练好的网络模型进行测试，得到最终的网络模型；S5、通过步骤S4得到的最终的网络模型，对新的图像进行语义分割，得到图像语义分割结果。2.根据权利要求1所述的基于编码多路径语义交叉网络的图像语义分割方法，其特征在于，步骤S1具体包括以下步骤：S11、按照8：1：1的比例对图像数据集中图像进行划分，形成训练集、验证集和测试集；S12、使用伽马校准对图像进行预处理；伽马校准的计算公式如下：f(I)＝I
γ
其中，I是原始像素点，f(I)是伽马校正过后的像素点，γ是伽马校准的参数；当γ＞1时高灰度值区域的对比度提升，当γ＜1时低灰度值区域的对比度提升；S13、对图像进行对比度受限的直方图均衡算法处理。3.根据权利要求1所述的基于编码多路径语义交叉网络的图像语义分割方法，其特征在于，步骤S2中，所述编码端网络包括5个结构相同的语义交叉模块，分别为第一语义交叉模块、第二语义交叉模块、第三语义交叉模块、第四语义交叉模块和第五语义交叉模块；第一语义交叉模块两个输入，其中一个输入为原始图像，另外一个输入为经过预处理的图像，第一语义交叉模块有三个输出，其中两个输出经过下采样操作以后作为第二语义交叉模块的输入，另外一个输出作为侧边输出到相应的解码层；第二语义交叉模块、第三语义交叉模块、第四语义交叉模块的输入都是上一个模块输入下采样得到的，其中两个输出经过下采样以后作为下一个模块的输入，另外一个输出作为侧边输出到相应的解码层；第五语义交叉模块的输入来自于第四语义交叉模块的输出，其输出作为解码端网络第一次迭代时，第四整合卷积块的输入，以及第二次迭代时，边缘注意力模块的输入。4.根据权利要求3所述的基于编码多路径语义交叉网络的图像语义分割方法，其特征在于，步骤S2中，所述语义交叉模块有两个输入，输入经过下采样以后进入到模块中，两个输入都要经过3*3的卷积操作，通道数不变，然后再经过1*1的卷积操作通道数降为原来的一半，经过3*3的卷积操作通道数也降低为原来的一半；然后两个路径经过1*1的卷积操作得到的特征图和相邻路径通过3*3卷积操作的特征图进行整合，得到两个输出作为下一个语义交叉模块的输入，将这两个输出再进行整合作为侧边连接的输出。5.根据权利要求3所述的基于编码多路径语...

【专利技术属性】
技术研发人员：李兰兰，张孝辉，徐斌，王大彪，
申请(专利权)人：福州大学，
类型：发明
国别省市：