【技术实现步骤摘要】
本专利技术属于计算机辅助医疗诊断和医学图像处理领域，具体涉及一种基于深度卷积网络的跨通道的特征提取和特征融合方法。
技术介绍
1、胰腺癌是一种常见的癌症，其早期诊断和治疗对患者的生存率至关重要。图像分割是医学图像分析的重要任务之一，可以帮助医生更准确地诊断和治疗疾病。然而，由于胰腺周围有许多类似的结构和组织，很难准确地分割出胰腺区域，因此胰腺分割是一项具有挑战性的任务。
2、传统图像分割是一种基于像素颜色、亮度等特征的方法，通过将图像分成不同的区域来实现对图像的分割。该方法常用的算法包括阈值分割、边缘检测、区域生长等，其中阈值分割是最常用的方法。传统图像分割对噪声敏感，对复杂图像或存在多个物体的图像分割效果不佳。传统的图像分割方法通常需要人工选择和调整一些参数，这使得其适用性受到限制。这些方法对图像的噪声和复杂性非常敏感，可能导致分割不准确或不完整。这些方法通常只能分割出简单的形状，无法有效地处理复杂的图像结构和纹理。因此，传统的图像分割方法存在一些显著的局限性，需要更加高效和精确的新方法来解决这些问题。
技术实现思路
1、为解决因胰腺形态多样、且胰腺与周围组织的界限不清晰使得特征难提取的问题，实现更高效、更精准的胰腺ct图像分割。
2、一种基于unet(u型结构卷积神经网络模型)与u2net(两层嵌套的u型结构卷积神经网络模型)级联卷积神经网络的胰腺ct图像分割方法，包括四个步骤，分别为数据预处理、数据扩充、构建分割模型进行训练、通过dice系数(dice
3、其中，数据预处理步骤负责将腹部影像数据集调整窗宽窗位，用以清晰呈现胰腺部位，随后对图片进行裁剪，保留图片背景和关键前景信息；
4、数据扩充步骤负责将经预处理后的数据进行随机旋转和随机水平翻转，以此扩充数据集；
5、构建分割模型进行训练并验证，该步骤分为三部分，第一部分将归一化后的数据转为张量形式送进改良后的unet模型中对图像进行特征提取；第二部分将同一数据送入u2net中进行抽象特征的提取；第三部分将前两部分提取得到的信息通过特征融合，将两段语义信息拼接并融合，获得最终预测图。
6、优选地，所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法预处理方法为：
7、具体步骤如下：
8、(1)获取腹部ct三维影像数据集；
9、(2)将腹部ct三维影像数据集窗宽值调整为45，窗位值调整为325；
10、(3)对三维影像数据集进行按z轴(横断面)切片；
11、(4)对每个切片的图片进行感兴趣区域裁剪，裁剪分辨率为[240，240]；
12、(5)剔除其中不包含胰腺的切片图片。
13、优选地，所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，在数据扩充步骤中，将训练集和验证集的图片随机进行-25°到+25°的旋转和按0.5的阈值条件随机水平翻转，并将数据进行归一化处理，再将数据转为张量数据结构。
14、优选地，所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，所述腹部ct三维影像数据集，数据集划分采用5折交叉验证策略，即将所有数据随机划分为5份，每次将其中4份用作训练集，剩下一份用作验证集，经过5次轮换训练和验证，最后将5次实验评价结果取其平均值作为最终评价结果。
15、unet是一种u结构的卷积神经网络，主要用于医学图像分割，其主要特点是具有编码器-解码器结构和跳跃连接。模型先经过两个3×3卷积，并且每个卷积后面紧跟一个激活函数relu(rectified linear unit)和一个2x2最大池化(maxpool)操作，为了便于下采样，选择步长为2。在每个下采样过程中，将特征通道的数量扩增为原来的两倍。解码器中的每一步都特征图包括上采样2x2卷积(反卷积)和两个3×3卷积。其中2x2卷积将使得特征通道的数量减少一半，2x2卷积与编码器中相应裁剪的特征图直接连接，每个卷积后面都进行relu激活。在最后一层，使用1x1卷积将每个64个组成要素向量映射到所需的类别数。
16、u2net是在unet的基础上提出来的，同样基于encode-decode，其体系结构是一个两层嵌套的u型结构。在结构块rsu(residual u-blocks)的作用下，它能够捕捉更多上下文信息，可以从不同尺度接受语义信息。此外，它也增加了整个架构的深度却没有显著增加它的计算成本。每个rsu的层数随着encoder的层数的增加而减少，因为我们重视对于高分辨率特征图的特征提取，同时会进行池化操作，降低尺寸。rus替换了unet中传统的常用的卷积块，这能够更好的捕捉全局和局部的信息，以往的1x1，3x3卷积由于捕捉到的感受野较小的缘故，往往只擅长捕捉局部信息，对于全局信息的捕捉没有那么完整，而全局信息往往是图像分割必需的。
17、为充分利用encode-decode结构对于图像特征的提取能力，本专利技术将unet与u2net级联起来形成并行双输入网络，在各分网络输出端网络按通道拼接，实现特征融合。为降低网络计算量，加快模型收敛速度，将并行级联网络中的所有普通卷积替换为深度可分离卷积。
18、优选地，所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，在构建分割模型进行训练步骤中，为进一步提取图像特征的关键语义信息，引入混合注意力机制来增强网络对图像中重要区域的关注程度。在并行级联的u型结构网络中添加aspp模块(atrous spatial pyramid pooling module)和cbam模块(convolutional blockattention module)。具体添加方式为：在并行级联的u型结构网络的unet的编码部分中，在第一次、第三次以及第五次编码卷积输出后加入aspp模块，在第二次和第四次编码卷积输出后加入cbam模块。
19、aspp采用空洞卷积技术，以解决在对图像进行特征提取时，要求具有较大感受野与保持特征图分辨率的矛盾。aspp一共并联四个分支，第一个分支为1×1的普通卷积层，第二和第三个分支采用一个3×3的膨胀卷积，不同分支采用的rate(膨胀系数)，第一个分支rate为6，第二个分支rete为12，第三个分支rate为18，第四个分支rate为24。一般而言，若要获得较大感受野，则需采用较大的卷积核或较大的池化步长，然而这会导致出现分辨率丢失的问题。空洞卷积则可在保持分辨率的前提下，增加卷积核的感受野，从而解决上述矛盾。
20、在cbam模块中，注意力机制的实现过程为：先对特征图进行全局maxpool(最大池化)和avgpool(平均池化)操作，获得两个不同的特征向量；再使用共享的感知机对这两个特征向量进行处理，得到一个新的特征向量；随后对新特征向量本文档来自技高网...
【技术保护点】
1.一种基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：该分割方法包括四个步骤，分别为数据预处理、数据扩充、构建分割模型进行训练、通过Dice系数及IoU等指标评估测试集分割结果；
2.根据权利要求1所述的基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：所述预处理具体步骤为：
3.根据权利要求1所述的基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：在数据扩充步骤中，将训练集和验证集的图片随机进行-25°到+25°的旋转和按0.5的阈值条件随机水平翻转，并将数据归一化处理。
4.根据权利要求1所述的基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：训练并验证模型选择在腹部CT三维影像数据集上进行，对数据集划分采用5折交叉验证策略。
5.根据权利要求1所述的基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：将Unet与U2net级联起来形成并行双输入网络，在各分网络输出端网络按通道拼接；将并行级联网络中
6.根据权利要求1所述的基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：模型训练时使用Adam优化器，初始学习速率设置为0.001，批大小设置为4，epoch设置为20，网络输出阈值判断设置为0.5。学习策略采用余弦退火学习率策略。损失函数选择Dice Loss。
7.根据权利要求1所述的基于Unet与U2net级联卷积神经网络的胰腺CT图像分割方法，其特征在于：将训练验证后的模型进行测试并评估。图像分割任务的评估指标包括：Dice系数、IoU、召回率、精确率、特异性、准确率。
...【技术特征摘要】
1.一种基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，其特征在于：该分割方法包括四个步骤，分别为数据预处理、数据扩充、构建分割模型进行训练、通过dice系数及iou等指标评估测试集分割结果；
2.根据权利要求1所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，其特征在于：所述预处理具体步骤为：
3.根据权利要求1所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，其特征在于：在数据扩充步骤中，将训练集和验证集的图片随机进行-25°到+25°的旋转和按0.5的阈值条件随机水平翻转，并将数据归一化处理。
4.根据权利要求1所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，其特征在于：训练并验证模型选择在腹部ct三维影像数据集上进行，对数据集划分采用5折交叉验证策略。
5.根据权利要求1所述的基于unet与u2net级联卷积神经网络的胰腺ct图像分割方法，其特征在于：...
【专利技术属性】
技术研发人员：胡新军，严松才，田建平，陈满骄，
申请(专利权)人：四川轻化工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。