System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于注意力机制和多层级特征融合的心脏图像分割方法技术_技高网

基于注意力机制和多层级特征融合的心脏图像分割方法技术

技术编号:40343175 阅读:6 留言:0更新日期:2024-02-09 14:30
一种基于注意力机制和多层级特征融合的心脏图像分割方法,涉及图像分割技术领域,采用解码器‑编码器模式的对称结构。设计了密集级联模块,密集级联模块内部的空洞卷积层以密集方式级联,将模块的原始输入与特征提取后的输出结合起来,增强图像特征信息的传递;引入位置自注意力模块,替代模型结构中的底部结构,可以将输入的全局信息融合起来,能有效地增强特征的鲁棒性和特征之间的局部连接。在跳跃连接过程中加入通道注意力模块,从而对通道之间的特征图进行加权并选择有用的特征图。在解码器部分加入了多层级门控融合模块,它可以自动调整不同层级特征图的贡献并充分利用多层级信息,实现更好的预测。

【技术实现步骤摘要】

本专利技术涉及图像分割,具体涉及一种基于注意力机制和多层级特征融合的心脏图像分割方法


技术介绍

1、近年来,深度学习方法的兴起对心脏图像分割领域产生了深远的影响,使得心脏图像分割更准确、高效、自适应,降低了人工工作量,提供了任意方向的高分辨率、高对比度和高信噪比的图像。根据分割结果,我们可以有效地获取心肌质量和厚度、射血分数、心室容积等指标,因此,精确的分割显得尤为重要。然而,由于磁场强度不均匀,在成像过程中很容易产生伪影,导致界限模糊,并且心脏的解剖结构较复杂,因此精确分割是一个挑战。

2、随着深度学习的兴起和卷积神经网络的出现,快速、高精度和高可靠性成为图像分割的标准。其中,以u-net的出现最为重要,已成为图像分割的基础,u-net及其变体已被许多研究人员用于心脏mri分割。但目前仍存在需要进一步改进的地方,例如无法整合全局信息,同时下采样会丢失空间数据。这对于医学图像的分割尤为不利,因为医学图像分割通常需要广泛的上下文细节。


技术实现思路

1、本专利技术为了克服以上技术的不足,提供了一种将输入的全局信息融合起来,能有效地增强特征的鲁棒性和特征之间的局部连接的基于注意力机制和多层级特征融合的心脏图像分割方法。

2、本专利技术克服其技术问题所采用的技术方案是:

3、一种基于注意力机制和多层级特征融合的心脏图像分割方法,包括如下步骤:

4、a)获取心脏mri图像数据集x,x={x1,x2,...,xi,...,xn},其中xi为第i张心脏mri图像,i∈{1,...,n},n为心脏mri图像数量;

5、b)对心脏mri图像数据集x进行预处理操作,得到预处理后的数据集x′;

6、c)将预处理后的数据集x′划分为训练集、验证集、测试集;

7、d)将训练集中各个预处理后的心脏mri图像沿z轴进行切片,得到m个切片图像,第i个切片图像为fi,i∈{1,...,m};

8、e)建立由编码器和解码器构成的分割网络模型;

9、f)将第i个切片图像fi输入到分割网络模型的编码器中,输出得到特征图a5-i;

10、g)将特征图a5-i输入到分割网络模型的解码器中,输出得到分割结果图像pi;

11、h)训练分割网络模型,得到优化后的分割网络模型;

12、i)将测试集中各个预处理后的心脏mri图像沿z轴进行切片,得到q个切片图像,第i个切片图像为fi′,i∈{1,...,q};

13、j)将第i个切片图像fi′输入到优化后的分割网络模型中,输出得到分割结果图像pi′。

14、优选的,步骤a)中从自动心脏诊断挑战公开数据automated cardiac diagnosischallenge中获取n个心脏mri图像。

15、进一步的,步骤b)包括如下步骤:

16、b-1)利用numpy库中的getarrayfromimage()函数将第i张心脏mri图像xi转化为numpy数组,将转化为numpy数组的i张心脏mri图像xi沿z轴方向切为o个2d切片;

17、b-2)将每个2d切片进行重采样,得到o个像素间距为(1.5,1.5)的新2d图像,将每个新2d图像进行中心剪裁,得到o个大小为384×384的剪裁后的2d图像,将各个剪裁后的2d图像堆叠起来,恢复形成3d图像numpy数组,利用numpy库中的getarrayfromarray()函数将3d图像numpy数组转化为心脏mri图像

18、b-3)将心脏mri图像以0.5的概率沿水平轴或垂直轴进行顺时针翻转90度或逆时针翻转90度,得到旋转后的图像,将旋转后的图像进行归一化操作,得到预处理后的第i张心脏mri图像x′i;

19、b-4)n个预处理后的心脏mri图像构成预处理后的数据集x′,x={x′1,x′2,...,x′i,...,x′n}。

20、优选的,步骤c)中将预处理后的数据集x′按7:1:2的比例划分为训练集、验证集、测试集。

21、优选的,步骤d)中m取值为1312。

22、进一步的,步骤f)包括如下步骤:

23、f-1)分割网络模型的编码器由第一密集级联模块、第一最大池化层、第二密集级联模块、第二最大池化层、第三密集级联模块、第三最大池化层、第四密集级联模块、第四最大池化层、位置自注意力模块构成;

24、f-2)编码器的第一密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成,将第i个切片图像fi输入到第一密集级联模块中,输出得到特征图a1-i;

25、f-3)将特征图a1-i输入到编码器的第一最大池化层中,输出得到特征图a′1-i;

26、f-4)编码器的第二密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成,将特征图a′1-i输入到第二密集级联模块中,输出得到特征图a2-i;

27、f-5)将特征图a2-i输入到编码器的第二最大池化层中,输出得到特征图a′2-i;

28、f-6)编码器的第三密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成,将特征图a′2-i输入到第三密集级联模块中,输出得到特征图a3-i;

29、f-7)将特征图a3-i输入到编码器的第三最大池化层中,输出得到特征图a′3-i;

30、f-8)编码器的第四密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成,将特征图a′3-i输入到第四密集级联模块中,输出得到特征图a4-i;

31、f-9)将特征图a4-i输入到编码器的第四最大池化层中,输出得到特征图a4′-i;f-10)编码器的位置自注意力模块由第一卷积层、第二卷积层、第三卷积层、第一双线性插值层、第二双线性插值层、第三双线性插值层、softmax层、第四双线性插值层、第四卷积层构成,将特征图a4′-i依次输入到第一卷积层中,输出得到特征图将特征图输入到一双线性插值层中进行双线性插值,得到特征图q,将特征图a4′-i依次输入到第二卷积层中,输出得到特征图将特征图输入到第二双线性插值层中进行双线性插值,得到特征图k,将特征图a4′-i依次输入到第三卷积层中,输出得到特征图将特征图输入到第三双线性插值层中进行双线性插值,得到特征图v,将特征图q与特征图k相乘后输入到softmax层中,输出得到特征图qk,将特征图qk与特征图v相乘后得到特征图att,将特征图att输入到第四双线性插值层中进行双线性插值后输入到第四卷积层中,得到特征图a5-i。

32、优选的,步骤f-2)中第一密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-3)中第一最大池化层的步幅为2、池化核本文档来自技高网...

【技术保护点】

1.一种基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤a)中从自动心脏诊断挑战公开数据Automated Cardiac DiagnosisChallenge中获取N个心脏MRI图像。

3.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤b)包括如下步骤:

4.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤c)中将预处理后的数据集X′按7:1:2的比例划分为训练集、验证集、测试集。

5.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤d)中M取值为1312。

6.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于,步骤f)包括如下步骤:

7.根据权利要求6所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤f-2)中第一密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-3)中第一最大池化层的步幅为2、池化核大小为2×2;步骤f-4)中第二密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-5)中第一最大池化层的步幅为2、池化核大小为2×2;步骤f-6)中第三密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-7)中第一最大池化层的步幅为2、池化核大小为2×2;骤f-8)中第四密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-9)中第四最大池化层的步幅为2、池化核大小为2×2;步骤f-10)中位置自注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1。

8.根据权利要求6所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于,步骤g)包括如下步骤:

9.根据权利要求8所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤g-3)中第四双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1;步骤g-4)中第四双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1;步骤g-5)中第三双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1;步骤g-6)中第三双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1;步骤g-7)中第二双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1;步骤g-8)中第二双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1;步骤g-9)中第一双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1;步骤g-10)中第一双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1。

10.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于,步骤h)包括如下步骤:

...

【技术特征摘要】

1.一种基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤a)中从自动心脏诊断挑战公开数据automated cardiac diagnosischallenge中获取n个心脏mri图像。

3.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤b)包括如下步骤:

4.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤c)中将预处理后的数据集x′按7:1:2的比例划分为训练集、验证集、测试集。

5.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤d)中m取值为1312。

6.根据权利要求1所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于,步骤f)包括如下步骤:

7.根据权利要求6所述的基于注意力机制和多层级特征融合的心脏图像分割方法,其特征在于:步骤f-2)中第一密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-3)中第一最大池化层的步幅为2、池化核大小为2×2;步骤f-4)中第二密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张率为1;步骤f-5)中第一最大池化层的步幅为2、池化核大小为2×2;步骤f-6)中第三密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1,第二卷积层的卷积核大小为3×3、扩张率为3,第三卷积层的卷积核大小为3×3、扩张率为5,第四卷积层的卷积核大小为3×3、扩张...

【专利技术属性】
技术研发人员:陈长芳翟纯琳舒明雷周书旺孔祥龙朱喆
申请(专利权)人:山东省人工智能研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1