基于维度分解注意力的两阶段三维图像分割方法技术

本发明专利技术提出了一种基于维度分解注意力的两阶段三维图像分割方法，有效地克服由于目标区域与邻接组织强度相近导致的分割性能下降问题。本发明专利技术方法的第一阶段使用三维U型网络定位感兴趣区域，减少影像中无关组织的干扰，为第二阶段提供输入；第二阶段在三维U型网络中添加维度分解空间注意力和维度分解通道注意力，实现目标的准确分割。维度分解空间注意力和维度分解通道注意力均将编码器输出的特征分解为长宽深三个一维方向特征，生成注意力权重；两注意力的权重与编码器输出的特征连乘作为解码器的输入，生成最终的分割结果。本发明专利技术可以有效的利用三维图像的全部信息，增强感兴趣区域的权重，提高分割性能。提高分割性能。提高分割性能。

【技术实现步骤摘要】
基于维度分解注意力的两阶段三维图像分割方法


[0001]本专利技术公开涉及计算机视觉领域，尤其涉及一种基于维度分解注意力的两阶段三维图像分割方法及系统。

技术介绍

[0002]随着深度学习的发展，卷积神经网络凭借其可以自动从样本中学习深层次且更具鉴别性特征的能力，被广泛的应用于图像的分割任务中。研究者们提出了一系列图像分割的二维卷积模型，并表现出优秀的性能。但三维图像相比于二维图像能够存储更多信息，在现实应用中更加有效。因此，又有研究者提出了专用于三维图像的三维卷积模型并取得了比二维模型更好的效果。
[0003]由于在三维图像中目标区域常常与邻接组织强度相近，二维模型与三维模型在进行分割时往往容易产生误分，严重影响分割性能。在三维图像中，目标区域通常只占很小的部分，这意味着数据中大部分是无用的。过多的无用数据在训练时会对计算机造成过巨大负担。为此，本专利技术引入了两阶段的策略，通过第一阶段的感兴趣区域提取，去除图像中的无关区域，大幅减少第二阶段的计算量。
[0004]为了缓解目标区域与背景强度相似导致的性能下降，研究者们引入了自然语言处理中的注意力方法。该方法让模型把注意力集中在重要的信息上而忽视不重要的信息，提升分割性能。随着深度学习的快速发展，人们提出了一系列的注意力方法，并表现出了良好的效果。但这些方法多数针对二维图像设计，没有考虑三维图像的情况，在三维模型中难以直接使用。为此，本专利技术提出了用于三维图像分割的维度分解注意力模块，提高分割准确性。
[0005]为了实现精准且高效的三维图像分割，本专利技术提出了一种基于维度分解注意力的两阶段U
‑
Net方法。首先使用3D U
‑
Net做粗分割网络，进行粗定位用于感兴趣区域提取。在第二阶段，使用一阶段提取的感兴趣区域进行分割，添加维度分解空间注意力与维度分解通道注意力以提升最终的分割效果。

技术实现思路

[0006]本专利技术的目的在于提供一种基于维度分解注意力的两阶段三维图像分割方法，以利用三维图像中的全部信息，增强感兴趣区域的权重，解决由于目标区域与邻接组织强度相近导致的分割性能下降问题。
[0007]为实现上述目的，本专利技术提供一种基于维度分解注意力的两阶段三维图像分割方法，其特征在于，使用两阶段策略与维度分解注意力对三维图像进行分割；所述方法包括如下步骤：
[0008]步骤S1：对输入图像进行预处理与粗分割，以通过裁剪来得到感兴趣区域；
[0009]步骤S2：将得到的感兴趣区域进行下采样获得深度特征，将所述深度特征送入维度分解空间注意力，以获得空间权重；
[0010]步骤S3：将深度特征送入维度分解通道注意力，以获得通道权重；
[0011]步骤S4：将深度特征与空间权重和通道权重连乘，得到最终特征，并将最终特征送入上采样网络得到分割结果。
[0012]优选地，所述对输入图像进行预处理与粗分割，以通过裁剪来得到感兴趣区域包括：
[0013]将输入图像裁剪并重新调整到统一尺寸，去除图像边缘信息的影响；
[0014]将统一尺寸的预处理图像送入粗分割网络，获得粗分割结果；以及对粗分割结果进行腐蚀操作与最大连通区域定位操作，使用固定大小的矩形块对原图与真实标签进行裁剪，获得感兴趣区域。
[0015]优选地，在将得到的感兴趣区域进行下采样获得深度特征之后，还包括将获得的深度特征送入维度分解空间注意力模块生成空间特征。
[0016]优选地，所述将所述深度特征送入维度分解空间注意力，以获得空间权重包括：
[0017]所述维度分解空间注意力首先将输入的深度特征通过池化操作生成空间特征X；空间特征X通过三个大小分别为(H，1，1)、(1，W，1)和(1，1，D)的池化核分解为三个一维方向特征O
H
、O
W
和O
D
，其中H、W及D分别为三维图像的高宽深；
[0018]将得到的三个一维方向特征按照先H、W后D的顺序融合，生成空间权重，包括：先将高度方向特征O
H
与宽度方向特征O
W
通过扩张操作统一到(H，W，1)大小，然后通过一个卷积核大小为3
×3×
3的三维卷积操作，融合高度方向和宽度方向的特征，得到横向中间特征f1，如公式f1＝δ1(F1([t(O
H
),t(O
W
)]))所示，其中[,]代表沿通道进行连接，t代表扩张操作，δ1为非线性激活函数Relu；接着将横向中间特征f1与深度方向特征O
D
通过扩张操作统一到(H，W，D)大小，同样通过一个卷积核大小为3
×3×
3的三维卷积进行融合，经过激活函数Sigmoid得到空间权重F
s
，其中空间权重F
s
＝δ2(F2([t(f1),t(O
D
)]))，其中δ2为非线性激活函数Sigmoid。
[0019]优选地，所述将深度特征送入维度分解通道注意力，以获得通道权重包括：所述维度分解通道注意力首先将输入的深度特征通过池化操作生成空间特征X；空间特征X通过三个大小分别为(H，1，1)、(1，W，1)和(1，1，D)的池化核分解为三个一维方向特征O
H
、O
W
和O
D
，其中H、W及D分别为三维图像的高宽深；
[0020]将输入的深度特征通过池化操作与卷积操作生成通道特征f
c
，其中通道特征f
c
＝δ3(F3(avg(X)))，其中X为输入的深度特征，avg代表全局平均池化操作，F3为卷积核大小为1
×1×
1的三维卷积，δ3为非线性激活函数Relu，f
c
∈R
3c
×1×1×1为得到的维度通道特征集合；
[0021]得到的维度通道特征集合分裂为三个中间特征后与一维方向特征O
H
、O
W
和O
D
分别按通道连接，送入一个卷积核大小为1
×1×
1的三维卷积进行融合，得到H、W、D三个维度通道特征，其中H维度上的特征f
H
∈R
c
×1×1×1由公式f
H
＝δ
H
(F
H
([O
H
,s(f
c
)]))得到，其中[,]代表沿通道维度进行拼接，s为分裂操作，F
H
为1
×1×
1卷积，δ
H
为非线性激活函数Relu；
[0022]W维度和D维度的特征由公式f
W
＝δ
W
(F
W
([O
W
,s(f
c
)]))和f
D
＝δ
D
(F
D
([O
D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于维度分解注意力的两阶段三维图像分割方法，其特征在于，使用两阶段策略与维度分解注意力对三维图像进行分割；所述方法包括如下步骤：步骤S1：对输入图像进行预处理与粗分割，以通过裁剪来得到感兴趣区域；步骤S2：将得到的感兴趣区域进行下采样获得深度特征，将所述深度特征送入维度分解空间注意力，以获得空间权重；步骤S3：将深度特征送入维度分解通道注意力，以获得通道权重；步骤S4：将深度特征与空间权重和通道权重连乘，得到最终特征，并将最终特征送入上采样网络得到分割结果。2.根据权利要求1所述的两阶段三维图像分割方法，其特征在于，所述对输入图像进行预处理与粗分割，以通过裁剪来得到感兴趣区域包括：将输入图像裁剪并重新调整到统一尺寸，去除图像边缘信息的影响；将统一尺寸的预处理图像送入粗分割网络，获得粗分割结果；以及对粗分割结果进行腐蚀操作与最大连通区域定位操作，使用固定大小的矩形块对原图与真实标签进行裁剪，获得感兴趣区域。3.根据权利要求1所述的两阶段三维图像分割方法，其特征在于，在将得到的感兴趣区域进行下采样获得深度特征之后，还包括将获得的深度特征送入维度分解空间注意力模块生成空间特征。4.根据权利要求3所述的两阶段三维图像分割方法，其特征在于，所述将所述深度特征送入维度分解空间注意力，以获得空间权重包括：所述维度分解空间注意力首先将输入的深度特征通过池化操作生成空间特征X；空间特征X通过三个大小分别为(H，1，1)、(1，W，1)和(1，1，D)的池化核分解为三个一维方向特征O
H
、O
W
和O
D
，其中H、W及D分别为三维图像的高宽深；将得到的三个一维方向特征按照先H、W后D的顺序融合，生成空间权重，包括：先将高度方向特征O
H
与宽度方向特征O
W
通过扩张操作统一到(H，W，1)大小，然后通过一个卷积核大小为3
×3×
3的三维卷积操作，融合高度方向和宽度方向的特征，得到横向中间特征f1，如公式f1＝δ1(F1([t(O
H
),t(O
W
)]))所示，其中[,]代表沿通道进行连接，t代表扩张操作，δ1为非线性激活函数Relu；接着将横向中间特征f1与深度方向特征O
D
通过扩张操作统一到(H，W，D)大小，同样通过一个卷积核大小为3
×3×
3的三维卷积进行融合，经过激活函数Sigmoid得到空间权重F
s
，其中空间权重F
s
＝δ2(F2([t(f1),t(O
D
)]))，其中δ2为非线性激活函数Sigmoid。5.根据权利要求1所述的两阶段三维图像分割方法，其特征在于，所述将深度特征送入维度分解通道注意力，以获得通道权重包括：所述维度分解通道注意力首先将输入的深度特征通过池化操作生成空间特征X；空间特征X通过三个大小分别为(H，1，1)、(1，W，1)和(1，1，D)的池化核分解为三个一维方向特征O
H
、O
W
和O
D
，其中H、W及D分别为三维图像的高宽深；将输入的深度特征通过池化操作与卷积操作生成通道...

【专利技术属性】
技术研发人员：张国栋，梁廷宇，李彦林，郭薇，宫照煊，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：