全局和局部特征同时提取与融合的多器官分割方法及装置制造方法及图纸

全局和局部特征同时提取与融合的多器官分割方法及装置，能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。包括：(1)对CT图像预处理；(2)设计卷积神经网络CNN和Transformer并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；并行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；(3)进行特征交换、特征一致性损失评估、特征融合。特征融合。特征融合。

【技术实现步骤摘要】
全局和局部特征同时提取与融合的多器官分割方法及装置


[0001]本专利技术涉及医学图像处理和深度学习的
，尤其涉及一种全局和局部特征同时提取与融合的多器官分割方法，以及全局和局部特征同时提取与融合的多器官分割装置。

技术介绍

[0002]腹腔多器官的分割可应用于多个重要临床领域，包括疾病的精准识别、详细分析、合理诊断、预测与预防等，精确的器官分割也是手术导航系统的基础。传统的手动分割方法由于过度依靠医生经验，极其耗费时间等缺陷远远无法满足临床快速、精确的需求。近年来，得益于深度学习技术的飞速进步，基于卷积神经网络(CNN)的医学图像分割方法也得到了十足的发展。基于卷积神经网络的腹腔多器官分割方法取得了不错的效果，但是由于卷积神经网络本身存在的局部性问题，导致其全局和大范围的图像特征提取能力受到一定限制。

技术实现思路

[0003]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种全局和局部特征同时提取与融合的多器官分割方法，其能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。
[0004]本专利技术的技术方案是：这种全局和局部特征同时提取与融合的多器官分割方法，其包括以下步骤：
[0005](1)对CT(Computed Tomography，电子计算机断层扫描)，电子计算机断层扫描图像进行预处理；
[0006](2)设计卷积神经网络CNN(Convolutional Neural Networks)和r/>[0007]Transformer(Transformer是一种神经网络，它通过跟踪序列数据中的关系来学习上下文并因此学习含义)并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；并
[0008]行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin
[0009]Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；
[0010](3)进行特征交换、特征一致性损失评估、特征融合，融合两种编码器特征，消除CNN和Transformer特征的差异性，提升特征融合效果，保证解码器输入特征的一致性和有效性。
[0011]本专利技术提出了一种更加有效的CNN和Transformer混合的腹腔多器官分割网络；同时使用Transformer编码器和CNN编码器混合构成并行编码器，充分发挥CNN的局部特征提能力和Transformer编码器的全局特征提取能力；基于并行编码器，在编码器各个尺度处插入了特征交换模块增强编码器特征流动，缓解不同编码器特征间的差异性；此外，提出了特
征融合模块和特征一致性损失函数对两种编码器输出特征进行耦合，保证解码器输入特征的一致性。因此，能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。
[0012]还提供了全局和局部特征同时提取与融合的多器官分割装置，其包括：
[0013]预处理模块，其配置来对CT图像进行预处理；
[0014]并行编码器，其设计CNN和Transformer并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；
[0015]并行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin
[0016]Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；
[0017]特征操作模块，其配置来进行特征交换、特征一致性损失评估、特征融合，融合两种编码器特征，消除CNN和Transformer特征的差异性，提升特征融合效果，保证解码器输入特征的一致性和有效性。
附图说明
[0019]图1为根据本专利技术的全局和局部特征同时提取与融合的多器官分割方法的流程示意图。
[0020]图2为本专利技术提供的并行编码器的结构图。
[0021]图3为本专利技术提供的特征交换的结构图。
[0022]图4为本专利技术实施例特征融合的结构图。
具体实施方式
[0023]如图1所示，这种全局和局部特征同时提取与融合的多器官分割方法，其包括以下步骤：
[0024](1)对CT图像进行预处理；
[0025](2)如图2所示，设计卷积神经网络CNN和Transformer并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；并行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；
[0026](3)进行特征交换、特征一致性损失评估、特征融合，融合两种编码器特征，消除CNN和Transformer特征的差异性，提升特征融合效果，保证解码器输入特征的一致性和有效性。
[0027]本专利技术提出了一种更加有效的CNN和Transformer混合的腹腔多器官分割网络；同时使用Transformer编码器和CNN编码器混合构成并行编码器，充分发挥CNN的局部特征提能力和Transformer编码器的全局特征提取能力；基于并行编码器，在编码器各个尺度处插入了特征交换模块增强编码器特征流动，缓解不同编码器特征间的差异性；此外，提出了特征融合模块和特征一致性损失函数对两种编码器输出特征进行耦合，保证解码器输入特征的一致性。因此，能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。
[0028]优选地，所述步骤(1)包括图像重采样、像素值裁剪、像素值归一化。
[0029]如图3所示，优选地，所述步骤(3)的特征交换的输入为某一尺度i下的CNN特征C
i
和Transformer特征T
i
，输出为C
Ti
和T
Ci
，i＝1，2，3，通过如下公式表示：
[0030]C
Ti
＝F
att
(F
hw
(C
i
))
[0031]T
Ci
＝F
att
(F
hw
(T
i
))
[0032]函数F
hw
(
·
)表示不同特征图加权得到混合加权特征图C
w
和T
w
的过程：
[0033]F
hw
(C
i
)＝C
i
*W
c
+T
i
*W
tc
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.全局和局部特征同时提取与融合的多器官分割方法，其特征在于：其包括以下步骤：(1)对CT图像进行预处理；(2)设计卷积神经网络CNN和Transformer并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；并行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；(3)进行特征交换、特征一致性损失评估、特征融合，融合两种编码器特征，消除CNN和Transformer特征的差异性，提升特征融合效果，保证解码器输入特征的一致性和有效性。2.根据权利要求1所述的全局和局部特征同时提取与融合的多器官分割方法，其特征在于：所述步骤(1)包括图像重采样、像素值裁剪、像素值归一化。3.根据权利要求2所述的全局和局部特征同时提取与融合的多器官分割方法，其特征在于：所述步骤(3)的特征交换的输入为某一尺度i下的CNN特征C
i
和Transformer特征T
i
，输出为C
Ti
和T
Ci
，i＝1，2，3，通过如下公式表示：C
Ti
＝F
att
(F
hw
(C
i
))T
ci
＝F
att
(F
hw
(T
i
))函数F
hw
(
·
)表示不同特征图加权得到混合加权特征图C
w
和T
w
的过程：F
hw
(C
i
)＝C
i
*W
c
+T
i
*W
tc
F
hw
(T
i
)＝T
i
*W
t
+C
i
*W
ct
其中*为逐像素相乘操作，W
c
、W
tc
、W
t
、W
ct
为各个特征图的权重；函数F
att
(
·
)表示特征耦合过程，经加权得到的混合加权特征图除有用信息外仍包含其余无关信息，经过卷积操作重新映射和sigmod函数激活，起到抑制无关信息，突出关键信息的作用，具体过程如下：F
att
(C
Ti
)＝Sigmod(Conv(C
w
))*C
w
F
att
(TC
i
)＝Sigmod(Conv(T
w
))*T
w
其中Conv为跨度为1*1*1，卷积核大小为3*3*3的卷积操作，Sigmod为sigmod函数。4.根据权利要求3所述的全局和局部特征同时提取与融合的多器官分割方法，其特征在于：所述步骤(3)的特征融合对两种特征进行充分耦合，表示为：D＝F
h
(F
h
(C3+T3))其中函数F
h
(
·
)表示为：F
h
(x)＝relu(conv(x))*sigmod(conv(x))其中relu表示Relu函数；Transformer和CNN编码器特征图输入后，直接进行相加得到混合特征图。5.根据权利要求4所述的全局和局部特征同时提取与融合的多器官分割方法，其特征在于：所述步骤(3)的特征融合，为突出混合特征图中的关键信息，F
h
(x)函数首先通过两个独立的卷积操作对混合特征图进行不同映射，映射得到的特征图分别经过relu和sigmod函数，其中经过relu函数的特征图实现对混合特征图进行初步融合，经过sigmod函数激活后的特征图为混合特征图的权重分布，权值大小表示该位置特征的重要程度；将权重和新映射的特征图相乘得到调整后的特征图，实现不同特征图的充分耦合，保证融合后特征的有效性。
6.根据权利要求5所述的全局和局部特征同时提取与融合的多器官分割方法，其特征在于：所述步骤(3)的特征融合，为了进一步保证Transformer和CNN编码器特征的充分耦合，F
h
(x)函数在特征融合模块使用两次。7.根据权利要求6所述的全局和局部特征同时提取与融合的多器官分割方法，其特征在于：所述步骤(3)中，特征一致性损失函数L
con
采用均方差函数，作用于并行编码器结束处以保证解码器输入特征的有效性和一致性，公...

【专利技术属性】
技术研发人员：林毓聪，李宗雨，艾丹妮，杨健，梁萍，范敬凡，肖德强，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：