一种基于联合编码器网络制造技术

本发明专利技术提出一种基于联合编码器网络的医学图像分割方法，主要解决了现有方法易丢失局部前景信息导致的欠分割和过度分割等问题

【技术实现步骤摘要】
一种基于联合编码器网络GPA
‑
TUNet的医学图像分割方法


[0001]本专利技术涉及人工智能
、
深度学习和计算机视觉在医疗
方面的应用，属于计算机辅助医疗

。

技术介绍

[0002]随着中国人口老龄化，人们对疾病的认识不断加深，健康意识不断提高
。
疾病的诊断需要医生分析和鉴别
CT
或
MR
图等等，这势必会产生大量的工作量
。
因此，利用计算机辅助医生进行诊断已成为当务之急
。
由此，计算机辅助诊断技术在医学研究
、
病理分析
、
图像信息处理等方面具有广泛的应用和研究价值
。
医学图像分割在疾病诊断和临床医学中起着极其重要的作用
。
早期的医学图像分割系统主要是基于传统的图像分割算法构建的
。
如基于边缘检测的方法和基于区域的方法
。
[0003]随着计算机技术的快速发展，基于卷积神经网络
(Convolutional Neural Network, CNN)
的深度学习算法取得了重要突破
。UNet
就是一种基于
CNN
的医学图像分割网络
。
它由编码器
‑
解码器组成，已被证明对许多不同的分割任务有效
。
例如，来自磁共振
(MR)
的心脏分割，来自计算机断层扫描
(CT)
的器官分割，来自结肠镜视频的息肉分割等
。
[0004]虽然
U
‑
Net
在医学图像分割中占据主导地位，但是它及其它的衍生模型都面临着
CNN
类模型（包括全卷积网络（
fully convolutional nets
，（
FCNs
））无法避免的共同问题
:
缺乏长期全局相关建模能力
。
主要原因是
CNN
只是简单地提取局部信息，而不能有效地度量全局相关性
。
[0005]近年来，许多研究学者尝试通过使用
Transformer
编码器来解决以上问题
。Transformer
最初是为了序列到序列预测而设计的，它是一种基于自注意
(self
‑
attention, SA)
的模型
。SA
是
Transformer
的核心部分
。
由于
SA
能够对所有输入令牌之间的相关性进行建模，因此
Transformer
能够处理全局长期依赖关系
。
在这种情况下，最近的一些工作已经取得了令人满意的结果，纯
Transformer
模型也出现了
。
[0006]由于医学图像的前景信息通常以区域块的形式呈现，因此局部细节信息对分割结果同样重要
。
然而，
Transformer
侧重于提取全局信息，而弱化了局部信息，因此它在医学图像分割任务中也存在一些不足
。
如何恰当地突出前景信息，弱化背景信息，以及如何更好地联合建模局部信息和全局相关依赖关系成为我们研究和专利技术的重点
。

技术实现思路

[0007]针对医学图像而言，前景多是以区域块的形式出现，所以其局部前景信息与全局信息对分割结果都具有非常重要的影响
。
如何利用计算机技术更简单高效地进行局部与全局相关性建模，获取患者的病理信息，对采集到的患者原始病理图精确地进行分割与预测，在节约大量人力和工作量的前提下，提升医院医疗技术的效率，是我们研究的重点
。
[0008]本专利技术的技术思路为：提出一种注意力机制用来突出样本局部前景信息的重要性，名为分组并行轴向注意力机制（
GPA
）
。
该注意力将输入按通道数均分为两组，上支路进
行基于样本宽度上的注意力权值更新，下支路进行基于样本高度上的注意力权值更新
。
通过拼接将特征图还原，随后进行通道混洗实现不同组之间信息的流动与交互
。
通过
GPA
增强网络对局部前景信息的感知能力，进行局部建模
。
我们同时利用
Transformer
将图像特征作为序列进行强大的全局上下文编码
。
结合
GPA
和
Transformer
，我们提出联合编码方法，恰当地突出医学图像前景信息，弱化背景信息，并且更好地联合建模图像局部信息依赖和全局相关依赖
。
有效利用 GPA
注意力机制和
Transformer
各自在提取图像特征方面的优势，实现医学图像分割的目的，最终提供一种分割精度高
、
鲁棒性好的多器官医学图像分割方法
。
其实现方案包括如下：（1）构建基于分组并行轴向注意力与
Transformer
联合编码的
GPA
‑
TUNet
：（
1a
）利用
CNN
用于局部粗略特征信息提取；（
1b
）构建分组并行轴向注意力（
GPA
）用于局部前景特征信息提取；（
1c
）利用视觉
Transformer
进行全局特征的提取；（
1d
）构建分组并行轴向注意力（
GPA
）与
Transformer
联合编码的方法；（
1e
）利用稀疏多层感知机（
sMLP
）进一步增强全局特征编码；（
1f
）采用上采样
、
扩张卷积及跳跃连接恢复原始图像分辨率，得到分割预测图并按标记；（2）对基于分组并行轴向注意力与
Transformer
联合编码的
GPA
‑
TUNet
进行训练：（
2a
）从公共的医学图像分割数据集网址下载多器官分割数据集（已经包含随机旋转
、
翻转等操作的数据集增强），经过格式转换等操作将这些数据集转换为我们网络能够读取的形式；（
2b
）；将经过转换后的数据集送入
GPA
‑
TUNet
进行训练学习，由解码器得到输出分割预测图，利用骰子损失和交叉熵损失的混合损失函数计算预测图与真实标签的损失值；（
2c
）经过多轮迭代，损失函数将达到收敛，此时模型已训练好，达到理想的预测精度；（3）利用训练完备的基于分组并行轴向注意力与
T本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于联合编码器网络
GPA
‑
TUNet
的医学图像分割方法，其特征在于：所述医学图像分割方法包括以下步骤：（1）构建基于分组并行轴向注意力与
Transformer
联合编码的
GPA
‑
TUNet
：（
1a
）利用
CNN
用于局部粗略特征信息提取
,
构建分组并行轴向注意力（
GPA
）用于局部前景特征信息提取，利用视觉
Transformer
进行全局特征的提取，构建分组并行轴向注意力（
GPA
）与
Transformer
联合编码的方法；（
1b
）利用稀疏多层感知机（
sMLP
）进一步增强全局特征编码；（
1c
）采用上采样
、
扩张卷积及跳跃连接恢复原始图像分辨率，得到分割预测图并按标记；（2）对基于分组并行轴向注意力与
Transformer
联合编码的
GPA
‑
TUNet
进行训练：从公共的医学图像分割数据集网址下载多器官分割数据集（已经包含随机旋转
、
翻转等操作的数据集增强），经过格式转换等操作将这些数据集转换为我们网络能够读取的形式；将经过转换后的数据集送入
GPA
‑
TUNet
进行训练学习，由解码器得到输出分割预测图，利用骰子损失和交叉熵损失的混合损失函数计算预测图与真实标签的损失值，经过多轮迭代，损失函数将达到收敛，此时模型已训练好，达到理想的预测精度；（3）利用训练完备的基于分组并行轴向注意力与
Transformer
联合编码的
GPA
‑
TUNet
进行多器官分割测试，将测试集送入已训练好的模型中进行预测，得到相应的分割预测图，并将不同器官赋予不同颜色更直观地显示出来
。2.
如权利要求1所述（1）的基于联合编码网络
(GPA
‑
TUNet)
的医学图像分割方法，其特征在于：总的来说，
GPA
‑
TUNet
编码器由
CNN、GPA Attention
与
Transformer
组成；为了进一步提高网络的全局建模能力，我们在编码器末端，上采样之前加入
sMLP
模块；解码器由上采样
、
扩张卷积与跳跃连接用以恢复图像分辨率，生成预测图
。3.
如权利要求1所述（
1a
）的基于联合编码网络
(GPA
‑
TUNet)
的医学图像分割算法及系统，其特征在于：
GPA
‑
TUNet
首先使用
CNN
提取输入医学图像的粗略特征，
CNN
网络采用
ResNet50
提取样本局部粗略特征
。4.
如权利要求1所述（
1a
）的基于联合编码网络
(GPA
‑
TUNet)
的医学图像分割方法，其特征在于：
GPA
‑
TUNet
经
CNN
提取粗略特征后，再经过
GPA
进行轴向局部前景信息的特征提取；
GPA
的整体流程如下：
GPA
根据通道数量将输入均分为上下两个分支，分别表示为和，上分支实现基于像素的水平（宽度）注意力；下支路实现基于像素的垂直（高度）的注意力，上分支是基于像素的水平注意
(
样本宽度注意
)
计算，公式描述为
:(1)
其中，
、
为全连接层；使图像的宽度变大，高度不变；
softmax
操作维度设置为1；
HPA (Horizontal Pixel algorithm)
是指按照图像宽度上的像素值更新特征编码，更新方法计算公式如下
:(2)
其中
C
为通道数，表示点的像素值；下路分支是一个基于像素的垂直注意
(
样本高度注意
)
计算，公式描述为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
其中
、 为全连接层； 使图像的高度更大，并保持宽度；
softmax
操作维度设置为1；
VPA (Vertical Pixel algorithm)
是指按照图像高度上的像素值更新特征编码，更新方法为：将每个
patch
的像素值除以其所在列的所有像素值之和，将新的权重分别分配给每个
patch
；我们将和级联拼接，得到，经过通道混洗和激活函数，得到输出向量：假设输入通道数
C
分为
g
组，每组包含
n
个通道；将通道
C
分成
(g, n)
两个维度；然后将
(g, n)
转置为
(n, g)
，最后将
(n, g)
维重构为一维
C (C=n*g)
；通过这种方式，信息可以在不同的分组之间流动与交互；对输出向量的激活采用了一种新的激活函数
ACON
‑
C
，公式表述为
:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
形式上， , ()
，
ACON
‑
C
能够自适应地选择是否激活神经元，它通过
β
的值来控制神经元是否被激活
(
β
...

【专利技术属性】
技术研发人员：李超群，汪烈军，程述立，
申请(专利权)人：新疆大学，
类型：发明
国别省市：