基于多分支网络的CT图像肝脏肿瘤区域自动分割方法技术

本发明专利技术公开了一种基于多分支网络的CT图像肝脏肿瘤区域自动分割方法，包括：(1)建立包含原始CT图像及其肝脏肿瘤手动分割结果和方向信息的训练数据集A；(2)构建一种融合自注意力机制和方向信息的深度卷积多分支网络模型；(3)构建网络损失函数；(4)采用训练数据集A对网络进行训练；(5)运用训练好的网络模型对测试图像进行分割，得到最终的肝脏肿瘤分割结果。本发明专利技术是一种全自动的肝脏肿瘤分割方法，通过在卷积网络中引入自注意力模块和基于方向信息的方向修正模块，解决了卷积网络在肝脏肿瘤分割中难以建立远距离目标依赖关系，以及肿瘤边界识别不准确的问题，有效提升了肝脏肿瘤的分割精度。瘤的分割精度。瘤的分割精度。

【技术实现步骤摘要】
基于多分支网络的CT图像肝脏肿瘤区域自动分割方法


[0001]本专利技术涉及医学图像处理
，特别涉及一种基于多分支网络的CT图像肝脏肿瘤区域自动分割方法。

技术介绍

[0002]肝脏肿瘤分割是提取医学图像中肝脏病变组织的定量信息(如体积、形状、尺寸等)不可缺少的手段，对肝脏肿瘤放射治疗、手术规划、疗效评估等起着至关重要的作用。目前，临床上肝脏肿瘤的分割主要由医师根据病人CT图像数据中的解剖结构手工勾画完成。由于每个病人CT切片多达上百张，手工分割耗时耗力，并且受医师经验与知识水平影响，不同医师的分割结果存在显著差异。因此，研究CT图像的肝脏肿瘤自动分割方法对提高肿瘤勾画效率和精度具有重要意义。
[0003]现有的肝脏肿瘤自动分割方法主要分为传统方法和基于深度学习的方法。传统自动分割方法主要包括阈值、区域生长、聚类等，这些方法通常需要人为指定感兴趣区域或种子点，分割效率低，并且受CT图像边界模糊、毗邻组织灰度接近等因素影响，分割准确性低。随着深度学习技术的发展，近年来，不少文献提出了基于深度学习的肝脏肿瘤自动分割方法。这些现有的基于深度学习的方法大多采用深度卷积网络实现肝脏肿瘤的自动分割。由于卷积网络中卷积核尺寸大小固定，其感受野较小，难以提取图像中远距离像素之间的特征关系，分割精度不高。另外，由于肝脏肿瘤边界模糊，现有的基于深度学习的方法，易在肿瘤边界外出现欠分割或过分割。

技术实现思路

[0004]针对现有技术缺点与不足，本专利技术将自注意力模块和基于方向信息的方向修正模块融入深度卷积网络的构建，旨在提供一种基于多分支网络的CT图像肝脏肿瘤区域自动分割方法，解决卷积网络在肝脏肿瘤分割中难以建立远距离目标依赖关系，以及肿瘤边界识别不准确问题，提高肝脏疾病计算机辅助诊断的精度和效率。
[0005]基于多分支网络的CT图像肝脏肿瘤区域自动分割方法，包括以下步骤：
[0006](1)从肝脏肿瘤分割公共数据库获取包含原始CT图像及其肝脏肿瘤手动分割结果的原始训练数据集，并根据其中的肝脏肿瘤手动分割结果，获取指向肝脏肿瘤边界的方向信息，具体过程包括：
[0007](1
‑
a)对于CT图像中的每一个像素i，根据肝脏肿瘤手动分割结果判断该像素i是否属于肝脏肿瘤区域，若i属于非肝脏肿瘤区域，则从肝脏肿瘤区域获取与像素i欧氏距离最近的像素j，若i属于肝脏肿瘤区域，则从非肝脏肿瘤区域获取与像素i欧氏距离最近的像素j；
[0008](1
‑
b)根据像素i和j的相对位置关系，采用如下公式计算像素i指向肝脏肿瘤边界的方向D(i)：
[0009]D(i)＝(D(i)
x
,D(i)
y
)
[0010][0011][0012]其中，D(i)
x
和D(i)
y
分别表示像素i的方向信息在行和列方向上的值，i
x
和i
y
分别表示像素i的行和列坐标，j
x
和j
y
分别表示像素j的行和列坐标；
[0013](2)建立包含原始CT图像及其肝脏肿瘤手动分割结果与方向信息的训练数据集A；
[0014](3)构建一种融合自注意力机制和方向信息的深度卷积多分支网络，称之为MlpBran
‑
Net，该网络包含初始分割模块、方向信息提取模块和方向修正模块，具体构建过程包括：
[0015](3
‑
a)构建初始分割模块，该网络模块共包含五个卷积模块、四个反卷积模块、一个自注意力模块和一个输出层，其中，第一个卷积模块的输出同时作为第二个卷积模块和第四个反卷积模块的输入；第二个卷积模块的输出同时作为第三个卷积模块和第三个反卷积模块的输入；第三个卷积模块的输出同时作为第四个卷积模块和第二个反卷积模块的输入；第四个卷积模块的输出同时作为第五个卷积模块和自注意力模块的输入；自注意力模块的输出和第五个卷积模块的输出共同作为第一个反卷积模块的输入；此外，上一个反卷积模块的输出均作为下一个反卷积模块的输入；初始分割模块包含的输出层由1个大小为1
×
1的卷积层构成，将该输出层记作第一个输出层；第四个反卷积模块的输出作为第一个输出层的输入，该输出层的输出为肝脏肿瘤初始分割结果；
[0016](3
‑
b)在步骤(3
‑
a)所述的初始分割模块中，第一至第四个卷积模块均由2个大小为3
×
3的卷积层和1个大小为2
×
2的最大池化层依次连接组成，第五个卷积模块由2个大小为3
×
3的卷积层依次连接组成；
[0017](3
‑
c)在步骤(3
‑
a)所述的初始分割模块中，每个反卷积模块均由1个大小为3
×
3的反卷积层、1个拼接层和2个大小为3
×
3的卷积层依次连接组成，其中：第一个反卷积模块中反卷积层的输入为第五个卷积模块的输出，此后，下一个反卷积模块中反卷积层的输入均为上一个反卷积模块的输出；第一个反卷积模块中拼接层的输入包括当前反卷积模块中反卷积层的输出和自注意力模块的输出，第二至第四个反卷积模块中拼接层的输入包括当前反卷积模块中反卷积层的输出和与该反卷积模块相连的卷积模块的输出；每个反卷积模块中的2个卷积层分别记作第一个卷积层和第二个卷积层，第一个卷积层的输入为当前反卷积模块中拼接层的输出，第二个卷积层的输入为当前反卷积模块中第一个卷积层的输出；
[0018](3
‑
d)在步骤(3
‑
a)所述的初始分割模块中，自注意力模块采用残差结构设计，包括依次连接的图像分块层、线性映射层、n个自注意力层和图像尺寸重定义层，以及一个跳跃连接，其中：图像分块层将第四个卷积模块输出的特征图分成若干子块；线性映射层将这些子块平坦化后，线性映射到M维子空间；每个自注意力层由多头注意力和多层感知机组成；图像尺寸重定义层将最后一个自注意力层的输出转换为与第四个卷积模块输出尺寸相同的特征图；通过引入跳跃连接将图像尺寸重定义层获取的特征图与第四个卷积模块输出的特征图相加，并将相加结果作为第一个反卷积模块的一个输入；所述n优选4～8的常数，M
优选400～900的常数；
[0019](3
‑
e)构建方向信息提取模块，具体包括：首先，在初始分割模块中的第一个、第二个、和第三个反卷积模块之后分别增加一个反卷积模块，分别记作第五个、第六个和第七个反卷积模块，每个新增的反卷积模块均由1个大小为3
×
3的反卷积层和2个大小为3
×
3的卷积层依次连接组成；接着，在第五个、第六个和第七个反卷积模块之后增加一个拼接层，将第五个、第六个和第七个反卷积模块的输出与初始分割模块中第四个反卷积模块的输出进行拼接；最后，将拼接之后的结果输入一个由大小为1
×
1的卷积层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多分支网络的CT图像肝脏肿瘤区域自动分割方法，其特征在于，包括以下步骤：(1)从肝脏肿瘤分割公共数据库获取包含原始CT图像及其肝脏肿瘤手动分割结果的原始训练数据集，并根据其中的肝脏肿瘤手动分割结果，获取指向肝脏肿瘤边界的方向信息，具体过程包括：(1
‑
a)对于CT图像中的每一个像素i，根据肝脏肿瘤手动分割结果判断该像素i是否属于肝脏肿瘤区域，若i属于非肝脏肿瘤区域，则从肝脏肿瘤区域获取与像素i欧氏距离最近的像素j，若i属于肝脏肿瘤区域，则从非肝脏肿瘤区域获取与像素i欧氏距离最近的像素j；(1
‑
b)根据像素i和j的相对位置关系，采用如下公式计算像素i指向肝脏肿瘤边界的方向D(i)：D(i)＝(D(i)
x
,D(i)
y
))其中，D(i)
x
和D(i)
y
分别表示像素i的方向信息在行和列方向上的值，i
x
和i
y
分别表示像素i的行和列坐标，j
x
和j
y
分别表示像素j的行和列坐标；(2)建立包含原始CT图像及其肝脏肿瘤手动分割结果与方向信息的训练数据集A；(3)构建一种融合自注意力机制和方向信息的深度卷积多分支网络，称之为MlpBran
‑
Net，该网络包含初始分割模块、方向信息提取模块和方向修正模块，具体构建过程包括：(3
‑
a)构建初始分割模块，该网络模块共包含五个卷积模块、四个反卷积模块、一个自注意力模块和一个输出层，其中，第一个卷积模块的输出同时作为第二个卷积模块和第四个反卷积模块的输入；第二个卷积模块的输出同时作为第三个卷积模块和第三个反卷积模块的输入；第三个卷积模块的输出同时作为第四个卷积模块和第二个反卷积模块的输入；第四个卷积模块的输出同时作为第五个卷积模块和自注意力模块的输入；自注意力模块的输出和第五个卷积模块的输出共同作为第一个反卷积模块的输入；此外，上一个反卷积模块的输出均作为下一个反卷积模块的输入；初始分割模块包含的输出层由1个大小为1
×
1的卷积层构成，将该输出层记作第一个输出层；第四个反卷积模块的输出作为第一个输出层的输入，该输出层的输出为肝脏肿瘤初始分割结果；(3
‑
b)在步骤(3
‑
a)所述的初始分割模块中，第一至第四个卷积模块均由2个大小为3
×
3的卷积层和1个大小为2
×
2的最大池化层依次连接组成，第五个卷积模块由2个大小为3
×
3的卷积层依次连接组成；(3
‑
c)在步骤(3
‑
a)所述的初始分割模块中，每个反卷积模块均由1个大小为3
×
3的反卷积层、1个拼接层和2个大小为3
×
3的卷积层依次连接组成，其中：第一个反卷积模块中反卷积层的输入为第五个卷积模块的输出，此后，下一个反卷积模块中反卷积层的输入均为上一个反卷积模块的输出；第一个反卷积模块中拼接层的输入包括当前反卷积模块中反卷积层的输出和自注意力模块的输出，第二至第四个反卷积模块中拼接层的输入包括当前反卷积模块中反卷积层的输出和与该反卷积模块相连的卷积模块的输出；(3
‑
d)在步骤(3
‑
a)所述的初始分割模块中，自注意力模块采用残差结构设计，包括依
次连接的图像分块层、线性映射层、n个自注意力层和图像尺寸重定义层，以及一个跳跃连接，其中，图像分块层将第四个卷积模块输出的特征图分成若干子块；线性映射层将这些子块平坦化后，线性映射到M维子空间；每个自注意力层由多头注意力和多层感知机组成；图像尺寸重定义层将最后一个自注意力层的输出转换为与第四个卷积模块输出尺寸相同的特征图；通过引入跳跃连接将图像尺寸重定义层获取的特征图与第四个卷积模块输出的特征图相加，并将相加结果作为第一个反卷积模块的一个输入；(3
‑
e)构建方向信息提取模块，具体包括：首先，在初始分割模块中的第一个、第二个、和第三个反卷积模块之后分别增加一个反卷积模块，分别记作第五个、第六个和第七个反卷积模块，每个新增的反卷积模块均由1个大小为3
×
3的反卷积层和2个大小为3
×
3的卷积层依次连接组成；接着，在第五个、第六个和第七个反卷积模块之后增加一个拼接层，将第五个、第六个和第七个反卷积模块的输出与初始分割模块中第四个反卷积模块的输出进行拼接；最后，将拼接之后的结果输入一个由大小为1
×
1的卷积层构成的输出层，该输出层记作第二个输出层，第二个输出层的输出为方向信息；(3
‑
f)构建方向修正模块，具体包括：首先，将方向信息提取模块输出的方向信息和初始分割模块中第四个反卷积模块输出的特征图作为输入，构建方向修正层，其特征在于，该方向修正层可利用方向信息对第四个反卷积模块输出的特征图F中每个像素的特征值进行迭代更新，使远离肝脏肿瘤边界的像素的特征值逐渐向边界移动，具体计算公式如下：F
t
(p
x
,p
y
)＝F
t
‑1(p
x
‑
D(p)
x
,p
y
‑
D(p)
y
)其中，p
x
和p
y
分别为像素p的行和列坐标，F
t
(p
x
,p
y
)表示特征图F迭代更新t次后像素p的特征...

【专利技术属性】
技术研发人员：邸拴虎，赵于前，廖苗，
申请(专利权)人：中南大学，
类型：发明
国别省市：