一种医学图像分割方法、系统及电子装置制造方法及图纸

本发明专利技术公开了一种医学图像分割方法，属于医学图像处理领域，通过数据集预处理、建立U型基线分割网络、构建管状特征提取模块、构建多尺度信息融合模块、构建边界引导模块和空间坐标信息特征、构建自注意力蒸馏模块、建立管状器官分割网络、分割网络自动分割出病灶等步骤，提升网络对管状器官的末端精细分支的分割性能，学习到图像全局尺度和局部尺度的上下文信息，充分利用气管、肺血管区域的边界信息和空间位置信息来引导网络更加关注待分割目标的边界区域，提升网络的分割准确度。本发明专利技术还涉及实施上述医学图像分割方法的系统以及电子装置。子装置。子装置。

【技术实现步骤摘要】
一种医学图像分割方法、系统及电子装置


[0001]本专利技术涉及医学图像处理领域，尤其是涉及医学图像分割方法、系统以及电子装置。

技术介绍

[0002]医学图像分割，是根据医学图像的某种相似性特征，将医学图像划分为若干个互不相交的“连通”的区域的过程，是计算机辅助诊断的关键步骤，如胸部CT中气管、肺血管的分割。气管、肺血管的分割有助于观察其形态学变化，以诊断支气管狭窄、慢性阻塞性肺疾病、肺栓塞、动静脉畸形等疾病，还能在支气管镜检查和手术导航中发挥重要作用。
[0003]目前主流的气管、肺血管分割技术大多采用基于卷积神经网络的深度学习方法，尽管这些方法在多个公开数据集上取得了优异的表现，但仍然存在以下挑战：1、粗大管状结构和细微管状结构之间的体素强度分布存在差异。气管和肺血管主支与背景强度对比明显，但随着管径的减小和分叉的增多，管状结构和背景之间的强度差异越来越小，边界越来越模糊。2、完整的气管、肺血管树的空间分布范围广，而气管、肺血管管状结构的末端尺度较小，因此气管、肺血管的分割需要网络兼顾全局尺度和局部尺度的上下文信息。3、卷积神经网络主要基于图像的体素强度来提取特征，但对空间结构信息(如边界信息、空间坐标位置信息)利用不充分。针对以上挑战，研究一种分割精确、应用广泛的医学图像分割算法进行气管、肺血管的分割具有重要意义。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术的目的之一在于提供一种分割精确、应用广泛的医学图像分割方法进行气管、肺血管的分割。
[0005]为了克服现有技术的不足，本专利技术的目的之二在于提供一种分割精确、应用广泛的医学图像分割系统进行气管、肺血管的分割。
[0006]为了克服现有技术的不足，本专利技术的目的之三在于提供一种分割精确、应用广泛的电子装置，以便于进行气管、肺血管的分割。
[0007]本专利技术的目的之一采用如下技术方案实现：
[0008]一种医学图像分割方法，包括以下步骤：
[0009]数据集预处理：采集三维医学图像形成数据集，对数据进行增强处理；
[0010]建立U型基线分割网络：采用3D U
‑
Net作为分割的基线网络，3D U
‑
Net网络包括编码阶段以及解码阶段，编码阶段由三维卷积层、归一化层、非线性激活函数ReLU以及最大池化层组成，采用四层分辨率结构；
[0011]构建管状特征提取模块：通过堆叠图卷积层，使得图中的节点能够学习到与其直接相邻的邻域外的信息，让网络能够从距离当前体素较远但共享了特征信息的图像区域里进行学习；
[0012]构建多尺度信息融合模块：采用三个不同尺度的空洞卷积来扩大感受野并获得多
尺度特征图，采用特征重校准层来自动获取每个通道的权重，然后依据权重去提升有用的特征并抑制对当前任务用处较小的特征；
[0013]构建边界引导模块和空间坐标信息特征：通过构建边界引导模块和空间坐标信息特征来充分利用管状器官区域的边界信息和空间位置信息从而引导网络更加关注待分割目标的边界区域，提升网络的分割准确度；
[0014]构建自注意力蒸馏模块：通过构建自注意力蒸馏模块来充分获取有价值的上下文信息，并在监督信号不足的情况下探索利用自注意力蒸馏本身来充当辅助学习任务，提供额外的监督信号来辅助训练；
[0015]建立管状器官分割网络：在建立好的基线网络上，插入管状特征提取模块、多尺度信息融合模块、自注意力蒸馏模块；
[0016]训练管状器官分割网络：将预处理后的原图及分割金标准送入整个网络进行监督学习；
[0017]分割网络自动分割出病灶：在网络训练好后，保存网络权重，在测试分割网络时只需输入待测试图片，分割网络会自动根据测试图片，分割出病灶。
[0018]进一步地，所述构建管状特征提取模块步骤中，每层图卷积层的图卷积运算的定义为：
[0019][0020]其中，σ(
·
)是修正后的线性单元激活函数(ReLU)，X
l
∈R
M
×
N
是包含M个节点和N个特征输入到第l个GNN层的节点特征矩阵，可学习的GNN卷积的权重为Z是二进制邻接矩阵，Y是从Z派生的度矩阵，邻接矩阵在很大程度上是稀疏的，通过将邻接矩阵处理为稀疏张量，上述的图卷积运算能快速完成。
[0021]进一步地，所述构建管状特征提取模块步骤中，管状特征提取模块的初始特征图定义为：
[0022]X0＝f(H)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0023]其中H∈R
M
×
F
是从3D U
‑
Net导出的F维节点特征矩阵，f(
·
)具有F个输入单元和N个输出单元的线性整流单元以及归一化层。
[0024]进一步地，所述构建多尺度信息融合模块中，采用特征重校准层来自动获取每个通道的权重具体为：特征重校准层首先对输入的特征图进行全局平均池化实现空间维度的特征压缩，生成压缩特征图，然后激活特征图，并为每个通道的特征图生成可学习的权重参数，权重参数用来表示不同特征通道的重要性。
[0025]进一步地，依据权重去提升有用的特征并抑制对当前任务用处较小的特征具体为：对激活特征图进行广播操作(broadcasting)恢复至原始大小，对应元素相加后再与原始输入特征图逐元素相乘得到重新校准的特征图，将提取到的多尺度特征图与特征重校准层连接，为来自不同通道的信息按照重要程度赋予不同的权重，突出有助于分割任务的通道信息，抑制对于分割任务没有帮助的通道信息。
[0026]进一步地，所述构建边界引导模块和空间坐标信息特征步骤的网络结构为：从提取的浅层特征图中检测局部边界信息，得到边界特征图，边界特征图经过两个卷积层后恢复至原始图像大小，并与从金标准中得到的边界图计算损失，得到误差并反向传播更新特
征图，对边界特征图进行监督，引导网络加强对边界区域的关注，帮助网络更好地学习边界特征，从原始图像中提取管状器官体素的坐标，并将坐标信息转换为与网络大小一致的多通道空间坐标信息特征图。
[0027]进一步地，计算边界特征图的过程中使用的损失函数为：
[0028]L
Edge
＝
‑
G
Edge
·
logP
Edge
‑
(1
‑
G
Edge
)log(1
‑
P
Edge
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0029]其中，P
Edge
表示边界特征图，G
Edge
表示边界图的金标准，L
Edge
表示边界特征图和边界图金标准之间的交叉熵损失。
[0030]进一步地，在构建自注意力蒸馏模块步骤的网络结构为：自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学图像分割方法，其特征在于，包括以下步骤：数据集预处理：采集三维医学图像形成数据集，对数据进行增强处理；建立U型基线分割网络：采用3D U
‑
Net作为分割的基线网络，3D U
‑
Net网络包括编码阶段以及解码阶段，编码阶段由三维卷积层、归一化层、非线性激活函数ReLU以及最大池化层组成，采用四层分辨率结构；构建管状特征提取模块：通过堆叠图卷积层，使得图中的节点能够学习到与其直接相邻的邻域外的信息，让网络能够从距离当前体素较远但共享了特征信息的图像区域里进行学习；构建多尺度信息融合模块：采用三个不同尺度的空洞卷积来扩大感受野并获得多尺度特征图，采用特征重校准层来自动获取每个通道的权重，然后依据权重去提升有用的特征并抑制对当前任务用处较小的特征；构建边界引导模块和空间坐标信息特征：通过构建边界引导模块和空间坐标信息特征来充分利用管状器官区域的边界信息和空间位置信息从而引导网络更加关注待分割目标的边界区域，提升网络的分割准确度；构建自注意力蒸馏模块：通过构建自注意力蒸馏模块来充分获取有价值的上下文信息，并在监督信号不足的情况下探索利用自注意力蒸馏本身来充当辅助学习任务，提供额外的监督信号来辅助训练；建立管状器官分割网络：在建立好的基线网络上，插入管状特征提取模块、多尺度信息融合模块、自注意力蒸馏模块；训练管状器官分割网络：将预处理后的原图及分割金标准送入整个网络进行监督学习；分割网络自动分割出病灶：在网络训练好后，保存网络权重，在测试分割网络时只需输入待测试图片，分割网络会自动根据测试图片，分割出病灶。2.根据权利要求1所述的医学图像分割方法，其特征在于：所述构建管状特征提取模块步骤中，每层图卷积层的图卷积运算的定义为：其中，σ(
·
)是修正后的线性单元激活函数(ReLU)，X
l
∈R
M
×
N
是包含M个节点和N个特征输入到第l个GNN层的节点特征矩阵，可学习的GNN卷积的权重为Z是二进制邻接矩阵，Y是从Z派生的度矩阵，邻接矩阵在很大程度上是稀疏的，通过将邻接矩阵处理为稀疏张量，上述的图卷积运算能快速完成。3.根据权利要求2所述的医学图像分割方法，其特征在于：所述构建管状特征提取模块步骤中，管状特征提取模块的初始特征图定义为：X0＝f(H)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中H∈R
M
×
F
是从3D U
‑
Net导出的F维节点特征矩阵，f(
·
)具有F个输入单元和N个输出单元的线性整流单元以及归一化层。4.根据权利要求1所述的医学图像分割方法，其特征在于：所述构建多尺度信息融合模块中，采用特征重校准层来自动获取每个通道的权重具体为：特征重校准层首先对输入的特征图进行全局平均池化实现空间维度的特征压缩，生成压缩特征图，然后激活特征图，并
为每个通道的特征图生成可学习的权重参数，权重参数用来表示不同特征通道的重要性。5.根据权利要求4所述的医学图像分割方法，其特征在于：依据权重去提升有用的特征并抑制对当前任务用处较小的特征具体为：对激活特征图进行广播操作(broadcasting)恢复至原始大小，对应元素相加后再与原始输入特征图逐元素相乘得到重新校准的特征图，将提取到的多尺度特征图与特征重校准层连接，为来自不同通道的信息按照重要程度赋予不同的权重，突出有助于分割任务的通道信息，抑制对于分割任务没有帮助的通道信息。6.根据权利要求1所述的医学图像分割方法，其特征在于：所述构建边界引导模块和空间坐标信息特征步骤的网络结构为：从提取的浅层特征图中检测局部边界信息，得到边界特征图，边界特征图经过两个卷积层后恢复至原始图像大小，并与从金标准中得到的边界图计算损失，得到误差并反向传播更新特征图，对边界特征图进行监督，引导网络加强对边界区域的关注，帮助网络更好地学习边界特征，从原始图像中提取管状器官体素的坐标，并将坐标信息转换为与网络大小一致的多通道空间坐标信息特征图。7.根据权利要求6所述的医学图像分割方法，其特征在于：计算边界特征图的过程中使用的损失函数为：L
Edge
＝
‑
G
Edge
·
log P
Edge
‑
(1
‑
G<...

【专利技术属性】
技术研发人员：郑健，汪子宇，刘德森，曹玉柱，朱峰，陆文强，宋洪，
申请(专利权)人：苏州九龙医院股份有限公司，
类型：发明
国别省市：