一种基于双向门控记忆网络的交互式三维医学图像分割方法技术

本发明专利技术公开了一种基于双向门控记忆网络的交互式三维医学图像分割方法，包括：采用内外指导的交互网络处理专家标注的切片S

【技术实现步骤摘要】
一种基于双向门控记忆网络的交互式三维医学图像分割方法


[0001]本专利技术涉及医学图像分割
，具体涉及一种基于双向门控记忆网络的交互式三维医学图像分割方法。

技术介绍

[0002]近年来，深度学习技术在医学图像语义分割领域中取得了最先进的成果。例如，传统的UNet框架使用拼接操作融合特征图，它的提出就是为了解决医学图像分割任务中鲁棒性差等问题，利用U型的网络结构缓解了全卷积神经网络无法获取上下文信息和位置关系的问题。UNet的编码器通过逐步下采样提取特征以学习全局上下文表示，解码器则将提取到的特征逐步上采样得到输入分辨率以进行特征融合。虽然基于UNet框架进行改进的各种网络模型在处理医学图像方面得到了广泛的应用，但是在学习长期依赖关系方面的表现受限于其本地化的接收域。因此，模型在获取多尺度信息方面存在缺陷，导致了对形状不规则的病理区域分割精度低。虽然近些年的研究表明这些技术已经在各种类型的分割任务上展现出了优异的性能，但是由于医学图像固有的局限性，如低对比度，不同的成像和分割规则，以及患者之间的差异性等，其在临床医学应用中的表现仍有限制。主要原因如下：当训练数据和测试数据分布不一致时，深度学习网络模型对其分布偏移比较敏感，基于深度学习的自动分割网络对未知新样本的泛化能力差，导致无法适用于特殊群体；手动分割方法需要对每个目标对象进行标注，这个过程需要大量的人工操作，若未对目标区域进行标注，则网络无法进行下一步分割，所以不适用于大型且复杂的医学图像数据集。
[0003]目前一些研究使用交互式分割技术解决以上问题，在自动分割网络训练过程中加入用户标注，从而使分割结果更准确、科学。许多传统的交互方法通过低质量特征(如灰度或颜色分布)进行图像分割，如Graph Cuts、GeoS等，由于低质量特征在许多低对比度的情况下不能有效地分割目标区域，且这些方法往往需要大量的用户交互，才能获得可靠的结果，因此在复杂的医学图像分割任务中并不适用。现有三维医学图像分割研究中，结合深度学习的交互式分割方法可以有效解决传统分割方法在处理医学图像过程中出现的不足，利用深度学习技术减少用户交互，使网络挖掘出更丰富的病灶特征信息，能够更好地处理复杂目标、弱边缘等问题，其不仅提高了模型分割效率，并且只需要少量用户干预就能获得准确的分割结果。
[0004]中国专利文献CN101819679B公开的一种三维医学图像分割方法，利对图像进行三维重构以及高斯滤波平滑计算梯度信息，虽然该方法能够分别生成多个感兴趣区域的三维图像，但是在分割小目标及特殊病灶上处理能力有限。
[0005]中国专利文献CN111798458A公开了一种基于不确定性引导的交互式医学图像分割方法，利用分组卷积神经网络对三维医学图像进行初始分割和不确定性估计，其虽然提高了分割准确性，但是由于网络利用高置信度的特定区域来不断补充当前标注的样本，以减少由低置信度不确定区域引起的不正确分割，因此，需要大量的计算将低级特征表示为高级特征，这使得它不适合用于计算资源有限的应用。
[0006]《DeepIGeoS:A Deep Interactive Geodesic Framework for Medical Image Segmentation》提出通过测地线距离变换将用户交互与卷积神经网络结合起来。但是，DeepIGeoS只能处理训练集中存在的已知对象，对未知对象缺乏适应性。
[0007]《MIDeepSeg:Minimally Interactive Segmentation of Unseen Objects from Medical Images Using Deep Learning》该标注算法在大量新的未见过的器官和图像模态中具有优越的性能，但是其没有考虑三维医学图像的长期依赖关系以及远程空间上下文信息，对于狭长目标及不规则病灶存在分割不准确的问题，并且该网络识别用户注释类型有限。

技术实现思路

[0008]本专利技术的目的在于，提供一种基于双向门控记忆网络(Bi
‑
MEM)的交互式三维医学图像分割方法，其利用启发式的交互信息能够识别疑难性病例，实现更精准的分割。
[0009]为实现上述目的，本申请提出一种基于双向门控记忆网络的交互式三维医学图像分割方法，包括：
[0010]采用内外指导(IOG)的交互网络处理专家标注的切片S
i
；
[0011]通过遵循键值嵌入机制的记忆网络将当前查询切片与记忆存储器中内存切片进行特征匹配；
[0012]在记忆网络中增设双向门控循环单元Bi
‑
GRU，用于获取查询切片的上下文信息；
[0013]使用空洞空间卷积池化金字塔ASPP扩大感受野，实现查询切片的多尺度特征整合。
[0014]进一步的，采用内外指导(IOG)的交互网络处理专家标注的切片S
i
，具体为：专家选取一张切片S
i
对其病灶区域进行标注，利用内外指导的交互网络对所述切片S
i
的病灶区域进行初始分割，得到二维分割掩码M
i
，其中，i表示整组病例的第i个切片。
[0015]进一步的，所述内外指导的交互网络将分割任务建模为学习双向顺序图像块的表示；专家点击所述切片S
i
的目标病灶粗略中心点，初步确定该目标病灶的大致位置，然后多条射线从病灶区域内部延伸到外部，学习这些顺序图像块的特征表示，捕捉从目标到背景、从背景到目标方向的形状和外观变化。
[0016]进一步的，通过遵循键值嵌入机制的记忆网络对特征进行检索匹配，具体为：将输入病例中当前需要分割的切片作为查询切片S
q
，所述查询切片S
q
和内存切片S
m
通过专用的编码器编码成键值对映射，即查询编码器只接受查询切片S
q
作为输入，而记忆编码器同时接受内存切片S
m
及其分割掩码M
m
作为输入。
[0017]进一步的，所述记忆网络通过查询切片S
q
的键映射K
q
和记忆存储器中内存切片S
m
的键映射K
m
之间的相似性进行特征匹配，然后使用相对匹配分数来比较记忆存储器中内存切片S
m
的内存值映射V
m
，然后加权和检索内存值映射V
m
，将其与查询值映射V
q
组合输出；如果存在多个内存切片S
m
，则将它们分别嵌入键值映射中，然后不同内存切片S
m
的键和值映射进行堆叠操作，输出一组三维键值映射。
[0018]更进一步的，在门控循环单元中，每个单元的输入包括切片的特征信息x
t
，上一个单元的隐藏状态信息h
t
‑1，新生成的隐藏信息h
t
以及候选状态h'，每个门控循环单元GRU包括更新门z、重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向门控记忆网络的交互式三维医学图像分割方法，其特征在于，包括：采用内外指导的交互网络处理专家标注的切片S
i
；通过遵循键值嵌入机制的记忆网络将当前查询切片与记忆存储器中内存切片进行特征匹配；在记忆网络中增设双向门控循环单元Bi
‑
GRU，用于获取查询切片的上下文信息；使用空洞空间卷积池化金字塔ASPP扩大感受野，实现查询切片的多尺度特征整合。2.根据权利要求1所述一种基于双向门控记忆网络的交互式三维医学图像分割方法，其特征在于，采用内外指导的交互网络处理专家标注的切片S
i
，具体为：专家选取一张切片S
i
对其病灶区域进行标注，利用内外指导的交互网络对所述切片S
i
的病灶区域进行初始分割，得到二维分割掩码M
i
，其中，i表示整组病例的第i个切片。3.根据权利要求2所述一种基于双向门控记忆网络的交互式三维医学图像分割方法，其特征在于，所述内外指导的交互网络将分割任务建模为学习双向顺序图像块的表示；专家点击所述切片S
i
的目标病灶粗略中心点，初步确定该目标病灶的大致位置，然后多条射线从病灶区域内部延伸到外部，学习这些顺序图像块的特征表示，捕捉从目标到背景、从背景到目标方向的形状和外观变化。4.根据权利要求1所述一种基于双向门控记忆网络的交互式三维医学图像分割方法，其特征在于，通过遵循键值嵌入机制的记忆网络对特征进行检索匹配，具体为：将输入病例中当前需要分割的切片作为查询切片S
q
，所述查询切片S
q
和内存切片S
m
通过专用的编码器编码成键值对映射，即查询编码器只接受查询切片S
q
作为输入，而记忆编码器同时接受内存切片S
m
及其分割掩码M
m
作为输入。5.根据权利要求4所述一种基于双向门控记忆网络的交互式三维医学图像分割方法，其特征在于，所述记忆网络通过查询切片S
q
的键映射K
q
和记忆存储器中内存切片S
m
的键映射K
m
之间的相似性进行特征匹配，然后使用相对匹配分数来比较记忆存储器中内存切片S
m
的内存值映射V
m
，然后加权和检索内存值映射V
m
，将其与查询值映射V
q
组合输出；如果存在多个内存切片S
m
，则将它们分别嵌入键值映射中，然后不同内存切片S
m
的键和值映射进行堆叠操作，输出一组三维键值映射。6.根据权利要求1所述一种基于双向门控记忆网络的交互式三维医学图像分割方法，其特征在于，在门控循环单元中，每个单元的输入包括切片的特征信息x
t
，上一个单元的隐藏状态信息h
t
‑1，新生成的隐藏信息h
t
以及候选状态h'，每个门控循环单元GRU包括更新门z、重置门r。7.根据权利要求6所述一种...

【专利技术属性】
技术研发人员：邹启杰，张鑫，高兵，秦静，孙文，
申请(专利权)人：大连大学，
类型：发明
国别省市：