基于深度多模态网络模型的脑肿瘤注释方法技术

本发明专利技术公开一种基于深度多模态网络模型的脑肿瘤注释方法，通过构建深度多模态网络模型来模仿人类专家在机器中手动注释脑肿瘤的规则来复制整个脑肿瘤的分割过程；深度多模态网络模型包括细粒度模态注意力模块、深度特征传播模块和位置信息传播模块；首先将任务分为TC、ET和WT三个子任务，以模仿顺序分割，基于深度特征传播模块和位置信息传播模块使得TC、ET子任务重用WT子任务的粗细尺度特征；融合到三个子任务中的细粒度模态注意力模块用来对不同的模态进行关注和加权，融合三个子任务的多模态数据，实现脑瘤分割，本方案可以提高脑肿瘤分割性能，同时在多模态MRI的脑肿瘤分割中起到较好的应用效果。起到较好的应用效果。起到较好的应用效果。

【技术实现步骤摘要】
基于深度多模态网络模型的脑肿瘤注释方法


[0001]本专利技术涉及脑肿瘤注释领域，具体涉及一种基于深度多模态网络模型的脑肿瘤注释方法。

技术介绍

[0002]胶质瘤是成年人最常见的原发性脑恶性肿瘤之一，提供高度准确、可重复及定量的评估，对于多模态磁共振成像(MRI)的病变分割是该类疾病早期诊断和制定个性化治疗计划的基础。现有分割方法中，大多数工作主要是在医学图像分割中复制标准和高度优化，而忽略了临床手动分割的基本规则。
[0003]专家在手动对脑肿瘤进行分割时都会服从特定的规则，虽然有部分算法将一些分割规则运用到算法中，例如形态学变换和图像处理等技术。但是，脑瘤分割的规则非常复杂，需要考虑许多因素，如脑部解剖结构、肿瘤边界范围和形状等，由于脑肿瘤边界不清晰、多变，可能存在与周围组织融合、交叉和重叠等情况，因此需对算法进行精细调整和优化，以适应各种情况，然后通过算法的形式化方式嵌入到算法中。另外，需要选择合适的人工智能算法模型来进行肿瘤分割，并对模型进行优化，以提高准确性和效率。同时，需要考虑不同数据集的适用性和模型的泛化能力。除去外部因素，还需要考虑到算法本身的复杂度和鲁棒性，在实际应用中，算法需要具有一定的复杂度和鲁棒性，以在各种情况下都能够准确地工作。
[0004]对于医疗领域的任务，算法的复杂度和鲁棒性要求更高，因为它们需要在复杂的场景下精确地检测和定位病变，而且需要考虑到患者的生理变异和不确定性等因素。而现有的算法很难满足上述要求，故而，亟待提出一种新的算法，实现脑瘤分割，完成脑肿瘤注释。r/>
技术实现思路

[0005]本专利技术针对现有算法忽略手动分割基本规则的问题，提出了一种基于多模态网络结构的脑肿瘤注释方法，通过模仿专家在机器中手动注释脑肿瘤的规则来复制整个脑肿瘤的分割过程，以实现分割性能的提升。
[0006]本专利技术是采用以下的技术方案实现的：
[0007]一种基于深度多模态网络模型的脑肿瘤注释方法，通过构建深度多模态网络模型来模仿人类专家在机器中手动注释脑肿瘤的规则来复制整个脑肿瘤的分割过程；所述深度多模态网络模型包括细粒度模态注意力模块、深度特征传播模块和位置信息传播模块；所述注释方法包括以下步骤：
[0008]步骤A、采集多模态体积数据并进行归一化处理，所述多模态体积数据包括T2、Flair、T1和T1ce四种模态图像；
[0009]步骤B、对处理后的多模态体积数据进行分割，将分割任务定义为WT子任务、TC子任务和ET子任务，对应的负责分割WT、TC和ET三个区域，WT表示整个肿瘤区域，TC表示肿瘤
核心区域，ET表示增强的肿瘤区域，以模仿顺序分割的目的；
[0010]步骤B1、WT子任务：针对T2和Flair图像进行分割，提取粗尺度特征和精细尺度特征，并进行相关操作得到分割好的WT区域；
[0011]步骤B2、TC子任务和ET子任务：针对T1和T1ce图像进行分割，结合WT子任务的粗尺度特征和精细尺度特征，在三个子任务之间共享精细尺度特征，基于深度特征传播模块和位置信息传播模块使得TC子任务和ET子任务重用WT子任务的粗尺度特征，实现TC和ET区域分割；
[0012]步骤C、通过集成到每个子任务中的细粒度模态关注模块实现多模态融合，完成脑肿瘤注释。
[0013]进一步的，所述步骤B2中，在三个子任务之间共享精细尺度特征，基于深度特征传播模块和位置信息传播模块使得TC子任务和ET子任务重用WT子任务的粗尺度特征具体通过以下方式实现：
[0014](1)将来自WT子任务的精细尺度特征输入位置信息传播模块，经过下采样、卷积、Relu处理后生成位置掩码图M，与当前子任务负责的多模态体积数据相乘，完成精细尺度特征重用；
[0015](2)然后基于深度特征传播模块，与WT子任务的粗尺度特征数据连接，经过两个卷积组处理形成相关图R，相关图R与前一子任务的粗尺度特征数据相乘后，与(1)中重用了WT子任务的精细尺度特征的数据连接，经过两次卷积和Relu后，完成粗尺度特征重用。
[0016]进一步的，所述步骤C中，所述细粒度模态关注模块自动学习每个模态的激活值权重，从而表征每个激活值的贡献，针对不同区域的细节信息，对不同的模态进行关注和加权，然后将各区域的多模态数据进行融合，实现脑肿瘤注释。
[0017]本专利技术应用分层训练方案来减轻由数据集固有分布引起的模态内域偏移，通过将分割任务定义为TC、ET和WT三个子任务，相应的负责分割TC、ET和WT三个区域以模仿顺序分割的目的，并基于深度特征传播模块和位置信息传播模块使得TC、ET子任务重用WT子任务的粗细尺度特征，实现多尺度上下文开发，以提高模型的准确性和鲁棒性，实现分割性能的提升；基于融合到每个子任务的细粒度模态关注模块实现多模态融合，将三个子任务各自负责区域的多模态数据进行融合，实现脑肿瘤分割。
[0018]与现有技术相比，本专利技术的优点和积极效果在于：
[0019]本方案构建深度多模态网络模型，旨在从多模态MRI中准确地分割脑肿瘤，通过模仿人工脑肿瘤注释中的关键规则以复制肿瘤分割的整个过程，提出细粒度模态关注模块来执行高粒度多模态融合，并以模仿关键的手动注释规则；此外，提出深度特征传播模块以实现跨任务的有价值的知识转移。另外提出一种新的课程损失函数，作为课程学习的轻量级替代方案，以实现简单有效的端到端训练。本方案可以提高脑肿瘤分割性能，同时在多模态MRI的脑肿瘤分割中起到较好的应用效果。
附图说明
[0020]图1为本专利技术实施例所述脑肿瘤注释方法流程示意图；
[0021]图2为专家在手动分割脑肿瘤时所服从的特定的协议；
[0022]图3为本专利技术实施例所述深度多模态网络的原理示意图；
[0023]图4为本专利技术实施例DFS
‑
UNet图解示意图；
[0024]图5为本专利技术实施例提出的细粒度模态注意力模块(FGMA)示意图；
[0025]图6为本专利技术实施例的深度特征传播模块(DFP)和位置信息传播模块(LIP)的示意图，其中(a)为深度特征传播模块，(b)为位置信息传播模块；
[0026]图7为本专利技术实施例提出的损失函数的函数图；
[0027]图8为本专利技术实施例的脑肿瘤分级分类模块结构图。
具体实施方式
[0028]为了能够更加清楚地理解本专利技术的上述目的、特征和优点，下面结合附图及实施例对本专利技术做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用不同于在此描述的其他方式来实施，因此，本专利技术并不限于下面公开的具体实施例。
[0029]本方案提出一种基于深度多模态网络模型的脑肿瘤注释方法，通过构建深度多模态网络模型来模仿人类专家在机器中手动注释脑肿瘤的规则来复制整个脑肿瘤的分割过程；所述深度多模态网络模型包括细粒度模态注意力模块、深度特征传播模块和位置信息传播模块；应用分层训练方案来减轻由数据集固有分布引起的模态内域偏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度多模态网络模型的脑肿瘤注释方法，其特征在于，所述深度多模态网络模型包括深度特征传播模块、位置信息传播模块和细粒度模态注意力模块，所述注释方法包括以下步骤：步骤A、采集多模态体积数据并进行归一化处理，所述多模态体积数据包括T2、Flair、T1和T1ce四种模态图像；步骤B、对处理后的多模态体积数据进行分割，将分割任务定义为WT子任务、TC子任务和ET子任务，对应的负责分割WT、TC和ET三个区域，WT表示整个肿瘤区域，TC表示肿瘤核心区域，ET表示增强的肿瘤区域，以模仿顺序分割的目的；步骤B1、WT子任务：针对T2和Flair图像进行分割，提取粗尺度特征和精细尺度特征，并进行相关操作得到分割好的WT区域；步骤B2、TC子任务和ET子任务：针对T1和T1ce图像进行分割，结合WT子任务的粗尺度特征和精细尺度特征，在三个子任务之间共享精细尺度特征，基于深度特征传播模块和位置信息传播模块使得TC子任务和ET子任务重用WT子任务的粗尺度特征，实现TC和ET区域分割；步骤C、通过集成到每个子任务中的细粒度模态关注模块实现多模态融合，完成脑肿瘤注释。2.根据权利要求1所述的基于深度多模态网络的脑肿瘤注释方法，其特征在于：所述步骤B2中，在三个子任务之间共享精细尺度特征，基于深度特征传播模块和位置信息传播模块使得TC子任务和ET子任务重用WT子任务的粗尺度特征具体通过以下方式实现：(1)将来自WT子任务的精细尺度特征输入位置信息传播模块，经过下采样、卷积、Relu处理后生成位置掩码图M，与当前子任务负责的多模态体积数据相乘，完成精细尺度特征重用；(2)然后基于深度特征传播模块，与WT子任务的粗尺度特征数据连接，经过两个卷积组处理形成相关图R，相关图R与前一子任务的粗尺度特征数据相乘后，与(1)中重用了WT子任务的精细尺度特征的数据连接，经过两次卷积和Relu后，完成粗尺度特征重用。3.根据权利要求1所述的基于深度多模态网络的脑肿瘤注释方法，其特征在于：所述步骤C中，所述细粒度模态关注模块自动学习每个模态的激活值权重，从而表征每个激活值的贡献，针对不同区域的细节信息，对不同的模态进行关注和加权，然后将各区域的多模态数据进行融合，实现脑肿瘤注释。4.根据权利要求2所述的基于深度多模态网络的脑肿瘤注释方法，其特征在于：所述深度特征传播模块原理如下：设和分别表示前一子任务和后一子任务经过三层解码的特征，将X
prev
视为一个重用特征池，以将有价值的粗尺度特征传播到X
next
，包括以下步骤：(1)生成指示X
next
与X
prev
的相关性的相关图R，X
next
和X
prev
进行拼接并通过两个卷积块，每个卷积块由卷积层、实例规范化和Relu函数组成，后跟sigmoid函数：
其中N表示实例规范化，C表示通道数，H表示高度，D表示深度，W表示宽度，p和n是特征X的标号；(2)相关图R以逐个元素的方式与X
prev
相乘，以获得具有丰富空间信息的特征图相乘，以获得具有丰富空间信息的特征图(3)最后将(2)中生成的与X
next
连接，然后进行连续卷积以获得最终特征图连接，然后进行连续卷积以获得最终特征图其中，X
prev
表示前一子任务经过解码的特征，X
next

【专利技术属性】
技术研发人员：程远志，葛全序，王南南，马春帅，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：