结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统技术方案

本发明专利技术属于脑图像分析技术领域，特别涉及一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统，通过获取脑肿瘤患者的磁共振影像数据，对数据进行格式转换、配准、重采样、去头皮、随机镜像翻转等一系列的预处理操作；在脑肿瘤深度学习预后分析模型中，通过注意力机制自动发现影像中对预后风险概率关键的区域，融合多尺度特征提高网络对不同尺度上肿瘤信息的提取能力，利用构建的模型来提高脑肿瘤患者的预后风险概率预测能力，便于后期通过预后风险概率来将患者的患病情况分为高、中、低风险组，以达到辅助临床医生制定患者治疗计划和评估药物疗效，进而能够提高患者生存时间。高患者生存时间。高患者生存时间。

【技术实现步骤摘要】
结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统


[0001]本专利技术属于脑图像分析
，特别涉及一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统。

技术介绍

[0002]大脑是人体最敏感的部位之一，大脑中细胞的大量生长或异常生长会导致大脑行为和特征的多种变化。脑肿瘤是指生长在脑部的新生物，可起源于脑、脑膜、神经、血管及脑附件，或由身体的其他组织或脏器转移侵入脑内而形成。脑肿瘤的威胁程度取决于肿瘤类型、行为、大小、位置和生长状态等因素，其中恶性脑肿瘤可能会引起颅内压升高、水肿、脑疝、癫痫和精神症状等并发症，因此针对恶性脑肿瘤的治疗相对困难，且易复发，死亡率居高不下。早期诊断对于避免延长发病期至关重要，通过避免危及生命的并发症和及时提供有效治疗，有助于降低脑肿瘤患者的死亡率。
[0003]由于不同脑肿瘤患者的个体差异和个体化精确治疗，不同患者的生存时间表现有很大差异。研究表明，影响脑肿瘤生存时间的因素包括肿瘤周围水肿的形态和程度、肿瘤坏死的程度、肿瘤的整体形态大小以及是否有囊性改变。影响脑肿瘤因素的不确定性增加，使得接受相同治疗方法的患者的生存时间也表现出一定差异。
[0004]磁共振成像(Magnetic Resonance Imagings，MRIs)在软组织中具有高灵敏度和良好的图像对比度，是脑诊断和治疗过程中的首选。分析脑肿瘤患者的磁共振成像，从图像中挖掘可靠、客观的特征，对预测患者预后具有极其重要的临床价值。如何构建一个专业可靠的生存预测模型、利用模型输出作为医生或临床人员分析研究的中间数据成为亟待解决的问题。

技术实现思路

[0005]为此，本专利技术提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统，结合注意力机制和多尺度特征挖掘来构建挖掘磁共振影像可靠、客观的特征的预后分析模型，能够保证预测概率准确性，利用该模型预测的患者预后概率作为中间数据来辅助医生和临床研究人员制定患者治疗计划和评估药物疗效提供参考，可缓解患者症状，能够提高患者生存时间。
[0006]按照本专利技术所提供的设计方案，提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，包含如下内容：
[0007]利用信号采集设备获取患者磁共振影像数据，对数据进行预处理操作；
[0008]针对预处理操作后的患者磁共振影像数据，构建脑肿瘤深度学习预后分析模型并进行训练优化，以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获
取输入数据的不同尺度信息。
[0009]作为本专利技术中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，利用磁共振成像方法采集患者脑肿瘤原始医学图像数据，并通过加权成像算法来获取磁共振影像数据，该磁共振影像数据至少包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。
[0010]作为本专利技术中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步，预处理操作包含：磁共振影像数据的NIFTI格式统一转换处理及配准处理，采样至均匀各向同性分辨率的重采样处理，依据标准头部模板进行的去头皮处理，和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。
[0011]作为本专利技术中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，在对磁共振影像数据进行预处理中，还包含：通过分割图像来标注感兴趣区域。
[0012]作为本专利技术结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，利用脑肿瘤公开数据集作为训练样本，以对脑肿瘤深度学习预后分析模型进行训练，其中，该训练样本中包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列、液体衰减反转(FLAIR)序列及每个患者影像数据中标注的感兴趣区域。
[0013]作为本专利技术结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含：若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层，与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层，用于对去噪操作后的数据进行上采样处理的上采样层，及用于处理后的特征数据进行全连接操作的全连接层。
[0014]作为本专利技术结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，卷积层输出表示为：其中，表示卷积操作，W为卷积核权重向量，b为输出映射的偏移量，f(
·
)为激活函数。
[0015]作为本专利技术结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，3D卷积神经网络中与各上采样层或池化层连接的卷积层采用异构尺寸的卷积核；且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射，并将处理后的特征数据与上采样特征关联合并，其中，注意力机制中权重计算公式表示为：权重表示当分辨率为s时体素在整个网络中位置i处的重要性，表示在3D卷积神经网络处理中分辨率为s时位置i处体素对应的分数值。
[0016]进一步地，本专利技术还提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统，包含：数据获取模块和模型构建模块，其中，
[0017]数据获取模块，用于获取患者磁共振影像数据，对数据进行预处理操作；
[0018]模型构建模块，用于针对预处理操作后的患者磁共振影像数据，利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
[0019]本专利技术的有益效果：
[0020]本专利技术利用信号采集设备来获取脑肿瘤患者的磁共振影像数据，对数据进行格式转换、配准、重采样、去头皮、随机镜像翻转等一系列的预处理操作；在构建的脑肿瘤深度学习预后分析模型中，通过注意力机制自动发现影像中对预后风险概率关键的区域，融合多尺度特征提高网络对不同尺度上肿瘤信息的提取能力，提高脑肿瘤患者的预后风险概率预测能力，便于后期利用预后风险概率来将患者的患病情况分为高、中、低风险组，以最终辅助临床医生制定患者治疗计划和评估药物疗效，进而能够提高患者的生存时间，拓展人工智能的实际应用范围。
附图说明：
[0021]图1为实施例中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模流程示意；
[0022]图2为实施例中脑肿瘤深度学习预后分析模型示意。
具体实施方式：
[0023]为使本专利技术的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本专利技术作进一步详细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，包含如下内容：利用信号采集设备获取患者磁共振影像数据，对数据进行预处理操作；针对预处理操作后的患者磁共振影像数据，构建脑肿瘤深度学习预后分析模型并进行训练优化，以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。2.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，利用磁共振成像方法采集患者脑肿瘤原始医学图像数据，并通过加权成像算法来获取磁共振影像数据，该磁共振影像数据至少包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。3.根据权利要求1或2所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，预处理操作包含：磁共振影像数据的NIFTI格式统一转换处理及配准处理，采样至均匀各向同性分辨率的重采样处理，依据标准头部模板进行的去头皮处理，和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。4.根据权利要求3所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，在对磁共振影像数据进行预处理中，还包含：通过分割图像来标注感兴趣区域。5.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，利用脑肿瘤公开数据集作为训练样本，以对脑肿瘤深度学习预后分析模型进行训练，其中，该训练样本中包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列、液体衰减反转序列及每个患者影像数据中标注的感兴趣区域。6.根据权利要求1或5所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤...

【专利技术属性】
技术研发人员：王梅云，余璇，吴亚平，白岩，陈丽娟，高海燕，魏巍，
申请(专利权)人：河南省人民医院，
类型：发明
国别省市：