基于多知识融合模型的脑出血后功能预测模型建立方法技术

本发明专利技术涉及脑出血后功能预测模型建立方法，尤其涉及一种基于多知识融合模型的脑出血后功能预测模型建立方法。用于预测脑出血患者手术48h后的多种功能等级。该预测模型建立方法通过搭建多知识融合网络模型，实现功能康复等级的预测。包括：数据预处理，多知识融合网络模型构建，模型的训练和预测。模型的训练和预测。模型的训练和预测。

【技术实现步骤摘要】
基于多知识融合模型的脑出血后功能预测模型建立方法


[0001]本专利技术涉及脑出血后功能预测模型建立方法，尤其涉及一种基于多知识融合模型的脑出血后功能预测模型建立方法。

技术介绍

[0002]脑出血手术后需要对恢复情况进行预测，以便研究手术方案与患者康复情况的关联。常见的需要评估的功能包括：语言障碍、听力障碍、视力障碍、认知障碍和肢体障碍。
[0003]其中，语言残疾等级：1级指只能简单发音而言语能力完全丧失者；2级指具有一定的发音能力，语音清晰度在百分之十到三十；3级指具有发音能力，语音清晰度在百分之三十一到五十。
[0004]认知障碍等级评定是根据简易智能精神状态检查量表(MMSE)：正常27
‑
30分；认知功能障碍<27分；轻度21
‑
26分；中度10
‑
20分；重度0
‑
9分。
[0005]肢体障碍等级：1级包括下肢截瘫，偏瘫或者一侧的肢体功能全部丧失等；2级包括双下肢截瘫或者是两肢功能严重障碍；3级包括双小腿截肢或者是缺肢等这一类的情况。
[0006]听力障碍等级：26～40dBHL为轻度，41～60dBHL为中度，61～80dBHL为重度，≥81dBHL为极重度。视力残疾等级：1级是指视力无光感，或在0.02以内，以及视野半径小于5度；2级是指视力0.02
‑
0.05，或者视野半径小于10度；3级指0.02
‑
0.1；4级是指0.1
‑
0.4。
[0007]由此可知患者的机体功能情况预测为多任务预测。
[0008]而脑的不同区域分别负责不同的功能(如图1所示)，额叶负责思维、计划，与个体的需求和情感相关。顶叶响应疼痛、触摸、品尝、温度、压力的感觉，该区域也与数学和逻辑相关。颞叶负责处理听觉信息，与记忆和情感有关。枕叶负责处理视觉信息。小脑是运动的重要调节中枢，有大量的传入和传出联系。由此可知手术前后不同脑区的影像变化与患者机体功能恢复情况密切相关。
[0009]因此，为融入更多的先验知识来更好的辅助多任务预测，本专利技术提出了基于多知识融合模型的脑出血后功能预测模型建立方法。

技术实现思路

[0010]本专利技术就是针对现有技术存在的缺陷，提供一种基于多知识融合模型的脑出血后功能预测模型建立方法。用于预测脑出血患者手术48h后的多种功能等级。该预测模型建立方法通过搭建多知识融合网络模型，实现功能康复等级的预测。
[0011]为实现上述目的，本专利技术采用如下技术方案，包括：
[0012]数据预处理。
[0013]多知识融合网络模型构建。
[0014]模型的训练和预测。
[0015]进一步地，所述数据预处理针对脑部影像进行处理，该脑部影像包括术前NCCT及术后NCCT；包括以下步骤：
[0016]S1、采用刚性配准算法，将术后NCCT影像与术前NCCT影像进行对齐。
[0017]S2、基于头骨剥离算法，使用术前NCCT获取脑组织掩膜。
[0018]S3、基于非刚性配准算法和已知脑部5个分区的模板，使用术前NCCT获取其对应的5个分区掩膜。
[0019]S4、将去头骨的术前NCCT和术后NCCT进行窗宽窗位[0,200]Hu归一化。
[0020]进一步地，所述多知识融合网络模型构建包括将处理后的术前术后NCCT和对应的分区掩膜作为网络模型的输入，输出5个任务对应的障碍等级；网络模型包含三个模块：术前术后差异特征提取模块、先验知识融合模块、多任务预测模块。
[0021]更进一步地，所述术前术后差异特征提取模块包括分别对术前术后NCCT影像进行基础特征提取，通过2个步长为[2,2,2]和1个步长为[2,2,1]的3*3*3的卷积实现，每个卷积后使用relu激活层和batchnorm正则层；得到X1和X2特征后，再通过DIFF层提取二者特征差异，作为共享特征，即X＝X2
‑
X1,DX＝(X
‑
min(X))/(max(X)
‑
min(X))。其中，X2为术后经处理后的特征，X1为术前经处理后的特征，X表示特征的差值，DX代表差异特征。
[0022]更进一步地，所述先验知识融合模块包括将脑分区掩膜下采样到术前术后差异特征大小(64,64,6)，再分别与DX进行点乘，以获取不同脑区对应的术前术后差异特征；根据功能特点，顺序为额叶、顶叶、小脑、颞叶、枕叶；(由于个别功能需要不同区域的交互作用，如小脑和顶叶皆对肢体运动有一定影响。)通过BiLSTM对不同区域的特征进行信息交互，以此得到引入了先验知识的门控特征。
[0023]更进一步地，所述多任务预测模块包括基于门控特征，通过1个卷积块(包含步长为[2,2,2]的卷积、relu、batchnorm)、1个全连接块(包含全连接、dropout)、1个softmax层，进行不同功能的障碍等级预测。
[0024]进一步地，所述模型的训练和预测包括：在模型的训练过程中，采用Adam对模型进行优化；学习率为0.01，并每50轮后降为原来的0.1倍；5个损失函数采用交叉熵损失，对应的权重为当前类别数/总类别数；测试阶段为每个任务的输出结果中最大概率对应的障碍等级。
[0025]与现有技术相比本专利技术有益效果。
[0026]本专利技术可以对脑出血手术48h后的患者恢复情况进行预测，输出5种障碍等级。也即通过搭建多知识融合网络模型，实现功能康复等级的预测。
附图说明
[0027]下面结合附图和具体实施方式对本专利技术做进一步说明。本专利技术保护范围不仅局限于以下内容的表述。
[0028]图1是脑功能区示意图。
[0029]图2是多知识融合预测模型示意图。
具体实施方式
[0030]基于多知识融合模型的脑出血后功能预测模型建立方法：包括数据预处理、多知识融合网络模型构建(图2)、模型的训练和预测。
[0031]1.【数据预处理】本专利技术的脑部影像采用术前NCCT和术后NCCT。主要处理步骤如
下：
[0032](1)基于刚性配准算法，将术后的NCCT影像与术前的NCCT进行对齐。
[0033](2)基于头骨剥离算法，使用术前NCCT获取脑组织掩膜。
[0034](3)基于非刚性配准算法和已知脑部5个分区的模板，使用术前NCCT获取其对应的5个分区掩膜。
[0035](4)将去头骨的术前和术后NCCT进行窗宽窗位[0,200]Hu归一化。
[0036]2.【多知识融合网络模型构建】将上述处理后的术前术后的NCCT和对应的分区掩膜作为网络模型的输入，输出5个任务对应的障碍等级。模型主要包含三个模块：
[0037](1)术前术后差异特征提取模块。
[0038](2)先验知识融合模块。
[0039](3)多任务预测模块。
[0040]其中，(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多知识融合模型的脑出血后功能预测模型建立方法，其特征在于，包括：数据预处理；多知识融合网络模型构建；模型的训练和预测。2.根据权利要求1所述的基于多知识融合模型的脑出血后功能预测模型建立方法，其特征在于：所述数据预处理针对脑部影像进行处理，该脑部影像包括术前NCCT及术后NCCT；包括以下步骤：S1、采用刚性配准算法，将术后NCCT影像与术前NCCT影像进行对齐；S2、基于头骨剥离算法，使用术前NCCT获取脑组织掩膜；S3、基于非刚性配准算法和已知脑部5个分区的模板，使用术前NCCT获取其对应的5个分区掩膜；S4、将去头骨的术前NCCT和术后NCCT进行窗宽窗位[0,200]Hu归一化。3.根据权利要求1所述的基于多知识融合模型的脑出血后功能预测模型建立方法，其特征在于：所述多知识融合网络模型构建包括将处理后的术前术后NCCT和对应的分区掩膜作为网络模型的输入，输出5个任务对应的障碍等级；网络模型包含三个模块：术前术后差异特征提取模块、先验知识融合模块、多任务预测模块。4.根据权利要求3所述的基于多知识融合模型的脑出血后功能预测模型建立方法，其特征在于：所述术前术后差异特征提取模块包括分别对术前术后NCCT影像进行基础特征提取，通过2个步长为[2,2,2]和1个步长为[2,2,1]的3*3*3的卷积实现，每个卷积后使用relu激活层和batchnorm正则层；得到X1和X2特征后...

【专利技术属性】
技术研发人员：刘学勇，何宇，刘学敏，冯莹莹，
申请(专利权)人：中国医科大学附属盛京医院，
类型：发明
国别省市：