一种基于多任务级联的多模态医疗数据融合建模方法及装置制造方法及图纸

本发明专利技术为一种基于多任务级联的多模态医疗数据融合建模方法及装置，包括以下步骤：对多个医疗数据模态进行学习建模，得到多个单模态医疗数据模型；对所述单模态医疗数据模型进行预测空间输出校准；对校准后所述单模态医疗数据模型进行交叉验证评估，得到第一评估数据；对所述第一评估数据制定优先级策略，进行多任务级联，得到第二评估数据；对所述第二评估数据进行多模态融合评估

【技术实现步骤摘要】
一种基于多任务级联的多模态医疗数据融合建模方法及装置


[0001]本专利技术涉及计算科学和生物医学领域
，特别涉及多模态医疗数据建模领域
。

技术介绍

[0002]以二代基因测序为代表的多组学技术，对单基因遗传性疾病带来了新的诊断方法，但复杂疾病如肿瘤的众多临床问题并没有得到很好解决，其中重要原因就是高维基因分子特征和临床复杂宏观表型特征关联十分困难，目前研究模式中丢失了与机体固有的细胞
、
器官层面相互的特征关联
。
随着高内涵数字病理技术
、
高分辨临床影像技术
、
多色光谱成像技术的发展，使得表征细胞
、
器官特征的宏观图像数据更加丰富，复杂疾病临床研究从单一模态进入了全景多模态时代，这也更符合真实世界中的临床诊疗实践
。
[0003]电子病历
、
病理影像
、
生命组学数据构成了医疗中的多模态数据，这些复杂数据的整合能极其详尽地从不同维度对患者的整体情况进行精准画像
、
更加准确的评估患者的状态，从而促使个体化医疗成为可能
。
多模态数据融合已在多项研究中证实可显著提升肿瘤等疾病的分型
、
治疗响应
、
生存预测
、
靶点预测的准确性
。
多模态融合决策算法能利用来自多模态数据间的互补信息，自动抽提并融合特征，探索和发现新型标记物和药物靶点，对指导疾病肿瘤等精准诊治及新型药物研发都具有重要科学意义和临床价值
。
[0004]通用的多模态融合决策技术及研究内容包括：
1.
多模态表征：主要研究如何将多个模态数据
(
结构化数据
、
图像
、
视频
、
语音
、
文本等
)
中所蕴含的语义信息抽象为实值向量；
2.
模态间映射：主要研究如何将某一特定模态数据中的信息映射至另一模态，发现知识在不同模态间的映射关系；
3.
对齐：主要研究如何识别不同模态之间的部件
、
元素的相关或对应关系，从而促使学习到的多模态表示更加精确，并且也为多模态检索提供更细致的线索；
4.
融合：主要研究如何整合不同模态间的模型与特征，以得到一致
、
公共的模型输出，获得更全面的特征，提高模型鲁棒性；
5.
协同学习：主要研究如何将信息富集的模态上学习的知识迁移到信息匮乏的模态，使各个模态的学习互相辅助
。
[0005]医疗场景中的多模态学习面临其特有的挑战问题，其中一个典型的问题是非平衡问题，即某些模态数据不完备性问题：在真实世界中，临床检测方式多样，但受采样难度
、
经济因素
、
患者主观意愿的影响，不同患者之间所接受的检测偏差大，导致易出现某些模态数据缺失，在学习数据集上表现为正负样本数据不均衡
、
不同模态间的样本数量不平衡；然面，通用性的机器学习
、
深度学习等方法在特征无法对齐的情况下通常无法进行学习训练，而基于传统的模态拼接等方法进行学习训练的预测准确度偏低
。

技术实现思路

[0006]针对医疗多模态中特有的非平衡问题，本专利技术公开一种基于多任务级联的多模态医疗数据融合建模方法，包括以下步骤：
[0007]对多个医疗数据模态进行学习建模，得到多个单模态医疗数据模型；
[0008]对所述单模态医疗数据模型进行预测空间输出校准；
[0009]对校准后所述单模态医疗数据模型进行交叉验证评估，得到第一评估数据；
[0010]对所述第一评估数据制定优先级策略，进行多任务级联，得到第二评估数据；
[0011]对所述第二评估数据进行多模态融合
。
[0012]在本专利技术一实施例中，所述对多个医疗数据模态进行学习建模的步骤进一步包括：
[0013]使用机器学习模型和
/
或深度学习模型对所述医疗数据模态数据进行建模；
[0014]输出预测结果
。
[0015]在本专利技术一实施例中，所述使用机器学习模型和
/
或深度学习模型对所述医疗数据模态数据进行建模的步骤还包括：
[0016]对不同的医疗数据模态使用不同的学习模型
。
[0017]在本专利技术一实施例中，所述进行预测空间输出校准的步骤还包括：
[0018]在所述单模态医疗数据模型输出的预测结果中添加不可信和不可预测标识
。
[0019]在本专利技术一实施例中，所述进行交叉验证评估的步骤进一步包括：使用十折
、
留一法进行验证
。
[0020]在本专利技术一实施例中，所述进行交叉验证评估的步骤还包括：
[0021]所述第一评估数据包括：预测覆盖度，预测准确度和
ROC
曲线面积，其中，
[0022][0023][0024]COV
表示预测覆盖度，
count(0,1)
表示交叉验证预测结果是正常输出结果的数量；
count(0,1,UN,NA)
表示交叉验证预测结果包含不可信和不可预测标识的数量；
[0025]ACG
表示预测准确度，
correct(0,1)
表示交叉验证预测结果正确的数量
。
[0026]在本专利技术一实施例中，所述制定优先级策略，进行多任务级联的步骤进一步包括：
[0027]根据所述第一评估数据中任一项目的数值大小进行优先级排序；
[0028]根据所述优先级排序对预测任务进行级联；
[0029]所述多任务级联执行过程中遇到预测结果为不可信或不可预测标识时，停止当前任务预测，进行下一个预测任务
。
[0030]在本专利技术一实施例中，所述对所述第二评估数据进行多模态融合的步骤进一步包括：
[0031]对所述第二评估数据中的多个模态序列进行组合，得到组合后数据；
[0032]对所述组合后数据的预测覆盖度，预测准确度和
ROC
曲线面积数据串行排列；
[0033]根据串行排列后的数据对所述多模态组合进行评价，用于与外部决策因素结合推荐最优势模态组合
。
[0034]本专利技术还公开一种基于多任务级联的多模态医疗数据融合建模装置，包括：
[0035]单模态医疗数据学习建模模块，用于对多个医疗数据模态进行学习建模；
[0036]预测空间输出校准模块，用于对所述单模态医疗数据模型进行预测空间输出校准；
[0037]交叉验证评估模块，用于对校准后所述单模态医疗数据模型进行交叉验证评估；
[0038]多任务级联模块；用于对所述第一评估数据制定优先级策略本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多任务级联的多模态医疗数据融合建模方法，其特征在于，包括以下步骤：对多个医疗数据模态进行学习建模，得到多个单模态医疗数据模型；对所述单模态医疗数据模型进行预测空间输出校准；对校准后单模态医疗数据模型进行交叉验证评估，得到第一评估数据；对所述第一评估数据制定优先级策略，进行多任务级联，得到第二评估数据；对所述第二评估数据进行多模态融合评估
。2.
如权利要求1所述的方法，其特征在于，所述对多个医疗数据模态进行学习建模的步骤进一步包括：使用机器学习模型和
/
或深度学习模型对所述医疗数据模态数据进行建模；输出预测结果
。3.
如权利要求2所述的方法，其特征在于，所述使用机器学习模型和
/
或深度学习模型对所述医疗数据模态数据进行建模的步骤还包括：对不同的医疗数据模态使用相同或者不同的学习模型
。4.
如权利要求1所述的方法，其特征在于，所述进行预测空间输出校准的步骤还包括：在所述单模态医疗数据模型输出的预测结果中添加不可信和不可预测标识
。5.
如权利要求1所述的方法，其特征在于，所述进行交叉验证评估的步骤进一步包括：使用十折
、
留一法进行验证
。6.
如权利要求1或5所述的方法，其特征在于，所述进行交叉验证评估的步骤还包括：所述第一评估数据包括：预测覆盖度，预测准确度和
ROC
曲线面积，其中，曲线面积，其中，
COV
表示预测覆盖度，
count(0,1)
表示交叉验证预测结果是正常输出结果的数量；
count(0,1,UN,NA)
表示交叉验证预测结果包含不可信和不可预测标识的数量；
ACG
表示预测准确度，
correct(0,1)
表示交叉验证预测结果正确的数量
...

【专利技术属性】
技术研发人员：卜德超，赵屹，李晨昊，徐珠峰，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：