一种多模态特征融合方法以及应用技术

本发明专利技术的一个技术方案是提供了一种多模态特征融合方法，其特征在于，将同一个患者的影像深度学习特征feature

【技术实现步骤摘要】
一种多模态特征融合方法以及应用


[0001]本专利技术涉及一种跨模态信息融合方法以及该方法在治疗效果预测中的应用。

技术介绍

[0002]近来，机器学习算法在教育、交通、金融等领域得到越来越广泛地应用。医疗相关的领域也在积极地使用机器学习技术，在辅助诊断、辅助检查等方面进行探索。然而目前在辅助诊断、辅助检查等方面所使用的机器学习技术大多基于单一模态的数据或者单一的感兴趣区域(ROI)，而少量的基于融合算法的机器学习技术采用的也是后融合技术，这样的融合方法缺少不同模态的相同交叉。

技术实现思路

[0003]本专利技术要解决的技术问题是：现有的应用于医疗相关领域的机器学习技术大多基于单一模态的数据或者单一的感兴趣区域，即使采用融合算法，该融合算法也是后融合技术。
[0004]为了解决上述技术问题，本专利技术的一个技术方案是提供了一种多模态特征融合方法，其特征在于，包括以下步骤：
[0005]步骤1、获得患者的医学影像数据，对医学影像数据进行感兴趣区域的手工勾画后获得N个手工ROI数据；
[0006]步骤2、建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态特征融合方法，其特征在于，包括以下步骤：步骤1、获得患者的医学影像数据，对医学影像数据进行感兴趣区域的手工勾画后获得N个手工ROI数据；步骤2、建立深度学习网络模型，由模型对影像数据中的最大ROI截面进行裁剪获得ROI图像roi_images后，提取ROI图像roi_images的特征，从而获得影像深度学习特征feature
DL
；提取N个手工ROI数据的手工特征，将基于第i个手工ROI数据提取到的影像手工特征记为基于患者临床数据直接生成患者临床特征feature
clinic
；步骤3、将影像深度学习特征feature
DL
、影像手工特征记为以及患者临床特征feature
clinic
...

【专利技术属性】
技术研发人员：宋雪霏，姜梦达，张海扬，陈铠之，张慧杰，许嘉烁，夏多金，周慧芳，
申请(专利权)人：上海交通大学医学院附属第九人民医院，
类型：发明
国别省市：