一种多模态特征融合方法以及应用技术

本发明专利技术的一个技术方案是提供了一种多模态特征融合方法，其特征在于，将同一个患者的影像深度学习特征feature

【技术实现步骤摘要】
一种多模态特征融合方法以及应用


[0001]本专利技术涉及一种跨模态信息融合方法以及该方法在治疗效果预测中的应用。

技术介绍

[0002]近来，机器学习算法在教育、交通、金融等领域得到越来越广泛地应用。医疗相关的领域也在积极地使用机器学习技术，在辅助诊断、辅助检查等方面进行探索。然而目前在辅助诊断、辅助检查等方面所使用的机器学习技术大多基于单一模态的数据或者单一的感兴趣区域(ROI)，而少量的基于融合算法的机器学习技术采用的也是后融合技术，这样的融合方法缺少不同模态的相同交叉。

技术实现思路

[0003]本专利技术要解决的技术问题是：现有的应用于医疗相关领域的机器学习技术大多基于单一模态的数据或者单一的感兴趣区域，即使采用融合算法，该融合算法也是后融合技术。
[0004]为了解决上述技术问题，本专利技术的一个技术方案是提供了一种多模态特征融合方法，其特征在于，包括以下步骤：
[0005]步骤1、获得患者的医学影像数据，对医学影像数据进行感兴趣区域的手工勾画后获得N个手工ROI数据；
[0006]步骤2、建立深度学习网络模型，由模型对影像数据中的最大ROI截面进行裁剪获得ROI图像roi_images后，提取ROI图像roi_images的特征，从而获得影像深度学习特征featute
DL
；
[0007]提取N个手工ROI数据的手工特征，将基于第i个手工ROI数据提取到的影像手工特征记为
[0008]基于患者临床数据直接生成患者临床特征feature
clinic
；
[0009]步骤3、将影像深度学习特征feature
DL
、影像手工特征记为以及患者临床特征feature
clinic
映射至相同维度；
[0010]步骤4、将N个影像手工特征记对应位置相加，得到融合ROI手工特征，则有：
[0011][0012]步骤5、将融合ROI手工特征与影像深度学习特征feature
DL
进行拼接，得到融合影像特征；
[0013]步骤6、将融合影像特征与患者临床特征feature
clinic
对应位置做差，得到距离特征；
[0014]步骤7、将融合影像特征与患者临床特征feature
clinic
对应位置做乘，得到内积特征；
[0015]步骤8、将距离特征与内积特征进行拼接后得到融合特征。
[0016]本专利技术的另一个技术方案是提供了一种上述的多模态特征融合方法的应用，其特征在于，应用在治疗效果预测中，将通过上述的多模态特征融合方法获得的融合特征输入训练好的治疗效果分类预测模型，得到最终的分类结果。
[0017]本专利技术以卷积神经网络为基础，作为图像特征提取的主干网络提取得到图像深度学习特征，与此同时，本专利技术引入不同ROI区域的手工图像特征以及患者临床特征。本专利技术端到端地融合图像深度学习特征、手工图像特征以及患者临床特征，形成不同模态数据的相同交叉。采用本专利技术所得到的融合后的特征进行分类判别，可以得到更为准确的预测结果。
附图说明
[0018]图1为本专利技术的总体流程图；
[0019]图2示意了典型的数据影像数据格式、手工特征(形状、纹理等)、临床特征。
具体实施方式
[0020]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0021]临床应用场景中，患者的信息一般包括以下三种不同类型的信息：
[0022]a)影像数据，是用户通过CT、MRI等机器采集的医学影像。
[0023]b)分割数据，针对CT以及临床场景，对影像数据进行感兴趣区域勾画后所得到的ROI数据。
[0024]c)临床数据，一般包括患者的年龄、性别等，临床数据天然是结构化特征。
[0025]结合图1，基于上述三种信息，本实施例公开的一种多模态特征融合方法包括以下步骤：
[0026]步骤1、特征提取，包括影像深度学习特征提取、影像手工特征提取以及患者临床特征提取。
[0027](1)影像深度学习特征提取
[0028]建立基于卷积神经网络的模型，由模型对影像数据中的最大ROI截面进行裁剪获得ROI图像roi_images后，提取ROI图像roi_images的特征，从而获得影像深度学习特征feature
DL
。本实施例中，基于迁移学习训练模型。
[0029](2)影像手工特征提取
[0030]使用pyradiomics(https：//pyradiomics.readthedocs.io/en/latest/)提取各分割数据的手工特征，将基于第i个分割数据提取到的影像手工特征记为N为分割数据的总数量。
[0031](3)患者临床特征提取
[0032]基于临床数据直接生成患者临床特征feature
clinic
。
[0033]步骤2、特征融合，进一步包括以下步骤：
[0034]步骤201、使用深度神经网络将步骤1获得的影像深度学习特征feature
DL
、影像手
工特征患者临床特征feature
clinic
映射到相同维度的语义空间。
[0035]步骤202、将N种影像手工特征记对应位置相加，得到融合ROI手工特征，则有：
[0036][0037]步骤203、将融合ROI手工特征与影像深度学习特征feature
DL
进行拼接，得到融合影像特征。
[0038]步骤204、将融合影像特征与患者临床特征feature
clinic
对应位置做差，得到距离特征。
[0039]步骤205、将融合影像特征与患者临床特征feature
clinic
对应位置做乘，得到内积特征。
[0040]步骤206、将距离特征与内积特征进行拼接后得到融合特征。
[0041]将上述方法获得的融合特征应用在治疗效果预测中时，将融合特征输入训练好的治疗效果分类预测模型，得到最终的分类结果。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态特征融合方法，其特征在于，包括以下步骤：步骤1、获得患者的医学影像数据，对医学影像数据进行感兴趣区域的手工勾画后获得N个手工ROI数据；步骤2、建立深度学习网络模型，由模型对影像数据中的最大ROI截面进行裁剪获得ROI图像roi_images后，提取ROI图像roi_images的特征，从而获得影像深度学习特征feature
DL
；提取N个手工ROI数据的手工特征，将基于第i个手工ROI数据提取到的影像手工特征记为基于患者临床数据直接生成患者临床特征feature
clinic
；步骤3、将影像深度学习特征feature
DL
、影像手工特征记为以及患者临床特征feature
clinic
...

【专利技术属性】
技术研发人员：宋雪霏，姜梦达，张海扬，陈铠之，张慧杰，许嘉烁，夏多金，周慧芳，
申请(专利权)人：上海交通大学医学院附属第九人民医院，
类型：发明
国别省市：