【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种智能医疗多模态融合方法及系统。
技术介绍
1、随着人工智能的发展，人工智能在医疗上的应用越来越普遍，例如利用神经网络对大量医疗诊断图像的学习实现疾病分类的目的。为了提升疾病分类的准确性，进一步提出了多模态融合技术，例如图像模态与文本模态的融合。图像与文本融合可以补充单一图像或文本缺失的信息，使得神经网络模型的分类能力更强，分类结果更准确。
2、然而目前大多数多模态融合诊断方案存在一个共性，即通过对图像模态和文本模态进行特征抽取，然后分别对这些特征进行训练，并最终通过决策级融合进行分类。例如专利号为2023116944924的中国专利，公开了“一种基于对比学习的电子病历多模态医疗语义对齐方法”，即是对图像、文本模态分别进行特征提取与训练，最后进行决策融合。然而，这种方法忽略了图像和文本之间的关联性，也就是将图像和文本特征的处理方式割裂开来，这种割裂导致了多模态数据之间关联性的丧失，从而降低了疾病分类的准确度，或者说目前的疾病分类的准确性还可以进一步提高。
技术实现
本文档来自技高网...【技术保护点】
1.一种智能医疗多模态融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种智能医疗多模态融合方法，其特征在于，所述S10中，针对于每个患者的医疗图像和电子病历文本，按照以下步骤进行处理：
3.根据权利要求2所述的一种智能医疗多模态融合方法，其特征在于，所述S101中，在提取医疗图像中的隐状态之前，先对获得的医疗图像进行预处理；和/或，所述S102中，在提取电子病历文本中的性别标签和年龄标签之前，先对获得的电子病历文本进行预处理。
4.根据权利要求1-3中任一项所述的一种智能医疗多模态融合方法，其特征在于，所述S30中，...
【技术特征摘要】
1.一种智能医疗多模态融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种智能医疗多模态融合方法，其特征在于，所述s10中，针对于每个患者的医疗图像和电子病历文本，按照以下步骤进行处理：
3.根据权利要求2所述的一种智能医疗多模态融合方法，其特征在于，所述s101中，在提取医疗图像中的隐状态之前，先对获得的医疗图像进行预处理；和/或，所述s102中，在提取电子病历文本中的性别标签和年龄标签之前，先对获得的电子病历文本进行预处理。
4.根据权利要求1-3中任一项所述的一种智能医疗多模态融合方法，其特征在于，所述s30中，先设置迭代次数，然后在每一次迭代中，针对于所述图卷积网络模型中的每个节点，将自身的图像文本特征与邻居节点的图像文本特征进行融合。
5.根据权利要求4所述的一种智能医疗多模态融合方法，其特征在于，所述针对于所述图卷积网络模型中的每个节点，将自身的图像文本特征...
【专利技术属性】
技术研发人员：欧嵬，张琼露，张思源，金辉，朱家敏，盛云灿，武艺珊，韩文报，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。