【技术实现步骤摘要】
本专利技术涉及多模态数据处理、计算机，尤其是涉及一种基于多模态检索增强和指南引导的医疗诊断方法和系统。
技术介绍
1、近年来，多模态学习技术(如图像-文本联合分析)在医学诊断领域取得显著进展，其通过整合放射影像、病理报告、电子健康记录(ehr)等多源数据提升诊断精度。然而，现有技术往往无法高效地利用医学知识引导模型进行诊断。主流方法多依赖预训练文本编码器来对其注入宽泛的医学知识(如基于纯文本训练或利用医学知识图谱训练)，难以在具体下游任务中动态引入细粒度疾病指南知识，导致模型难以适应不同临床场景的差异化需求。此外，现有模型在特征提取和融合过程中缺乏显式约束，未能结合相应的指南中的知识。
2、这也导致了模型可解释性较差。目前的黑盒模型，难以验证其决策是否遵循医学指南，尤其在文本中的关键指标关注度与视觉病灶定位准确性方面缺乏定量的评价机制，限制了临床可信度。部分已有方案有：
3、论文“knowledge-enhanced visual-language pre-training on chestradiology i...
【技术保护点】
1.一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，应用于电子设备，所述方法包括如下步骤：
2.根据权利要求1所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的图像编码器、文本编码器、指南分支解码器和标签分支解码器的训练过程包括如下步骤：
3.根据权利要求2所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的指南增强对比损失采用下式计算：
4.根据权利要求2所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的指南分支和标签分支的交叉熵损失采用下式计算：
...【技术特征摘要】
1.一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，应用于电子设备，所述方法包括如下步骤：
2.根据权利要求1所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的图像编码器、文本编码器、指南分支解码器和标签分支解码器的训练过程包括如下步骤：
3.根据权利要求2所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的指南增强对比损失采用下式计算：
4.根据权利要求2所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的指南分支和标签分支的交叉熵损失采用下式计算：
5.根据权利要求2所述的一种基于多模态检索增强和指南引导的医疗诊断方法，其特征在于，所述的医学知识库包括百科知识库、科研文献库、临床指南库和医学教材库，其中，所述百科知识库包括维基百科的医学条目及权威医学百科的标准化疾病描述，所述的科研文献库包括基于pubmed数据库获取医学和生物学相关的研...
【专利技术属性】
技术研发人员：王延峰，李昊霖，戴天杰，陈哲，杜思远，姚江超，张娅，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。