一种基于多智能体协同推理的医疗视觉问答辅助诊断系统技术方案

本发明专利技术提供了一种基于多智能体协同推理的医疗视觉问答辅助诊断系统，属于人工智能诊断技术领域。本发明专利技术实现了对医学图像和诊断问题的多模态联合处理、跨领域专家协同推理以及透明可追溯的诊断结果输出，显著提高了传统视觉问答模型在医学任务中的准确性、可靠性及可解释性，为人工智能辅助医疗提供了一种全新且高效的决策支持方案。

【技术实现步骤摘要】

本专利技术属于人工智能诊断，具体涉及一种基于多智能体协同推理的医疗视觉问答辅助诊断系统。

技术介绍

1、视觉问答(visual question answering，简称vqa)系统是一种结合了计算机视觉和自然语言处理的人工智能技术，其目标是让计算机能够理解图像内容并用自然语言回答与图像相关的问题。随着人工智能不断发展，vqa系统在通用领域的应用广泛且多样，如智能客服、智能监控、图像搜索等。然而由于数据集规模的限制和适用场景的多样性，它们在医学领域的应用仍处于早期阶段。医学多模态任务需要整合来自多种模态的数据，如图像和文本，以应对包括医学视觉问答、医学图像报告生成以及其他下游临床任务在内的各种挑战。一个有效的医疗视觉问答(med-vqa)系统不仅能帮助医生更高效地解读复杂的医学图像，从而提高诊断效率，还能根据患者的个体需求提供个性化的健康建议，减轻患者的压力。

2、为了应对这些挑战，研究人员开发了多种医学问答模型，这些模型在医学图像问答任务中表现出色。根据处理方法的不同，这些模型大致可分为两类。第一类将med-vqa定义为可分类问题，适用于具有本文档来自技高网...

【技术保护点】

1.一种基于多智能体协同推理的医疗视觉问答辅助诊断系统，其特征在于：包括：

2.根据权利要求1所述的医疗视觉问答辅助诊断系统，其特征在于：所述医学场景图生成模块包括图像特征提取子模块、文本特征提取子模块、融合推理子模块、医学场景图生成子模块。

3.根据权利要求2所述的医疗视觉问答辅助诊断系统，其特征在于：

4.根据权利要求2所述的医疗视觉问答辅助诊断系统，其特征在于：所述融合推理子模块先利用Qwen2VL模型中MLPprojector的方法进行模态融合，然后通过大语言模型对联合表示进行推理得到推理结果R；

5.根据权利要求2所述的医疗视觉问...

【技术特征摘要】

1.一种基于多智能体协同推理的医疗视觉问答辅助诊断系统，其特征在于：包括：

2.根据权利要求1所述的医疗视觉问答辅助诊断系统，其特征在于：所述医学场景图生成模块包括图像特征提取子模块、文本特征提取子模块、融合推理子模块、医学场景图生成子模块。

3.根据权利要求2所述的医疗视觉问答辅助诊断系统，其特征在于：

4.根据权利要求2所述的医疗视觉问答辅助诊断系统，其特征在于：所述融合推理子模块先利用qwen2vl模型中mlpprojector的方法进行模态融合，然后通过大语言模型对联合表示进行推理得到推理结果r；

5.根据权利要求2所述的医疗视觉问答辅助诊断系统，其特征在于：所述医学场景图生成子模块利用qwen2vl模型和预设提示，对图像与问题进行联合分析，自动构建描述图像中医学实体及其关系的结构化场景图gms，并以结构化json格式输出医学场景图；

6.根据权利要求1所述的医疗视觉问答辅助诊断系统，其特征在于：...

【专利技术属性】
技术研发人员：王苏桐，程涛，王杜娟，汪晓东，殷允强，刘瑀晗，
申请(专利权)人：四川大学，
类型：发明
国别省市：