一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法技术

本发明专利技术公开了一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法。首先，采用了负样本生成增强算法和Vit算法模型处理医疗视觉语言问答数据集，解决了多模态数据处理的困难。这项创新技术使我们能够更有效地处理涵盖文字和影像数据的医疗信息，特别是通过处理胸部荧光透视图，获得更富信息的图像特征向量。其次，引入了Combine‑Former多模态融合器，通过自注意力层和交叉通道注意力层实现了文字编码向量和图像特征向量的高效交互与融合。这一多层次的融合策略增强了模型对多模态数据的理解，使其能够更准确地回应患者问题。最终，通过医疗专业领域适配器对大语言模型解码器微调，进一步提高了模型的性能，使其在医疗AI辅助问诊中有更高的准确性和专业性。

【技术实现步骤摘要】

本专利技术涉及自然语言处理、计算机视觉、多模态融合、大模型微调、聊天问答模型、ai辅助问诊交叉,具体涉及一种融合医学影像与医学文本的多模态医疗ai辅助问诊方法。

技术介绍

1、聊天问答模型是一种模仿人类自然对话形式的智能会话计算机程序，可以处理用户输入并产生输出。通常，聊天问答模型将自然语言文本作为输入，输出是与用户输入句子最相关的输出。聊天问答模型也可以定义为“具有自然语言的在线人机对话系统”。因此，聊天问答模型构成了一个自动对话系统，可以同时与数千名潜在用户交谈。近年来，随着计算能力的提高，以及开源技术和框架的共享，聊天问答模型程序变得越来越普遍。人工智能和自然语言处理技术的最新发展使聊天问答模型更容易实现，在应用和可维护性方面更灵活，并且越来越有能力模仿人类对话。聊天问答模型目前应用于各种不同的领域和应用，从教育到电子商务，涵盖医疗保健。

2、尽管聊天问答模型在过去几年已经取得了重大进展，但在医疗保健领域的实际应用中仍然存在许多挑战。一方面是视角变化带来医疗数据多样化带来的挑战，医生不仅仅是通过患者的文字信息问诊，患者的医疗影像信息对医生本文档来自技高网...

【技术保护点】

1.一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法，其特征在于：所述步骤1的负样本生成增强算法包括以下步骤：

3.根据权利要求1所述的一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法，其特征在于：步骤2所述的Vit算法模型将胸部荧光透视图编码成图像特征向量包括以下步骤：

4.根据权利要求1所述的一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法，其特征在于：步骤3所述的基于生成式双向多头自注意力算法的文字编码器提取文字编...

【技术特征摘要】

1.一种融合医学影像与医学文本的多模态医疗ai辅助问诊方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种融合医学影像与医学文本的多模态医疗ai辅助问诊方法，其特征在于：所述步骤1的负样本生成增强算法包括以下步骤：

3.根据权利要求1所述的一种融合医学影像与医学文本的多模态医疗ai辅助问诊方法，其特征在于：步骤2所述的vit算法模型将胸部荧光透视图编码成图像特征向量包括以下步骤：

4.根据权利要求1所述的一种融合医学影像与医学文本的多模态医疗ai辅助问诊方法，其特征在于：步骤3所述的基于生成式双向多头自注意力算法的文...

【专利技术属性】
技术研发人员：龚乐君，杨家明，季一木，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：