一种基于多模态融合大模型的病历质控方法及系统技术方案

本发明专利技术公开了一种基于多模态融合大模型的病历质控方法及系统。将质控规则与文本拼接，得到拼接后的文本；将图像、拼接后的文本和时序数据输入多模态融合大模型，计算以图像为第一查询序列、文本为第一键序列和第一值序列之间的第一融合相似度矩阵；根据该矩阵为第一查询序列的查询元素分配第一权重；根据第一权重对第一值序列进行加权求和得到融合输出特征；计算以时序数据为第二查询序列、融合输出特征为第二键序列和第二值序列之间的第二融合相似度矩阵；根据该矩阵为第二查询序列的查询元素分配第二权重；根据第二权重对第二值序列进行加权求和，输出病历质控结论。通过融合多种模态的医疗数据源，利用人工智能技术，实现对病历的内涵质控。

【技术实现步骤摘要】

本专利技术涉及病历质控，尤其涉及一种基于多模态融合大模型的病历质控方法及系统。

技术介绍

1、随着医疗信息化的发展，电子病历(electronic medical records,emr)在医院中的应用越来越广泛。然而，由于医疗数据的多样性和复杂性，病历的内涵质控成为一个亟待解决的问题。目前的病历的内涵质控主要依赖于人工审核和基于规则的自动化检查，且目前的病历内涵质控技术主要集中在文本数据上，通过自然语言处理(nlp)技术对病历文本进行分析和审核。然而，这种方法存在以下不足：

2、模态单一：仅对文本数据进行质控，忽略了影像、心电图、脑电图等其他重要医疗数据，导致病历内涵质控不全面。

3、缺乏智能化：现有的病历内涵质控方法主要依赖于预定义的规则和简单的机器学习模型，难以应对复杂的医疗数据和质控需求。

技术实现思路

1、本专利技术通过提供一种基于多模态融合大模型的病历质控方法及系统，解决了现有技术中模态单一和缺乏智能化的技术问题。

2、本专利技术提供了一种基于多模态融合大模型的本文档来自技高网...

【技术保护点】

1.一种基于多模态融合大模型的病历质控方法，其特征在于，包括：

2.如权利要求1所述的基于多模态融合大模型的病历质控方法，其特征在于，所述计算以所述图像数据作为第一查询序列、所述拼接后的文本数据作为第一键序列和第一值序列之间的第一融合相似度矩阵；根据所述第一融合相似度矩阵，为所述第一查询序列中的每个查询元素分配第一权重；根据所述第一权重对所述第一值序列进行加权求和，得到融合输出特征，包括：

3.如权利要求1或2所述的基于多模态融合大模型的病历质控方法，其特征在于，所述将图像数据、所述拼接后的文本数据和时序数据输入到预先构建的多模态融合大模型中，计算以所述图像数据作...

【技术特征摘要】

1.一种基于多模态融合大模型的病历质控方法，其特征在于，包括：

2.如权利要求1所述的基于多模态融合大模型的病历质控方法，其特征在于，所述计算以所述图像数据作为第一查询序列、所述拼接后的文本数据作为第一键序列和第一值序列之间的第一融合相似度矩阵；根据所述第一融合相似度矩阵，为所述第一查询序列中的每个查询元素分配第一权重；根据所述第一权重对所述第一值序列进行加权求和，得到融合输出特征，包括：

3.如权利要求1或2所述的基于多模态融合大模型的病历质控方法，其特征在于，所述将图像数据、所述拼接后的文本数据和时序数据输入到预先构建的多模态融合大模型中，计算以所述图像数据作为第一查询序列、所述拼接后的文本数据作为第一键序列和第一值序列之间的第一融合相似度矩阵，包括：

4.如权利要求3所述的基于多模态融合大模型的病历质控方法，其特征在于，所述由所述多模态融合大模型中的时序处理单元对所述时序数据进行特征提取，得到时序特征，包括：

5....

【专利技术属性】
技术研发人员：廖锤，
申请(专利权)人：武汉在水医方智能科技有限公司，
类型：发明
国别省市：