一种基于多模态临床诊疗数据的病情分析系统技术方案

本发明专利技术涉及一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；特征提取单元用于提取多模态数据特征；多模态融合单元将多模态数据特征进行融合，得到多模态融合特征；病情分类单元基于多模态融合特征，输出病情分类；在线学习单元基于医疗信息、就诊视频及影像数据，更新网络模型参数，实现模型在线学习。与现有技术相比，本发明专利技术提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。深的问题。深的问题。

【技术实现步骤摘要】
一种基于多模态临床诊疗数据的病情分析系统


[0001]本专利技术涉及人工智能及数字医疗
，尤其是涉及一种基于多模态临床诊疗数据的病情分析系统。

技术介绍

[0002]疾病诊断要求医生根据病人当前病的严重程度给出病情分析从而确定治疗手段，这种能力需要大量的临床经验和医学知识的积累。在医学上，病情分析是一个费时费力的工作，需要有丰富的临床经验让医生根据病人现在表现出来的症状、医学图像和生理信息给出最为切合的诊断。病情分析的一种技术方案是让计算机基于机器学习技术学习大量医生的正确的临床判断，根据以往的经验给病人一个具有针对性的治疗方案。目前，这种技术方案在一些慢性疾病(如慢性肾病)和神经退化性疾病(如帕金森综合症和阿尔兹海默症)上得到了初步应用，已有的方法将病人的医学影像输入到深度神经网络中，以给出病人的病情。
[0003]如申请号为CN202110454797.2的中国申请专利公开了一种病情演变分类方法、装置、电子设备和存储介质，该专利技术提供的技术方案通过对患者的时序治疗数据分阶段分析，将文本就诊数据进行编码拼接，通过注意力机制融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态临床诊疗数据的病情分析系统，其特征在于，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；所述病历信息提取单元用于提取患者的医疗信息；所述视频采集单元用于采集患者就诊视频；所述影像数据采集单元用于采集患者影像数据；所述特征提取单元基于所述医疗信息、就诊视频及影像数据，提取多模态数据特征；所述多模态融合单元用于将所述多模态数据特征进行融合，得到多模态融合特征；所述病情分类单元基于所述多模态融合特征，输出病情分类；所述在线学习单元基于所述医疗信息、就诊视频及影像数据，更新深度卷积网络模型参数，实现模型的在线学习。2.根据权利要求1所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述特征提取单元包括医疗信息特征提取子单元、视频特征提取子单元及医学影像模态特征提取子单元；所述多模态数据特征包括文本模态特征、视频模态特征及医学影像模态特征；所述医疗信息特征提取子单元基于医疗信息提取文本模态特征；所述视频特征提取子单元基于就诊视频提取视频模态特征；所述医学影像模态特征提取子单元基于影响数据提取医学影像模态特征。3.根据...

【专利技术属性】
技术研发人员：张立华，余豪文，李明程，王顺利，苏柳桢，陈嘉伟，王帅兵，卢宇蓝，
申请(专利权)人：复旦大学，
类型：发明
国别省市：