一种基于多模态临床诊疗数据的病情分析系统技术方案

本发明专利技术涉及一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；特征提取单元用于提取多模态数据特征；多模态融合单元将多模态数据特征进行融合，得到多模态融合特征；病情分类单元基于多模态融合特征，输出病情分类；在线学习单元基于医疗信息、就诊视频及影像数据，更新网络模型参数，实现模型在线学习。与现有技术相比，本发明专利技术提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。深的问题。深的问题。

【技术实现步骤摘要】
一种基于多模态临床诊疗数据的病情分析系统


[0001]本专利技术涉及人工智能及数字医疗
，尤其是涉及一种基于多模态临床诊疗数据的病情分析系统。

技术介绍

[0002]疾病诊断要求医生根据病人当前病的严重程度给出病情分析从而确定治疗手段，这种能力需要大量的临床经验和医学知识的积累。在医学上，病情分析是一个费时费力的工作，需要有丰富的临床经验让医生根据病人现在表现出来的症状、医学图像和生理信息给出最为切合的诊断。病情分析的一种技术方案是让计算机基于机器学习技术学习大量医生的正确的临床判断，根据以往的经验给病人一个具有针对性的治疗方案。目前，这种技术方案在一些慢性疾病(如慢性肾病)和神经退化性疾病(如帕金森综合症和阿尔兹海默症)上得到了初步应用，已有的方法将病人的医学影像输入到深度神经网络中，以给出病人的病情。
[0003]如申请号为CN202110454797.2的中国申请专利公开了一种病情演变分类方法、装置、电子设备和存储介质，该专利技术提供的技术方案通过对患者的时序治疗数据分阶段分析，将文本就诊数据进行编码拼接，通过注意力机制融合从而预测患者的病情。但是该方案缺少对患者医疗信息的深度挖掘，正确率不高，可能对患者的病情误判。
[0004]此外，目前还存在一些针对特殊病种的病情分析方法。例如，首先将患者的医疗信息通过主成分分析得到主成分，然后通过多个全连接层做出决策，分析患者的病情并给出相对的治疗方案。
[0005]现有技术的缺点主要体现在两个方面：
[0006]1.准确率较低：现有方法一般使用单模态信息进行病情分类，如视觉(医疗影像数据)或文本(主诉、病历等)，没有充分利用和挖掘医疗场景下的多模态医疗信息，因此准确率较低。
[0007]2.无法实时更新：现有方法中使用的方法或模型都是固定的，无法根据更新的病例数进行实时更新，以提升方法的准确性。

技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态临床诊疗数据的病情分析系统。本专利技术通过采集患者在就诊时提供的医疗信息，包括文本信息、医学影像和视频，将这些医疗信息通过深度神经网络融合，经过决策得到该患者的病情分析报告和治疗方案。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]一种基于多模态临床诊疗数据的病情分析系统，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；
[0011]所述病历信息提取单元用于提取患者的医疗信息；
[0012]所述视频采集单元用于采集患者就诊视频；
[0013]所述影像数据采集单元用于采集患者影像数据；
[0014]所述特征提取单元基于所述医疗信息、就诊视频及影像数据，提取多模态数据特征；
[0015]所述多模态融合单元用于将所述多模态数据特征进行融合，得到多模态融合特征；
[0016]所述病情分类单元基于所述多模态融合特征，输出病情分类；
[0017]所述在线学习单元基于所述医疗信息、就诊视频及影像数据，更新深度卷积网络模型参数，实现模型的在线学习。
[0018]进一步地，所述特征提取单元包括医疗信息特征提取子单元、视频特征提取子单元及医学影像模态特征提取子单元；
[0019]所述多模态数据特征包括文本模态特征、视频模态特征及医学影像模态特征；
[0020]所述医疗信息特征提取子单元基于医疗信息提取文本模态特征；
[0021]所述视频特征提取子单元基于就诊视频提取视频模态特征；
[0022]所述医学影像模态特征提取子单元基于影响数据提取医学影像模态特征。
[0023]进一步地，所述视频特征提取子单元针对就诊视频，采用OpenFace提取视频中患者的面部特征，将逐帧画面作为输入，得到视频模态特征。
[0024]进一步地，所述多模态融合单元将多模态数据特征输入LSTM网络，得到多模态融合特征。
[0025]进一步地，所述病情分类单元将所述多模态融合特征输入深度卷积网络的全连接层，得到病情分类。
[0026]进一步地，所述文本模态特征的提取包括以下步骤：
[0027]对所述医疗信息进行数据清洗，得到清洗后的文本信息；
[0028]将所述清洗后的文本信息输入Bert预训练模型，得到文本模态特征。
[0029]进一步地，所述视频模态特征的提取包括以下步骤：
[0030]从视频中提取患者就诊画面；
[0031]基于所述患者就诊画面，提取患者表情和神态的关键帧画面；
[0032]将所述关键帧画面输入OpenFace模型及VGG Face模型，得到视频模态特征。
[0033]与现有技术相比，本专利技术具有以下有益效果：
[0034]1、本专利技术提出的特征提取单元，通过现有高性能的和预训练的深度神经网络，精确提炼模态特征，从而有利于后续病情分类。
[0035]2、本专利技术的多模态融合单元，通过LSTM模型，将患者各个模态的数据进行深度融合，充分挖掘各个模态的有益信息，得到有效的多模态患者病情特征，提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。
[0036]3、本专利技术提出的在线学习单元，实时收集医疗场景中的多模态临床诊疗数据，并将其用于模型参数的更新，实现模型的在线学习，从而不断更新模型，提升模型的效果。
附图说明
[0037]图1为本专利技术的结构示意图。
具体实施方式
[0038]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0039]本专利技术首先通过病历信息提取单元获得患者基本的医疗信息(包括性别、年龄和主诉)，通过视频采集单元得到患者的就诊视频，并通过相应医疗设备采集患者影像数据，特征提取单元负责提取采集各个模态的数据的特征，多模态融合单元将上述特征进行融合，最后通过决策网络得到最终的病情分类。
[0040]本专利技术将患者各个模态的数据进行深度融合，充分挖掘各个模态的有益信息，得到有效的多模态患者病情特征，提高了病情分析的正确率，解决了病情识别正确率低和信息挖掘程度不深的问题。
[0041]如图1所示，为本实施例提出的一种基于多模态临床诊疗数据的病情分析系统结构示意图，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；
[0042]病历信息提取单元用于提取患者的医疗信息；视频采集单元用于采集患者就诊视频；影像数据采集单元用于采集患者影像数据；
[0043]特征提取单元基于医疗信息、就诊视频及影像数据，提取多模态数据特征；
[0044]多模态融合单元用于将多模态数据特征进行融合，得到多模态融合特征；
[0045]病情分类单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态临床诊疗数据的病情分析系统，其特征在于，包括病历信息提取单元、视频采集单元、影像数据采集单元、特征提取单元，多模态融合单元、病情分类单元和在线学习单元；所述病历信息提取单元用于提取患者的医疗信息；所述视频采集单元用于采集患者就诊视频；所述影像数据采集单元用于采集患者影像数据；所述特征提取单元基于所述医疗信息、就诊视频及影像数据，提取多模态数据特征；所述多模态融合单元用于将所述多模态数据特征进行融合，得到多模态融合特征；所述病情分类单元基于所述多模态融合特征，输出病情分类；所述在线学习单元基于所述医疗信息、就诊视频及影像数据，更新深度卷积网络模型参数，实现模型的在线学习。2.根据权利要求1所述的一种基于多模态临床诊疗数据的病情分析系统，其特征在于，所述特征提取单元包括医疗信息特征提取子单元、视频特征提取子单元及医学影像模态特征提取子单元；所述多模态数据特征包括文本模态特征、视频模态特征及医学影像模态特征；所述医疗信息特征提取子单元基于医疗信息提取文本模态特征；所述视频特征提取子单元基于就诊视频提取视频模态特征；所述医学影像模态特征提取子单元基于影响数据提取医学影像模态特征。3.根据...

【专利技术属性】
技术研发人员：张立华，余豪文，李明程，王顺利，苏柳桢，陈嘉伟，王帅兵，卢宇蓝，
申请(专利权)人：复旦大学，
类型：发明
国别省市：