【技术实现步骤摘要】
一种基于统计学习的患者行为多模态分析与预测系统
本专利技术涉及患者行为识别领域，尤其是涉及一种基于统计学习的患者行为多模态分析与预测系统。
技术介绍
患者行为，指的是一种以医疗场景下的患者认知、情感、过去的经验等主观感受为中介的行为反应。具体指通过医疗诊断设备，例如B超、计算机断层扫描(CT)、核磁共振和定点的三维运动捕捉系统等采集到的患者图像信息、语音信息、生理信号等。面向医疗诊断场景和患者行为分析领域，在人工智能高速发展的当今，通过统计学习的手段采取数据驱动的方式，对多模态患者行为数据分析预测，能够为下一步的医疗结局相关性分析提出有力的数据支撑，为患者认知和康复治疗取得更为全面的解决方案。基于统计学习的多模态数据处理方法被视为一种多模态学习方法，目前在跨模态数据分类、多维度情感分析、多模态语义计算和异构数据的样本匹配方面取得了令人瞩目的效果。针对智慧医院建立基础的患者行为数据研究，目前统计学习研究对象是患者数据。通过提取患者行为数据特征，抽象出数据模型，发现数据的深层知识语义关系，又回到数据本身的分析和预...
【技术保护点】
1.一种基于统计学习的患者行为多模态分析与预测系统，其特征在于，包括：多模态采集模块、基于姿态的患者行为识别模块、基于生理信号的患者行为识别模块、基于情感信号的患者行为识别模块、基于语音信号的患者行为识别模块和基于多核学习的融合模块；所述基于姿态的患者行为识别模块、基于生理信号的患者行为识别模块、基于情感信号的患者行为识别模块和基于语音信号的患者行为识别模块均分别连接所述多模态采集模块和基于多核学习的融合模块；/n所述患者行为多模态分析与预测系统采用预先建立并训练好的基于多核学习的融合模块进行数据处理，所述基于多核学习的融合模块包括多核分类器，所述基于多核学习的融合模块的训...
【技术特征摘要】
1.一种基于统计学习的患者行为多模态分析与预测系统，其特征在于，包括：多模态采集模块、基于姿态的患者行为识别模块、基于生理信号的患者行为识别模块、基于情感信号的患者行为识别模块、基于语音信号的患者行为识别模块和基于多核学习的融合模块；所述基于姿态的患者行为识别模块、基于生理信号的患者行为识别模块、基于情感信号的患者行为识别模块和基于语音信号的患者行为识别模块均分别连接所述多模态采集模块和基于多核学习的融合模块；
所述患者行为多模态分析与预测系统采用预先建立并训练好的基于多核学习的融合模块进行数据处理，所述基于多核学习的融合模块包括多核分类器，所述基于多核学习的融合模块的训练过程具体为，首先对所述多核分类器的各个核函数分别进行训练并组合，然后对所述多核分类器进行整体训练，得到每个核函数的权重系数，从而获取训练后的所述基于多核学习的融合模块。
2.根据权利要求1所述的一种基于统计学习的患者行为多模态分析与预测系统，其特征在于，所述多模态采集模块用于获取多模态数据，该多模态数据包括人体姿态数据、生理信号数据、情感表情表达数据和语音音频数据。
3.根据权利要求2所述的一种基于统计学习的患者行为多模态分析与预测系统，其特征在于，所述基于姿态的患者行为识别模块包括依次连接的数据预处理单元、特征提取表示单元、分类器选择单元和标签输出单元；
所述数据预处理单元，通过线性插值的方法对所述人体姿态数据进行对齐操作。
4.根据权利要求3所述的一种基于统计学习的患者行为多模态分析与预测系统，其特征在于，所述特征提取表示单元，通过快速傅里叶变换系数和离散余弦变换的方法进行频域特征的表示，通过小波分析进行时域特征的表示。
5.根据权利要求2所述的一种基于统计学习的患者行为多模态分析与预测系统，其特征在于，所述基于生理信号的患者行为识别模块包括依次连接的生理信号采集单元、生理信号预处理单元、信号特征提取单元和模态输出单元；
所述生理信...
【专利技术属性】
技术研发人员：张立华，杨鼎康，邝昊鹏，林野，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。