一种基于多模态信息融合的抑郁症评估系统及设备技术方案

本发明专利技术涉及一种基于多模态信息融合的抑郁症评估系统及设备，属于抑郁症智能评估的技术领域；系统包括采集多种模态数据特征的无感智能数据采集模块、单模态特征处理模块、信号特征提取模块、智能融合模块、融合特征处理模块和预测及分类模块；本发明专利技术通过对多模态数据特征进行融合，分别对单模态数据特征和融合特征进行处理，并将结果融合，进行量化感知被测人员的心理健康程度，提高了被测人员是否患抑郁症可能性以及抑郁症程度的精准度，且减少了人为的主观判断，提高了心理健康评估的准确性和客观性。和客观性。和客观性。

【技术实现步骤摘要】
一种基于多模态信息融合的抑郁症评估系统及设备


[0001]本专利技术涉及抑郁症智能评估的
，尤其是涉及一种基于多模态信息融合的抑郁症评估系统及设备。

技术介绍

[0002]目前，随着我国工业化和城镇化进程的不断推进，生活方式由传统向现代转变，经济社会高速发展，思想观念快速变革，这给和谐社会的发展带来了诸多问题和矛盾，人们学习、工作和生活的压力也变得越来越大，出现心理疾病以及行为障碍的幅度也越来越大，越来越多的人受到心理以及精神方面疾病的困扰，尤其是抑郁症问题给公众的心理健康状况带来巨大的挑战。同时，恶劣的心理健康状况不仅会给患者及其家庭带来痛苦，也会给全社会造成更加沉重的疾病负担。
[0003]当前，对抑郁症患者的评估方法主要依靠咨询心理医生或借助心理评测报告和各类测评量表，而心理测评量表系统是以问卷调查和数据报表为基础，根据以往调查分析的结果形成的模型作参考，对照被测评人对相关问题的回答，进行心理评估。
[0004]上述中的方案获得的抑郁症患者的信息是分立的，缺乏有效整合，对大学生心理评估的信度和效度都有不良影响，且影响深度无从评价，不仅费时耗力，而且评估结果还具有很强的主观性。

技术实现思路

[0005]为了解决上述
技术介绍
中提出的的问题，本专利技术提供一种基于多模态信息融合的抑郁症评估系统及设备。
[0006]第一方面，本专利技术提供一种基于多模态信息融合的抑郁症评估系统，采用如下的技术方案：一种基于多模态信息融合的抑郁症评估系统，包括：无感智能数据采集模块，用于采集被测人员的多种模态数据特征；单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征；融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果。
[0007]通过采用上述技术方案，采集被测人员的多种模态数据特征，并将其高效融合得到融合特征，通过设置单模态特征处理模块和融合特征处理模块分别对单模态数据特征和
融合特征处理，得到基于单模态的抑郁症程度评估结果和基于融合特征的抑郁症程度评估结果，将两种结果融合得到最终评估结果，提高了抑郁症程度评估的准确性和客观性，减少了主观性。
[0008]优选的，所述多种模态数据特征至少包括行为信号和生理信号；所述行为信号包括音频特征和面部特征，所述音频特征包括语音信号和语义信号，所述面部特征包括面部行为和面部表情；所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
[0009]优选的，所述单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元。
[0010]优选的，所述语音处理单元具体包括：第一转换组件，用于将所述语音信号和语义信号转换为语音单模态数据；第一评估组件，用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型，进行打分并分类，得到关于语音的评估结果三。
[0011]优选的，所述基于语音信号的情绪心理状态识别模型包括：第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为eNTERFACE05数据库中的音频模态，所述第一初始模型为vanilla CLDNN网络模型；第一分类单元，用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充，并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log
‑
Mels训练，得到基于语音信号的情绪心理状态识别模型。
[0012]优选的，所述面部处理单元具体包括：第二转换组件，用于将所述面部行为和面部表情转换为面部表情单模态数据；第二评估组件，用于将所述面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型，进行打分并分类，得到关于面部表情的评估结果四。
[0013]优选的，所述基于面部表情的情绪心理状态识别模型包括：第二采集单元，用于获取第二数据集和第二初始模型，所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像，所述第二初始模型为ConvNet网络模型；第二分类单元，用于所述第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集；第二训练单元，用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
[0014]优选的，所述单模态特征处理模块还包括：获取单元，用于获取关于语音的评估结果三和关于面部表情的评估结果四；融合单元，用于将所述关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理，得到被测人员抑郁症程度的评估结果一。
[0015]通过采用上述技术方案，将单模态数据的处理结果进行融合，进而提高被测人员抑郁程度评估的精准度。
[0016]优选的，所述基于MBP和注意力机制的数据融合模型的具体生成步骤如下：
第三采集单元，用于获取第三数据集和第三初始模型，所述第三初始模型为MBP模型和自注意力机制模型；第三分类单元，用于将所述第三数据集分为第三训练集和第三测试集，所述第三训练集和第三测试集的比例为4:1；第三训练单元，用于通过所述第三训练集对所述第三初始模型进行训练，得到基于MBP和注意力机制的数据融合模型。
[0017]第二方面，本专利技术提供一种基于抑郁症评估的电子设备，采用如下的技术方案：一种基于抑郁症评估的电子设备，包括：可读存储介质，存储有上述基于多模态信息融合的抑郁症评估系统所用的软件指令，其中包括有用于实现为多模态信息融合的抑郁症评估系统所设计的计算机程序；处理器，用于执行所述可读存储介质所存储的计算机程序；触摸显示屏，用于人机实时交互，可视化的显示多种模态数据和评测结果。
[0018]综上所述，本专利技术具有如下的有益技术效果：1.本专利技术通过采集被测人员的多种模态数据特征，并进行了高效融合，对单模态数据特征和融合特征分别进行处理，并将结果融合，量化感知被测人员的心理健康程度，提高了对于被测人员是否患抑郁症可能性以及抑郁症程度的精准度；2.本专利技术减少了人为的主观判断，提高了心理健康评估的准确性和客观性。
附图说明
[0019]图1是本专利技术的处理流程示意图。
具体实施方式
[0020]以下结合图1对本专利技术作进一步详细说明。
[0021]本专利技术实施例公开一种基于多模态信息融合的抑郁症评估系统。参照图1，一种基于多模态信息融合的抑郁症评估系统具体包括：无感智能数据采集模块、单模态特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息融合的抑郁症评估系统，其特征在于，包括：无感智能数据采集模块，用于采集被测人员的多种模态数据特征；单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征；融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果。2.根据权利要求1所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述多种模态数据特征至少包括行为信号和生理信号；所述行为信号包括音频特征和面部特征，所述音频特征包括语音信号和语义信号，所述面部特征包括面部行为和面部表情；所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。3.根据权利要求2所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元。4.根据权利要求3所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述语音处理单元具体包括：第一转换组件，用于将所述语音信号和语义信号转换为语音单模态数据；第一评估组件，用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型，进行打分并分类，得到关于语音的评估结果三。5.根据权利要求4所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述基于语音信号的情绪心理状态识别模型包括：第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为eNTERFACE05数据库中的音频模态，所述第一初始模型为vanilla CLDNN网络模型；第一分类单元，用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充，并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log
‑
Mels训练，得到基于语音信号的情绪心理状态识别模型。6.根据权利要求5所述的一...

【专利技术属性】
技术研发人员：陈元，王志意，李凤霞，刘治，刘得成，王聪聪，孙保林，
申请(专利权)人：山东第一医科大学附属省立医院山东省立医院，
类型：发明
国别省市：