一种基于多模态数据用户情绪自测系统技术方案

本发明专利技术提供一种基于多模态数据用户情绪自测系统，包括：信息获取模块、多模态数据处理模块、数据存储模块和评估模块；信息获取模块接收用户个人信息；多模态数据处理模块中，量表自测模块向用户提供情绪测试量表并计算分数；语音检测模块向用户发送带有多种情感激发的问题，并收集答复语音；对答复语音进行VAD处理后，由预设模型提取音频特征；离线状态下，将答复语音转换为文本数据，提取文本情感特征；视频检测模块向用户发送带有多种情感激发的视频，并收集用户观看时的行为视频，由预设模型提取其中的视频特征；评估模块根据上述得到的特征，得到情绪分析数据及评估值。本发明专利技术的系统支持远程自测，医疗成本低，检测流程标准且客观。且客观。且客观。

【技术实现步骤摘要】
一种基于多模态数据用户情绪自测系统


[0001]本专利技术涉及数据收集与处理
，尤其涉及一种基于多模态数据用户情绪自测系统。

技术介绍

[0002]抑郁症是一种世界范围内常见的精神疾病，主要表现为情绪低落、思维缓慢、意志活动减弱等。抑郁症已经成为主要的健康问题之一，全球约有3亿人受到抑郁症的影响。根据世界卫生组织(世卫组织)2021年青少年心理健康报告，全世界10～19岁的人群中，每7人中就有1人患有精神障碍，抑郁症是这一年龄组的主要病因之一。
[0003]抑郁症是一种典型的心理障碍，随着病情恶化，可能会导致患者发生自杀、自残等行为。青少年正处于成长的关键时期，因此抑郁症对其而言更加危险。幸运的是，早期发现和诊断有助于防止病情恶化，减少抑郁症造成的损害。因此，早期发现和诊断对于预防和治疗抑郁症至关重要。
[0004]现有技术方案包括有问卷调查、神经影像技术、生物标志物、行为和认知测试等等。其中，问卷调查是一种广泛使用的抑郁症研究数据收集方法，使用标准化的抑郁症问卷来评估受试者的心理状况，但存在回忆偏差和主观性等局限性。神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据用户情绪自测系统，其特征在于，所述系统关联至预设平台，以应用程序的形式展现，所述系统包括：多模态数据处理模块；所述多模态数据处理模块包括量表自测模块、语音检测模块和视频检测模块；所述量表自测模块响应于用户请求提供多种情绪测试表，接收所述用户反馈的情绪测试表填报结果，并根据所述情绪测试表填报结果生成对应的自测分数；所述语音检测模块响应于所述用户请求以文字形式提供多种带有情感激发的问题，并接收所述用户针对所述问题反馈的答复语音；对所述答复语音进行语音端点检测处理，将所述答复语音合并为短音频；将所述短音频输入预训练得到的音频特征提取模型中，得到用于判断用户情感的音频特征；在离线状态下，将所述答复语音转换为文本数据，并基于预设算法得到所述文本数据的文本情感特征；所述视频检测模块响应于所述用户请求以视频形式提供多种带有情感激发的视频片段，并同步采集所述用户在观看所述视频片段过程中的行为视频，所述行为视频包括用户的表情和动作；对所述行为视频进行预处理后输入预训练得到的视频特征提取模型中，得到用于判断用户情感的视频特征；数据存储模块，用于存储所述自测分数、所述答复语音、所述文本数据、所述文本情感特征、所述音频特征、所述行为视频和所述视频特征；评估模块，用于根据所述自测分数、所述文本情感特征、所述音频特征和所述视频特征，得到用户的情绪分析数据及评估值。2.根据权利要求1所述的基于多模态数据用户情绪自测系统，其特征在于，还包括：所述量表自测模块响应于用户请求提供多种抑郁量表，所述抑郁量表包括汉密尔顿量表、贝克抑郁量表、患者健康问卷和自评抑郁量表；接收所述用户反馈的抑郁量表填报结果，并根据所述抑郁量表填报结果生成对应的自测分数；所述语音检测模块响应于所述用户请求以文字形式提供用于诊断抑郁症的多种带有积极情感、消极情感、中性情感激发的问题，并接收所述用户针对所述问题反馈的答复语音；对所述答复语音进行语音端点检测处理，将所述答复语音合并为短音频；将所述短音频输入预训练得到的音频特征提取模型中，得到用于判断用户情感的音频特征；在离线状态下，将所述答复语音转换为文本数据，并基于预设算法得到所述文本数据的文本情感特征；所述视频检测模块响应于所述用户请求以视频形式提供用于诊断抑郁症的多种带有积极情感、消极情感、中性情感激发的视频片段，并同步采集所述用户在观看所述视频片段过程中的行为视频，所述行为视频包括用户的表情和动作；对所述行为视频进行预处理后输入预训练得到的视频特征提取模型中，得到用于...

【专利技术属性】
技术研发人员：李雅，任一鸣，高迎明，李启飞，王栋，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：