一种基于深度学习和双模态数据的抑郁情绪预测系统技术方案

本发明专利技术公开一种基于深度学习和双模态数据的抑郁情绪预测系统，涉及数据处理领域，该系统包括：待预测双模态数据获取模块，用于根据从社交媒体获取的用户双模态数据确定多个图文对，每个图文对均包括文本和图片；抑郁情绪预测模型，与所述待预测双模态数据获取模块连接，用于：对多个图文对进行特征提取，得到文本特征、图片特征和用户全局信息；采用跨模态注意力机制融合用户的每个图文对特征信息；采用自适应图卷积网络对多个图文对特征信息进行特征融合，得到融合特征；采用多头自注意力机制融合所述用户全局信息和所述融合特征得到用于特征表示；将所述用于特征表示输入分类器，得到用户的抑郁概率，本发明专利技术提高了抑郁情绪预测的准确性。绪预测的准确性。绪预测的准确性。

【技术实现步骤摘要】
一种基于深度学习和双模态数据的抑郁情绪预测系统


[0001]本专利技术涉及数据处理
，特别是涉及一种基于深度学习和双模态数据的抑郁情绪预测系统。

技术介绍

[0002]抑郁症是最常见的精神障碍之一。抑郁症患者的准确诊断是治疗的前提，但抑郁症患者必须主动联系心理健康专业人士，才有机会得到诊断。在临床诊断中，心理学家和医生通常会参考疾病的标准诊断指南，并进行面对面的交流采访。虽然这是诊断抑郁症最有效的方法，但超过70％的早期抑郁症患者没有得到治疗，病情恶化，因为大多数人缺乏医学知识，没有意识到疾病的风险。
[0003]有关研究表明：社交媒体网站的使用与用户的精神疾病存在相关性，这在一定程度上给患者的早期抑郁情绪预测提供了机会。尽管抑郁症患者在现实中的社交活动会减少，但处于沮丧状态的人也会有一个紧密联系的网络，网络中的联系人可能存在相似的情绪或者行为模式，比如：负面情绪增强，自我关注的重点增强，人际关系问题增多以及宗教思想的表达增加等。因此，社交媒体上的抑郁症相关话题以及有抑郁症倾向的用户所发布的文本和图片为抑郁症的早期研究提供了有效的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和双模态数据的抑郁情绪预测系统，其特征在于，包括：待预测双模态数据获取模块，用于根据从社交媒体获取的用户双模态数据确定多个图文对，每个图文对均包括文本和图片；抑郁情绪预测模型，与所述待预测双模态数据获取模块连接，用于：对多个图文对进行特征提取，得到文本特征、图片特征和用户全局信息；采用跨模态注意力机制融合用户的每个图文对特征信息；采用自适应图卷积网络对多个图文对特征信息进行特征融合，得到融合特征；采用多头自注意力机制融合所述用户全局信息和所述融合特征得到用于特征表示；将所述用于特征表示输入分类器，得到用户的抑郁概率。2.根据权利要求1所述的基于深度学习和双模态数据的抑郁情绪预测系统，其特征在于，所述抑郁情绪预测模型包括特征提取模块，所述特征提取模块用于对每个图文对进行特征提取，得到文本特征、图片特征和用户全局信息；所述特征提取模块包括BERT编码器，所述BERT编码器用于对文本数据进行特征提取，得到文本特征。3.根据权利要求2所述的基于深度学习和双模态数据的抑郁情绪预测系统，其特征在于，所述特征提取模块还包括残差网络、FasterR
‑
CNN和拼接模块；所述残差网络用于对图片进行特征提取，得到图片的深层特征；所述FasterR
‑
C...

【专利技术属性】
技术研发人员：蔡莉，沈先发，杨文洁，刘俊晖，
申请(专利权)人：云南大学，
类型：发明
国别省市：