基于多模态对比学习的智能抑郁症检测方法技术

技术编号:46625576 阅读:2 留言:0更新日期:2025-10-14 21:22
本发明专利技术涉及人工智能技术领域,具体是指基于多模态对比学习的智能抑郁症检测方法。该方法融合音频、文本及视觉三种模态数据,通过结合低维手工特征与高维深度特征的多层次特征提取,利用LSTM和多头注意力机制实现模态内特征融合。训练阶段,引入模态内与模态间双重监督对比学习。采用基于Transformer的跨模态交互融合模块,实现不同模态间的深度信息交互。最终通过多层感知机进行抑郁状态预测。本发明专利技术的有益效果是:泛化能力增强,缓解过拟合问题:通过引入模态内和模态间监督对比学习,本发明专利技术有效利用有限的训练数据发掘出了样本间的共有信息和差异结构,缓解小样本及类别不平衡情况下的过拟合,这意味着本发明专利技术模型对新的检测数据具有更好的推广能力。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体是指基于多模态对比学习的智能抑郁症检测方法


技术介绍

1、目前,抑郁症的检测主要依赖自评量表和专业医生的访谈诊断,这种传统方法耗时且主观性强,难以及时大范围筛查,为提高检测效率和客观性,近年来涌现了基于人工智能的抑郁症自动检测技术方案,尤其是利用多模态数据和深度学习模型来辅助诊断,现有的技术方案大致包括以下几类:

2、1.单模态抑郁检测技术:早期的研究大多围绕单一模态展开,即只利用语音、文本或视觉信息来检测抑郁症,在语音模态中,研究者提取语音的韵律特征(如音高、语速、语调等)、声源特性、共振峰以及频谱特征等并训练分类模型以此判别抑郁症状;在文本模态中,通常对检测者访谈的转录文本进行情感分析,例如提取情感词典计数、情绪词分布统计特征等、进行语义情感分类等,以判断抑郁倾向;视觉模态上,则利用面部微表情和动作特征(如面部关键点、表情动作单元、头部姿态和眼球运动)训练模型检测抑郁迹象。单一模态方法能够捕捉该模态下与抑郁相关的一些信号,但准确率低且不稳定:抑郁症状复杂多样,单一模态往往难以全面反映患者心理状态,导致漏检或误诊本文档来自技高网...

【技术保护点】

1.基于多模态对比学习的智能抑郁症检测方法,其特征在于,包括以下步骤,

2.根据权利要求1所述基于多模态对比学习的智能抑郁症检测方法,其特征在于,所述步骤二中音频模态特征提取还包括基于预训练WavLM语音模型提取高维深度声学特征,利用WavLM模型对预处理后的音频进行向量化表示。

3.根据权利要求1所述基于多模态对比学习的智能抑郁症检测方法,其特征在于,所述步骤二中文本模态特征提取还包括基于预训练Chinese-BERT文本模型获取高维文本语义特征。

4.根据权利要求1所述基于多模态对比学习的智能抑郁症检测方法,其特征在于,所述步骤二中视觉模态特征提取...

【技术特征摘要】

1.基于多模态对比学习的智能抑郁症检测方法,其特征在于,包括以下步骤,

2.根据权利要求1所述基于多模态对比学习的智能抑郁症检测方法,其特征在于,所述步骤二中音频模态特征提取还包括基于预训练wavlm语音模型提取高维深度声学特征,利用wavlm模型对预处理后的音频进行向量化表示。

3.根据权利要求1所述基于多模态对比学习的智能抑郁症检测方法,其特征在于,所述步骤二中文本模态特征提取还包括基于预训练chinese-bert文本模型获取高维文本语义特征。

4.根据权利要求1所述基于多模态对比学习的智能抑郁症检测方法,其特征在于,所述步骤...

【专利技术属性】
技术研发人员:张艳马招丽彭贵婷姜玮素
申请(专利权)人:云南开放大学云南国防工业职业技术学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1