一种基于视听多模态数据融合的抑郁症评估方法及设备技术

技术编号:41655351 阅读:16 留言:0更新日期:2024-06-14 15:18
本发明专利技术公开了一种基于视听多模态数据融合的抑郁症评估方法,包括以下步骤:步骤1、获取受试者的面部视频及受试者音频;步骤2、得到受试者的低级视觉特征和低级音频特征;步骤3、将步骤2获取的低级视觉特征和低级音频特征输入到并行多尺度桥融合抑郁症评估PMBFN网络进行处理并得到抑郁症评级;本发明专利技术通过构建视觉与音频分支的空间编码模块、并行多尺度动态卷积模块与时空注意力池化模块,快速、高效地从视听多模态数据中提取出多尺度深度特征,全面捕获抑郁行为的动态表现,并在多模态桥融合模块的调整下,使得模态之间数据充分交互,提升多模态数据的利用率,从而提高自动抑郁症评估的准确度与效率。

【技术实现步骤摘要】

本专利技术涉及抑郁症评估方法,具体是一种基于视听多模态数据融合的抑郁症评估方法及设备


技术介绍

1、抑郁症是一种常见精神障碍,患者常常经历持续的情绪低落、兴趣减退、认知功能受损、睡眠障碍和食欲紊乱等症状,这些症状严重影响他们的生活质量,并且在极端情况下可能导致自杀行为,因此及早地评估抑郁症的严重程度十分重要。在临床的抑郁症评估中,医生通常通过结构化或半结构化的访谈来观察抑郁症患者的症状,并评估其严重程度,为了辅助量化评估抑郁症的严重程度,常使用标准化的抑郁症严重程度自评量表,然而这种结合访谈和量表评估的方式存在一定的主观性,并且需要耗费大量的人力、资源与时间成本。而随着人工智能领域的持续突破,特别是深度学习技术的迅猛发展,自动抑郁评估迎来了全新的可能性。

2、目前的自动抑郁评估技术主要聚焦于借助深度学习技术学习多模态数据中反映抑郁信息的特征表示,通过提取深度特征来评估抑郁症的严重程度,旨在提供一种便捷、客观和高效的方式快速筛查抑郁症人群。但已有的自动抑郁症评估方法通常只在单一尺度上观察多模态数据,没有充分挖掘多模态的表示,提取的深度特征易受到本文档来自技高网...

【技术保护点】

1.一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述步骤2中的低级视觉特征的获取包括以下步骤:

3.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述步骤2中的低级音频特征的获取包括以下步骤;

4.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述空间编码模块SE通过1D卷积层对视觉特征与音频特征进行重编码,对原始特征通过单层的卷积进行类残差处理;

5.根据权利要求1所述的一...

【技术特征摘要】

1.一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述步骤2中的低级视觉特征的获取包括以下步骤:

3.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述步骤2中的低级音频特征的获取包括以下步骤;

4.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述空间编码模块se通过1d卷积层对视觉特征与音频特征进行重编码,对原始特征通过单层的卷积进行类残差处理;

5.根据权利要求1所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在于,所述结合lstm的并行多尺度动态卷积网络pmdcln由m个结合lstm的并行多尺度动态卷积pmdcl模块与n个最大池化层构成。

6.根据权利要求5所述的一种基于视听多模态数据融合的抑郁症评估方法,其特征在...

【专利技术属性】
技术研发人员:刘磊胡敏王晓华陈进李鸿博徐凌翔
申请(专利权)人:合肥工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1