基于多特征融合的抑郁倾向检测方法、存储介质及设备技术

本发明专利技术公开了一种基于多特征融合的抑郁倾向检测方法、存储介质及设备，包括：获取待预测人物视频，输入到预先训练好的基于多特征融合的抑郁倾向预测模型，得到最终抑郁倾向预测结果；模型处理过程，包括：根据待预测人物视频分别提取头部运动特征和面部表情特征；根据头部运动特征预测基于头动的抑郁倾向预测结果；根据面部表情特征预测基于表情的抑郁倾向预测结果；使用加权投票法对预测结果进行融合得到最终抑郁倾向预测结果。优点：结合表情及头动信息对抑郁倾向进行评估，可以缓解仅凭表情变化对抑郁倾向进行评估的不可靠性，通过时空块提取抽象时空信息，在不大量增加计算量的同时增强模型的视频理解能力，提高模型预测准确率。

【技术实现步骤摘要】

本专利技术涉及一种基于多特征融合的抑郁倾向检测方法、存储介质及设备，属于计算机视觉、情感计算。

技术介绍

1、据世界卫生组织(who)统计，全世界有超过3.5亿人受抑郁症困扰，已成为世界第四大疾病，抑郁症对人们的生活、工作、社交都造成了极大的影响，重度抑郁症(mmd)患者甚至会有自杀倾向。抑郁症患者更容易呈现出悲伤、沮丧、无助、忧愁等表情，因此一些研究通过面部视频信息对抑郁水平进行评估，以期通过计算机视觉技术在抑郁症早期及时发现并治疗；

2、抑郁表情发生在一段连续的时间内，为了兼顾对面部空间特征的关注以及构建良好的时空建模以捕捉视频中的长时依赖关系和时间上的变化，一些用于视频理解任务的方法(如3d cnn、wo-stream cnn)被用于对抑郁水平进行评估。三维卷积网络(如c3d、i3d等)能够同时考虑视频帧之间的时序关系和空间关系，从而更好地对视频中的时间信息进行建模，然而三维卷积核在训练过程中需要调整的参数较多，计算复杂度显著增加，且在数据较少的情况下更容易出现过拟合问题。传统two-stream cnn通过空间流和时间流分别对rgb帧和本文档来自技高网...

【技术保护点】

1.一种基于多特征融合的抑郁倾向检测方法，其特征在于，包括：

2.根据权利要求1所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述基于多特征融合的抑郁倾向预测模型的训练过程，包括：

3.根据权利要求2所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述对所述用于情感识别的数据集进行预处理操作得到原始视频集V，对原始视频集V中预处理后的视频帧x进行人脸截取和尺寸调整得到面部视频集Ve，对原始视频集V中预处理后的视频帧x进行压缩得到头动视频集Vm，包括：

4.根据权利要求3所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述TSDenseNe...

【技术特征摘要】

1.一种基于多特征融合的抑郁倾向检测方法，其特征在于，包括：

2.根据权利要求1所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述基于多特征融合的抑郁倾向预测模型的训练过程，包括：

3.根据权利要求2所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述对所述用于情感识别的数据集进行预处理操作得到原始视频集v，对原始视频集v中预处理后的视频帧x进行人脸截取和尺寸调整得到面部视频集ve，对原始视频集v中预处理后的视频帧x进行压缩得到头动视频集vm，包括：

4.根据权利要求3所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述tsdensenet共有五层，每一层包括三个连续运算的复合函数批量归一化、relu和一个时空块，使用密集连接连接tsdensenet中每一层的输出以进行特征复用和信息传递，tsdensenet在第层的输出layerl可由下表示：

5.根据权利要求4所述的基于多特征融合的抑郁倾向检测方法，其特征在于，所述时空块包括时间分支、空间分支、特征融合块、瓶颈块，其中时间分支和空间分支分别用来提取输入特征图序列的时间特征和空间特征，在特征融合块中通过插帧融合法来融合两个分支的输出以获得包含抽象时空信息的时空特征图序列，通过瓶颈块对所得时空特征图序列进行进一步的...

【专利技术属性】
技术研发人员：宋彪，张梓豪，张小瑞，孙伟，张浩明，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：