【技术实现步骤摘要】
本专利技术属于图像处理，特别是涉及一种结合自监督和弱监督学习的抑郁症面部视频分类方法。
技术介绍
1、抑郁症病因尚未明确、缺乏客观诊断生理指标，目前临床应用中对抑郁症的诊断多以主观量表为主，其测试结果的准确性依赖于医生的熟练性以及患者的配合度，故其误诊率目前居高不下，因此需要寻找客观的参数指标，以帮助提升抑郁症诊断的准确率。
2、近年来，已经有越来越多的研究尝试通过设备捕获人体的生理信号、面部动作视频的视觉信号，以及生化指标来寻求抑郁症诊断的客观诊断依据，常见的采集数据如：脑电信号、皮肤电信号、脑皮层血红蛋白浓度数据、脑磁共振信号等具有客观、不易伪装的优点，但如脑电、近红外光谱成像等设备佩戴繁琐、耗时长、难以获取大量数据且需要受试者的高度配合等缺点。越来越多的学者将目光聚焦于计算机视觉技术，通过情感材料与被试者进行交互，刺激情绪捕获其面部变化的动作视频进行分析其抑郁症的相关信息，对其抑郁程度进行客观评估，并可以进一步总结抑郁症患者的行为特点以指导医生的临床诊断。而且该方法的采集设备仅需要摄像头，成本较低便于普及推广；尤其信息釆集过程中被试无需接触设备，可使之始终保持无需防范的自然心态，易于展现真实的精神心境数据，这对于兴趣或愉悦感减退的患者十分友好，具有较高研究价值和发展空间。
3、现有的基于视频流数据的抑郁症分类方法主要存在以下难点：
4、1、精确标注的抑郁症视频数据获取困难。一方面传统的抑郁症诊断整个过程中由于其疾病复杂的特性，诊断耗时长的同时也伴随着较高的误诊率，使精确标注数据获取困难。
5、2、视频数据较大，且长短都不一致，无法一次性放入内存中进行计算，现有的方式有：
6、伪标签法：通过截取片段喂入网络，再赋予每个片段与原视频同样的伪标签，而为可能不存在抑郁特征的片段引入错误的伪标签会对模型训练引入大量噪声。
7、下采样法：通过随机或手工对视频数据帧进行下采样来降低和控制视频数据的长度，随机的采样可能会遗失面部的抑郁症关键证据，而手工的方式在耗时耗力的同时也会引入操作者的偏见和错误。
8、编码压缩法：通过对视频数据进行压缩得到帧级别的特征表示，这对编码视频帧的编码器提出了更高的要求，最常见的方法是通过在imagenet上预训练的resnet-50对视频帧进行编码，但由于数据域差别大，且面部视频帧间高度相似的特性，在实际应用中效果不佳。
技术实现思路
1、本专利技术实施例的目的在于提供一种结合自监督和弱监督学习的抑郁症面部视频分类方法，以解决本领域内可用数据少容易产生过拟合现象，且由于视频数据较大，时间长度不一致，而传统的有监督学习方式通过下采样来获得长度一致的视频，容易导致可能存在的关键证据丢失，从而不能学习到显著的抑郁症视觉特征的问题。
2、为解决上述技术问题，本专利技术所采用的技术方案是，一种结合自监督和弱监督学习的抑郁症面部视频分类方法，包括以下步骤：
3、步骤s1、利用人脸图像对特征提取器进行预训练；
4、步骤s2、利用训练后的特征提取器对抑郁症面部视频中的人脸图像进行特征提取；
5、步骤s3、通过注意力机制的长短记忆网络对提取出的特征进行伪袋特征蒸馏；
6、步骤s4、通过注意力的多示例学习网络对蒸馏伪袋进行特征聚合，得到最终的视频分类结果。
7、进一步地，所述步骤s1中预训练的步骤具体如下：
8、步骤s11、将人脸图像切分成小图像块作为输入，每个图像块被映射为向量表示序列；
9、步骤s12、对序列中的部分向量表示进行随机的遮罩，替换为可学习的带遮罩的向量表示；
10、步骤s13、对序列加上位置编码，送入编码器得到输出的向量表示，输出的向量表示经过一个线性层编码器得到预测结果；
11、步骤s14、通过原图像计算得到方向梯度直方图特征，根据方向梯度直方图特征与上一步预测结果的对编码器进行训练。
12、进一步地，所述步骤s2中的特征提取过程表示为：
13、hn＝e(xn)
14、式中，e为训练后的特征提取器，xn表示第n个视频所截取的人脸图片。
15、进一步地，所述步骤s3中特征蒸馏具体表示为：
16、h*＝tanh(hαt)
17、式中，h*表示特征蒸馏完成后的伪袋特征，α表示注意力分数，α的维度为1×t，tanh()表示tanh函数，h是抑郁症面部视频中第m个伪袋中t个图像块通过长短记忆网络后得到的向量集合。
18、进一步地，所述步骤s3中伪袋的定义为：
19、将单个抑郁症面部视频的图像块集合称为袋，对袋中的示例图像块，按顺序划分为m个伪袋，同时对伪袋赋予与袋相同的标签其中表示为第n个袋中的第m个伪袋的标签，yn表示为第n个袋的标签；将袋中k个示例划分为m份，m为视频帧总长度按固定超参数进行划分的数量，第n个袋中的特征向量集合表示为：其中为编码后第n个袋中第m个伪袋的特征向量集合。
20、进一步地，所述步骤s4具体为：
21、步骤s41、将示例袋xn表示为x＝{hm|m＝1，2，3，...，m}，所述示例袋xn指通过步骤s3特征蒸馏，包含有数量为m的伪袋特征集合的袋；hm为第m个伪袋中包含的特征；
22、步骤s42、从袋中提取的实例特征中学习袋子表示hbag：
23、hbag＝g({hm|m＝1,2,3，...，m})
24、其中，g为聚合函数；
25、步骤s43、通过一个分类层，即可得到对抑郁症面部视频的分类结果：
26、
27、其中，wc表示分类层可学习参数。
28、进一步地，整个分类方法的整体损失表示为：
29、
30、式中，θ1、θ2分别为特征蒸馏、特征聚合的参数；l1、l2分别为特征蒸馏、特征聚合的损失函数。
31、进一步地，所述特征蒸馏的损失函数表示为：
32、
33、式中，表示伪袋预测的结果，ht表示第t个伪袋中的特征集合；表示为第n个袋中的第m个伪袋的标签，m＝1，2，...，m，n∈{1，2，...，n}，m为伪袋数量，n表示视频数量；fc表示浅层神经网络，ab_lstm为长短记忆网络。
34、进一步地，所述特征聚合的损失函数表示为：
35、
36、式中，为第n个袋的分类结果，yn为第n个袋的标签，n表示视频数本文档来自技高网...
【技术保护点】
1.一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤S1中预训练的步骤具体如下：
3.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤S2中的特征提取过程表示为：
4.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤S3中特征蒸馏具体表示为：
5.根据权利要求1或4所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤S3中伪袋的定义为：
6.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤S4具体为：
7.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，整个分类方法的整体损失表示为：
8.根据权利要求7所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述特征蒸
9.根据权利要求7所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述特征聚合的损失函数表示为：
...【技术特征摘要】
1.一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤s1中预训练的步骤具体如下：
3.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤s2中的特征提取过程表示为：
4.根据权利要求1所述的一种结合自监督和弱监督学习的抑郁症面部视频分类方法，其特征在于，所述步骤s3中特征蒸馏具体表示为：
5.根据权利要求1或4所述的一种结合自监督和弱监督学习的抑郁症面部...
【专利技术属性】
技术研发人员：杨云，王佳舜，王耀威，郭竞，汪瑞斌，
申请(专利权)人：云南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。