一种基于面部视频的抑郁识别方法、装置及存储介质制造方法及图纸

本申请提供了一种基于面部视频的抑郁识别方法、装置及存储介质，包括：通过预先训练好的目标抑郁识别模型提取预先获取到的每个待识别面部子视频的目标时空特征；并通过目标抑郁识别模型输出每个待识别面部子视频的抑郁程度识别分数以及通过热力图生成器确定出每个待识别面部子视频的热力视频；基于每个待识别面部子视频的抑郁程度识别分数确定目标人员的第一抑郁识别结果；基于热力视频确定目标人员的第二抑郁识别结果；基于第一抑郁识别结果和第二抑郁识别结果，确定目标人员的最终抑郁识别结果。这样，基于待识别面部子视频的时空特征得到的抑郁程度识别分数和热力视频确定目标人员的最终抑郁识别结果，可有效的提高抑郁识别结果的准确度。抑郁识别结果的准确度。抑郁识别结果的准确度。

【技术实现步骤摘要】
一种基于面部视频的抑郁识别方法、装置及存储介质


[0001]本申请涉及计算机视觉
，尤其是涉及一种基于面部视频的抑郁识别方法、装置及存储介质。

技术介绍

[0002]抑郁症已经成为危害人类生命健康的一大精神疾病，这种精神疾病会影响所有年龄层级的人，给患者造成严重的健康问题。现如今对抑郁症的诊断方法主要集中在专业医师指导的面谈交流过程中，有经验的医师能够从病患的异常表情中获得诊断线索。
[0003]受此启发，目前已经有相关研究利用表情信号完成抑郁症的自动检测识别，但是这种研究多集中在针对静态面部图片的识别上，无法结合动态的面部变化信息进行抑郁症识别，从而导致识别结果的准确度较低。并且，输出的抑郁症识别结果通常为是否抑郁或者静态图片对应的抑郁分数，但是这种输出结果并不能直观表现出抑郁症患者的面部表情状态，从而也无法更好的辅助医生进行进一步的判断。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种基于面部视频的抑郁识别方法、装置及存储介质，通过目标抑郁症识别模提取出的目标时空特征，确定出抑郁程度识别分数和热力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部视频的抑郁识别方法，其特征在于，所述抑郁识别方法包括：获取目标人员的至少一个待识别面部子视频；其中，每个待识别面部子视频的帧数相等，所述至少一个待识别面部子视频构成所述目标人员的待识别面部视频；针对于每个待识别面部子视频，通过预先训练好的目标抑郁识别模型提取该待识别面部子视频的目标时空特征；通过所述目标抑郁识别模型分别对每个待识别面部子视频的目标时空特征继续进行处理，输出每个待识别面部子视频的抑郁程度识别分数；分别将每个待识别面部子视频的目标时空特征输入至热力图生成器，确定出每个待识别面部子视频的热力视频；基于每个待识别面部子视频的抑郁程度识别分数，确定目标人员抑郁程度的目标识别分数；所述目标识别分数用于确定所述目标人员的第一抑郁识别结果；对确定出的每个待识别面部子视频的热力视频进行拼接，确定目标人员的热力视频；所述热力视频用于辅助医师对所述目标人员进行综合判断，确定所述目标人员的第二抑郁识别结果；基于所述第一抑郁识别结果和所述第二抑郁识别结果，确定所述目标人员的最终抑郁识别结果。2.根据权利要求1所述的抑郁识别方法，其特征在于，通过以下步骤确定目标人员的至少一个待识别面部子视频，包括：获取目标人员的初始面部视频；确定所述初始面部视频的视频帧数是否为第一预设帧数的整数倍；当为是时，将所述初始面部视频确定为所述待识别面部视频；当为否时，将候选面部视频确定为所述待识别面部视频；所述候选面部视频为已添加不超过第一预设帧数的多帧空白图像的所述初始面部视频，所述候选面部视频的帧数为第一预设帧数的整数倍；按照第一预设帧数对所述待识别面部视频进行切割，确定出至少一个待识别面部子视频。3.根据权利要求2所述的抑郁识别方法，其特征在于，所述目标抑郁识别模型中包括多个时空自注意力层，所述通过预先训练好的目标抑郁识别模型提取该待识别面部子视频的目标时空特征，包括：通过所述目标抑郁识别模型中的卷积层对该待识别面部子视频中的每帧图像进行处理，确定该待识别面部子视频的卷积特征；通过所述目标抑郁识别模型中的最大池化层对所述卷积特征进行处理，确定该待识别面部子视频的最大池化特征；按照时空自注意力层的执行顺序，通过所述目标抑郁识别模型中的时空自注意力层依次对所述最大池化特征进行处理，将最后一个时空自注意力层处理完后输出的特征确定为该待识别面部子视频的目标时空特征。4.根据权利要求3所述的抑郁识别方法，其特征在于，所述通过所述目标抑郁识别模型中的时空自注意力层依次对所述最大池化特征进行处理，将最后一个时空自注意力层处理完后输出的特征确定为该待识别面部子视频的目标时空特征，包括：
对输入至当前时空自注意力层的预处理特征进行处理，确定当前时空自注意力层输出的该待识别面部子视频的候选时空特征；所述预处理特征为上一个时空自注意力层输出的特征或所述最大池化特征；当所述当前时空自注意力层为最后一个时空自注意力层时，将输出的候选时空特征确定为该待识别面部子视频的目标时空特征。5.根据权利要求4所述的抑郁识别方法，其特征在于，所述时空自注意力层中包括时间自注意力层、空间自注意力层以及融合层，所述对输入至当前时空自注意力层的预处理特征进行处理，确定当前时空自注意力层输出的该待识别面部子视频的候选时空特征，包括：分别通过所述时间自注意力层的第一特征处理层和所述空间自注意力层的第二特征处理层对所述预处理特征进行处理，确定出所述待识别面部子视频的第一特征和所述待识别面部子视频的第二特征；将所述第一特征输入至所述时间自注意力层中的时间平均池化层，确定出所述待识别面部子视频的时间特征；将所述第二特征输入至所述空间自注意力层的空间平均池化层，确定出所述待识别面部子视频的空间特征；通过所述时间自注意力层中的第一全连接层和第一softmax层对所述时间...

【专利技术属性】
技术研发人员：尚媛园，潘昱辰，邵珠宏，刘铁，丁辉，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：