本申请提供了一种基于视频的学生在校情绪判读方法以及装置。通过获取情绪样本图像集，并依据所述情绪样本图像集、基准分数以及单位矩阵建立情绪等级矩阵矢量；获取笑容样本图像集，并依据所述笑容样本图像集、所述基准分数以及所述单位矩阵建立笑容矩阵矢量；获取预设周期内的视频数据，所述视频数据包括目标学生群体的人脸图像；所述目标学生群体由若干学生个体组成；依据所述视频数据确定所述目标学生群体的个人列向量组集；依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量以及所述基准分数确定所述情绪状态异常的学生个体。通过将个人情绪综合评分低于预设排名的学生推送给相关教师和家长，有利于学生的心理健康成长。的心理健康成长。的心理健康成长。
【技术实现步骤摘要】
基于视频的学生在校情绪判读方法以及装置
[0001]本申请涉及情绪识别领域，特别是基于视频的学生在校情绪判读方法以及装置。
技术介绍
[0002]在现代背景下，学生尤其是中小学生课业负担重和考试与升学压力大等因素，出现焦虑等负面情绪的学生日渐增多。为了学生身心健康呵护的需要，对在校学生进行情绪判读、严重不良情绪跟踪与监测十分必要，是建设和谐社会的一个重要方面。
[0003]现有技术中，公开了一种基于课堂情绪和行为分析的学习辅助方法及系统，该系统包括数据采集模块、学生知识掌握检测模块、教师授课内容分析模块和学习推送模块，其中数据采集模块包括视频采集模块和音频采集模块，该方法可以对学生课堂学习掌握程度进行有效分析，实现对学生学习质量的观察评估和记录，并结合教师课堂音频信息，来判断该学生对知识点的掌握情况，通过对未掌握的知识点进行习题推送练习，从而辅助学生完善知识体系。
[0004]但现有技术，对课堂以外的学生情绪没有进行分析，对学生在一段时间内的在校情绪，没有进行整体分析，导致严重情绪不良的学生没有受到重视，不利于学生的心理健康。
技术实现思路
[0005]鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种基于视频的学生在校情绪判读方法以及装置，包括：
[0006]一种基于视频的学生在校情绪判读方法，包括：
[0007]获取情绪样本图像集，并依据所述情绪样本图像集、基准分数以及单位矩阵建立情绪等级矩阵矢量；其中，所述情绪样本图像集由标记有情绪等级标签的人脸样本情绪图像组成；所述情绪等级标签包括正常情绪、情绪不佳以及严重负面情绪；
[0008]获取笑容样本图像集，并依据所述笑容样本图像集、所述基准分数以及所述单位矩阵建立笑容矩阵矢量；其中，所述笑容样本图像集由标记有笑容标签的人脸样本笑容图像组成；所述笑容标签包括笑脸和非笑脸；
[0009]获取预设周期内的视频数据，所述视频数据包括目标学生群体的人脸图像；所述目标学生群体由若干学生个体组成；
[0010]依据所述视频数据确定所述目标学生群体的个人列向量组集；其中，所述个人列向量组集由所述目标学生群体中每位所述学生个体所对应的个人列向量组组成；
[0011]依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量以及所述基准分数确定所述情绪状态异常的学生个体。
[0012]优选地，所述依据所述视频数据确定所述目标学生群体的个人列向量组集的步骤，包括：
[0013]依据所述视频中的人脸图像生成个人图像组集；其中，所述个人图像组集由所述
目标学生群体中每位学生个体的个人图像组组成；
[0014]依据所述个人图像组集生成个人列向量组集。
[0015]优选地，所述基准分数包括预设的情绪等级基准分数和预设的笑容基准分数；所述依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量以及所述基准分数确定情绪状态异常的所述学生个体的步骤，包括：
[0016]依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量、预设的情绪等级基准分数以及预设的笑容基准分数确定个人情绪综合评分排序；所述个人情绪综合评分排序为每位所述学生个体所对应的个人情绪综合评分从高到低排序；
[0017]将所述个人情绪综合评分排序中低于预设排名的学生个体设置为所述情绪状态异常的学生个体。
[0018]优选地，所述依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量、预设的情绪等级基准分数以及预设的笑容基准分数确定个人情绪综合评分排序的步骤，包括：
[0019]依据个人列向量组、所述情绪等级矩阵矢量以及预设的情绪等级基准分数生成情绪等级标签组；其中，所述情绪等级标签组由个人图像组中每张人脸图像的情绪等级标签组成；
[0020]依据个人列向量组、所述笑容样本矩阵矢量以及预设的笑容基准分数生成笑容标签组；其中，所述笑容标签组由个人图像组中每张人脸图像的笑容标签组成；
[0021]依据所述个人图像组中出现情绪等级标签的次数、所述个人图像组中出现笑容标签的次数以及所述个人图像组中的人脸图像张数生成个人情绪综合评分；
[0022]依据所述目标学生群体中每位学生个体的所对应的所述个人情绪综合评分生成个人情绪综合评分排序。
[0023]优选地，所述依据个人列向量组、所述情绪等级矩阵矢量以及预设的情绪等级基准分数生成情绪等级标签组的步骤，包括：
[0024]依据所述个人列向量组、所述预设的情绪等级矩阵矢量生成第一情绪值；
[0025]依据所述第一情绪值与所述预设的情绪等级基准分数生成所述情绪等级标签组。
[0026]优选地，所述依据个人列向量组、所述笑容样本矩阵矢量以及预设的笑容基准分数生成笑容标签组的步骤，包括：
[0027]依据所述个人列向量组、所述笑容样本矩阵矢量生成第一笑容值；
[0028]依据所述第一笑容值与所述预设的笑容基准分数生成笑容标签组。
[0029]优选地，所述依据所述情绪样本图像集、基准分数以及单位矩阵建立情绪等级矩阵矢量的步骤，包括：
[0030]依据所述情绪样本图像集生成情绪样本列向量矩阵；
[0031]依据所述情绪样本图像集、所述预设的情绪等级基准分数生成情绪样本分数矩阵；
[0032]依据所述情绪样本列向量矩阵、所述情绪样本分数矩阵以及单位矩阵建立情绪等级矩阵矢量。
[0033]优选地，所述依据所述笑容样本图像集、所述基准分数以及所述单位矩阵建立笑容矩阵矢量的步骤，包括：
[0034]依据所述笑容样本图像集生成笑容样本列向量矩阵；
[0035]依据所述笑容样本图像集、所述预设的笑容基准分数生成笑容样本分数矩阵；
[0036]依据所述笑容样本列向量矩阵、所述笑容样本分数矩阵以及单位矩阵建立笑容矩阵矢量。
[0037]为实现本申请还包括一种基于视频的学生在校情绪判读装置，包括：
[0038]情绪等级矩阵矢量建立模块，用于获取情绪样本图像集，并依据所述情绪样本图像集、基准分数以及单位矩阵建立情绪等级矩阵矢量；其中，所述情绪样本图像集由标记有情绪等级标签的人脸样本情绪图像组成；所述情绪等级标签包括正常情绪、情绪不佳以及严重负面情绪；
[0039]笑容矩阵矢量建立模块，用于获取笑容样本图像集，并依据所述笑容样本图像集、所述基准分数以及所述单位矩阵建立笑容矩阵矢量；其中，所述笑容样本图像集由标记有笑容标签的人脸样本笑容图像组成；所述笑容标签包括笑脸和非笑脸；
[0040]视频获取模块，用于获取预设周期内的视频数据，所述视频数据包括目标学生群体的人脸图像；
[0041]个人列向量组集确定模块，用于依据所述视频数据确定所述目标学生群体的个人列向量组集；其中，所述个人列向量组集由所述目标学生群体中每位学生个体的个人列向量组组成；
[0042]情绪状态异常学生个体确定模块，用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视频的学生在校情绪判读方法，所述方法用于寻找出情绪状态异常的学生个体，其特征在于，包括：获取情绪样本图像集，并依据所述情绪样本图像集、基准分数以及单位矩阵建立情绪等级矩阵矢量；其中，所述情绪样本图像集由标记有情绪等级标签的人脸样本情绪图像组成；所述情绪等级标签包括正常情绪、情绪不佳以及严重负面情绪；获取笑容样本图像集，并依据所述笑容样本图像集、所述基准分数以及所述单位矩阵建立笑容矩阵矢量；其中，所述笑容样本图像集由标记有笑容标签的人脸样本笑容图像组成；所述笑容标签包括笑脸和非笑脸；获取预设周期内的视频数据，所述视频数据包括目标学生群体的人脸图像；所述目标学生群体由若干学生个体组成；依据所述视频数据确定所述目标学生群体的个人列向量组集；其中，所述个人列向量组集由所述目标学生群体中每位所述学生个体所对应的个人列向量组组成；依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量以及所述基准分数确定所述情绪状态异常的学生个体。2.根据权利要求1所述的基于视频的学生在校情绪判读方法，其特征在于，所述依据所述视频数据确定所述目标学生群体的个人列向量组集的步骤，包括：依据所述视频中的人脸图像生成个人图像组集；其中，所述个人图像组集由所述目标学生群体中每位学生个体的个人图像组组成；依据所述个人图像组集生成个人列向量组集。3.根据权利要求2所述的基于视频的学生在校情绪判读方法，其特征在于，所述基准分数包括预设的情绪等级基准分数和预设的笑容基准分数；所述依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量以及所述基准分数确定情绪状态异常的所述学生个体的步骤，包括：依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量、预设的情绪等级基准分数以及预设的笑容基准分数确定个人情绪综合评分排序；所述个人情绪综合评分排序为每位所述学生个体所对应的个人情绪综合评分从高到低排序；将所述个人情绪综合评分排序中低于预设排名的学生个体设置为所述情绪状态异常的学生个体。4.根据权利要求3所述的基于视频的学生在校情绪判读方法，其特征在于，所述依据所述个人列向量组集、所述情绪等级矩阵矢量、所述笑容矩阵矢量、预设的情绪等级基准分数以及预设的笑容基准分数确定个人情绪综合评分排序的步骤，包括：依据个人列向量组、所述情绪等级矩阵矢量以及预设的情绪等级基准分数生成情绪等级标签组；其中，所述情绪等级标签组由个人图像组中每张人脸图像的情绪等级标签组成；依据个人列向量组、所述笑容样本矩阵矢量以及预设的笑容基准分数生成笑容标签组；其中，所述笑容标签组由个人图像组中每张人脸图像的笑容标签组成；依据所述个人图像组中出现情绪等级标签的次数、所述个人图像组中出现笑容标签的次数以及所述个人图像组中的人脸图像张数生成个人情绪综合评分；依据所述目标学生群体中每位学生个体的所对应的所述个人情绪综合评分生成个人情绪综合评分排序。
...
【专利技术属性】
技术研发人员：徐勇，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。