一种识别方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了一种识别方法、装置、电子设备及计算机可读存储介质，该方法包括：将获取到的待识别人脸图像输入到卷积神经网络中，得到第一人脸特征向量；利用预先构建的包含有各种第一表情标签的第一人脸图像的第一数据集，根据获取到的待识别人脸图像的第一关键点特征向量，从第一数据集中选取出与该待识别人脸图像相似度高的第一预设个数的目标第一人脸图像，作为第二数据集。根据第二数据集中每个目标第一人脸图像对应的第一表情标签，构建用于表示每个第一表情标签在第二数据集中的第一概率以及第一概率对应的第一概率向量。将第一概率向量与第一人脸特征向量进行融合，利用融合后的向量进行表情识别，从而提高了监管用户状态的及时性。户状态的及时性。户状态的及时性。

【技术实现步骤摘要】
一种识别方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及计算机
，尤其是涉及一种识别方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]“停课不停教，停课不停学”是教育部基于新冠肺炎疫情严峻形势提出的教育、教学新举措。在此背景下，为了保证学生们的安全，线上教育应时而生。线上教育即网络远程教育，它是指跨越地理空间进行教育活动。远程教育涉及各种教育活动，包括授课、讨论和实习。它克服了传统教育在空间、时间、受教育者年龄和教育环境等方面的限制，带来了崭新的学习模式。
[0003]但是，在线教育在对学生们的监管上依然是一个难题，例如教师无法监督学生们的学习状态。具体地，在传统教育中，教师可以实时观察到学生的学习状态，从而及时调整授课模式，而在线上教育中，教师无法直接观察到学生的学习状态，导致教师的授课效果不理想。因此，现有技术中急需一种能够判断用户学习状态的方法。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种识别方法、装置、电子设备及计算机可读存储介质，以提高监管用户状态的及时性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别方法，其特征在于，包括：获取待识别人脸图像以及用于表示第一关键点的位置的第一关键点特征向量；其中，所述第一关键点包括所述待识别人脸图像中人脸的面部轮廓点、各器官轮廓点和各器官中心点中的至少一种；将所述待识别人脸图像输入到训练完成后的卷积神经网络中，得到用于表示所述待识别人脸图像的人脸特征的第一人脸特征向量；根据所述第一关键点特征向量与预设的第一数据集中每个第一人脸图像对应的第二关键点特征向量的相似度，从所述第一数据集中选取出第一预设个数的目标第一人脸图像，以将选取出的目标第一人脸图像作为第二数据集；其中，所述第一关键点特征向量与所述目标第一人脸图像对应的所述第二关键点特征向量之间的相似度高于所述第一关键点特征向量与其他所述第一人脸图像对应的所述第二关键点特征向量之间的相似度；所述第一数据集中包含有第二预设个数的所述第一人脸图像、每个所述第一人脸图像对应的第一表情标签以及每个所述第一人脸图像对应的用于表示该第一人脸图像的第二关键点的位置的所述第二关键点特征向量；根据所述第二数据集中的所述目标第一人脸图像以及每个所述目标第一人脸图像对应的所述第一表情标签，确定出每个所述第一表情标签在所述第二数据集中的第一概率以及所述第一概率对应的第一概率向量；将所述第一人脸特征向量和所述第一概率向量融合后，输入到包含有训练完成后的全连接层和归一化指数函数的分类模型中，确定所述待识别人脸图像所属的第一表情类别。2.根据权利要求1所述的识别方法，其特征在于，所述获取待识别人脸图像以及用于表示第一关键点的位置的第一关键点特征向量之前，还包括：获取第二人脸图像；将所述第二人脸图像输入到人脸关键点检测模型中，得到该第二人脸图像对应的所述第一关键点，以及所述第一关键点对应的第二坐标；根据所述第一关键点以及所述第二坐标，对所述第二人脸图像进行人脸对齐操作，得到所述待识别人脸图像；基于所述第一关键点在所述待识别人脸图像中的位置，确定所述待识别人脸图像中所述第一关键点的第一坐标；根据所述第一坐标，确定出用于表示所述待识别人脸图像对应的所述第一关键点的位置的第一关键点特征向量。3.根据权利要求2所述的识别方法，其特征在于，所述获取第二人脸图像之前，还包括：采集包含有人脸的第一原始图像；使用检测算法对所述第一原始图像进行检测，得到所述第一原始图像上的第一人脸边界框；使用预设缩放比例对所述第一人脸边界框进行调整，得到第二人脸边界框；其中，所述预设缩放比例与所述人脸关键点检测模型为一一对应关系；使用所述第二人脸边界框对所述第一原始图像进行截取，得到所述第二人脸图像。4.根据权利要求1所述的识别方法，其特征在于，所述根据所述第一关键点特征向量与预设的第一数据集中每个第一人脸图像对应的第二关键点特征向量的相似度，从所述第一
数据集中选取出第一预设个数的目标第一人脸图像，以将选取出的目标第一人脸图像作为第二数据集，包括：针对预设的第一数据集中每个第一人脸图像对应的第二关键点特征向量，计算出该第二关键点特征向量与所述第一关键点特征向量的相似度；根据所述相似度由高到低的顺序，依次在所述第一数据集中选取出第一预设个数的目标第一人脸图像，以将选取出的目标第一人脸图像作为第二数据集。5.根据权利要求1所述的识别方法，其特征在于，所述根据所述第二数据集中的所述目标第一人脸图像以及每个所述目标第一人脸图像对应的所述第一表情标签，确定出每个所述第一表情标签在所述第二数据集中的第一概率以及所述第一概率对应的第一概率向量，包括：根据所述目标第一人脸图像对应的所述第一表情标签，计算出第二数据集中每个所述第一表情标签对应的所述目标第一人脸图像的个数；根据所述第二数据集中每个所述第一表情标签对应的所述目标第一人脸图像的个数，计算出每个所述第一表情标签在所述第二数据集中的第一概率，以及确定出所述第一概率对应的第一概率向量。6.根据权利要求1所述的识别方法，其特征在于，所述根据所述第一关键点特征向量与预设的第一数据集中每个第一人脸图像对应的第二关键点特征向量的相似度，从所述第一数据集中选取出第一预设个数的目标第一人脸图像，以将选取出的目标第一人脸图像作为第二数据集之前，还包括：获取第三数据集；其中，所述第三数据集中包括第二预设个数的第三人脸图像以及每个所述第三人脸图像对应的所述第一表情标签，所述第三数据集中每个所述第一表情标签对应的所述第三人脸图像的个数相同；针对每个所述第三人脸图像，将该第三人脸图像输入到所述人脸关键点检测模型中，得到该第三人脸图像对应的所述第二关键点以及所述第二关键点对应的第三坐...

【专利技术属性】
技术研发人员：张茜，杜新凯，牛国扬，
申请(专利权)人：阳光保险集团股份有限公司，
类型：发明
国别省市：