基于自学习的人脸考勤方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于自学习的人脸考勤方法、装置、设备及计算机可读存储介质，该方法通过对连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像，对待识别人脸图像进行特征点定位，并通过预设的卷积神经网络模型，提取出每帧待识别人脸图像中的人脸特征向量并保存至人脸特征列表；对人脸特征列表进行聚类，得到人脸特征矩阵；采用预先构建的KNN模型对人脸特征矩阵中的每一行的人脸特征向量进行匹配分析，获得每一行中各个人脸特征向量的匹配结果并保存至识别相似度矩阵中；根据识别相似度矩阵，获取人脸考勤结果，采用图像质量分析方法结合人脸特征聚类方法对多人多帧的图像进行人脸识别，能够有效提高人脸考勤过程中人脸识别的精度。

Face Attendance Method, Device, Equipment and Storage Media Based on Self-learning

【技术实现步骤摘要】
基于自学习的人脸考勤方法、装置、设备及存储介质
本专利技术涉及计算机图像处理领域，尤其涉及一种基于自学习的人脸考勤方法、装置、设备及计算机可读存储介质。
技术介绍
传统的考勤方式为指纹打卡，指纹打卡无疑会在上班高峰期因排队而造成拥堵，随着人工智能技术不断推进，人脸考勤已经成为现实。人脸考勤涉及的重要技术是人脸图像匹配。目前，利用普通摄像头考勤过程中，往往多人同时出现在摄像头中且摄像头会获取被考勤者从进门到从摄像头消失的所有帧数，被考勤者在考勤过程中会因低头，扭头导致有多个识别结果，另外由于天气变化、被考勤者更换佩戴眼镜帽子会导致识别率降低、识别结果多样化。因此，如何提高普通摄像头考勤过程中人脸识别的精度成为人脸考勤领域亟待解决的技术问题。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种基于自学习的人脸考勤方法、装置、设备及存储介质，结合图像质量，能够有效提高人脸考勤过程中人脸识别的精度，运维成本低。第一方面，本专利技术实施例提供了一种基于自学习的人脸考勤方法，包括以下步骤：对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像；对多帧所述待识别人脸图像进行特征点定位，并通过预设的卷积神经网络模型，提取出每帧待识别人脸图像中的人脸特征向量；将多帧所述待识别人脸图像对应的人脸特征向量保存至预设的人脸特征列表；对所述人脸特征列表进行聚类，得到人脸特征矩阵；其中，所述人脸特征矩阵中每一行为同一人的不同帧数的待识别人脸图像对应的人脸特征向量；采用预先构建的KNN模型对所述人脸特征矩阵中的每一行的人脸特征向量进行匹配分析，获得每一行中各个人脸特征向量的匹配结果，并将所述匹配结果保存至预先构建的识别相似度矩阵中；根据所述识别相似度矩阵，获取人脸考勤结果。优选地，所述匹配结果包括人名信息、相似度、人脸特征信息。优选地，所述根据所述识别相似度矩阵，获取人脸考勤结果，具体包括：根据所述识别相似度矩阵中每一行的相似度，对所述识别相似度矩阵中每一行的匹配结果进行排序，获取相似度最大值对应的匹配结果；以相似度最大值对应的匹配结果中的人名信息为目标考勤对，查询历史播报记录；当所述目标考勤对象未播报时，记录目标考勤对象的考勤并将所述目标考勤对象对应的匹配结果发送至语音播报模块进行播报、将所述目标考勤对象对应的匹配结果发送至显示模块进行显示；当所述目标考勤对象已播报，且播报时间与当前时间的差值大于预设时间阈值时，记录目标考勤对象的考勤并将所述目标考勤对象对应的匹配结果发送至语音播报模块进行播报、将所述目标考勤对象对应的匹配结果发送至显示模块进行显示；当所述目标考勤对象已播报，且播报时间与当前时间的差值小于预设时间阈值时，对所述识别相似度矩阵中下一行的相似度进行排序分析。优选地，所述方法还包括：当所述匹配结果中的相似度小于预设相似度阈值，且图像质量值大于预设质量值时，将所述匹配结果对应的待识别人脸图像添加到人脸特征训练集；将更新后的人脸特征训练集输入至所述预先构建的KNN模型进行模型训练。优选地，所述对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像，具体包括：将所述连续帧数图像数据按顺序分组；其中，每组图像数据包括连续N帧图像，N>1；对每组图像数据进行人脸图像质量分析，获取每组图像数据对应的待识别人脸图像。优选地，所述对每组图像数据进行人脸图像质量分析，获取每组图像数据对应的待识别人脸图像，具体包括：计算每组图像数据中各帧图像的人脸旋转度、人脸图像清晰度、人脸图像明亮度以及人脸图像大小值；根据预设的权值以及每组图像数据中各帧图像的人脸旋转度、人脸图像清晰度、人脸图像明亮度以及人脸图像大小值，计算每组图像数据中各帧图像的图像质量值；从每组图像数据中获取图像质量值最大值对应的图像作为每组图像数据对应的待识别人脸图像。优选地，所述对多帧所述待识别人脸图像进行特征点定位，具体包括：采用dlib人脸特征点检测算法对多帧所述待识别人脸图像进行特征点定位。第二方面，本专利技术实施例了一种基于自学习的人脸考勤装置，包括：图像质量分析模块，用于对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像；人脸特征提取模块，用于对多帧所述待识别人脸图像进行特征点定位，并通过预设的卷积神经网络模型，提取出每帧待识别人脸图像中的人脸特征向量；人脸特征列表构建模块，用于将多帧所述待识别人脸图像对应的人脸特征向量保存至预设的人脸特征列表；人脸特征聚类模块，用于对所述人脸特征列表进行聚类，得到人脸特征矩阵；其中，所述人脸特征矩阵中每一行为同一人的不同帧数的待识别人脸图像对应的人脸特征向量；人脸特征匹配模块，用于采用预先构建的KNN模型对所述人脸特征矩阵中的每一行的人脸特征向量进行匹配分析，获得每一行中各个人脸特征向量的匹配结果，并将所述匹配结果保存至预先构建的识别相似度矩阵中；人脸考勤结果获取模块，用于根据所述识别相似度矩阵，获取人脸考勤结果。第三方面，本专利技术实施例了一种基于自学习的人脸考勤设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于自学习的人脸考勤方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面所述的基于自学习的人脸考勤方法。以上实施例具有如下有益效果：通过对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像，实现从连续帧数图像数据中获取高质量的图像作为待识别人脸图像，能够准确地从连续帧数图像数据中抽取出具有清晰人脸图像的图像；对多帧所述待识别人脸图像进行特征点定位，并通过预设的卷积神经网络模型，提取出每帧待识别人脸图像中的人脸特征向量；将多帧所述待识别人脸图像对应的人脸特征向量保存至预设的人脸特征列表；对所述人脸特征列表进行聚类，得到人脸特征矩阵；其中，所述人脸特征矩阵中每一行为同一人的不同帧数的待识别人脸图像对应的人脸特征向量，以人脸特征列表的方式记录不同人的在不同帧待识别人脸图像中的人脸特征向量并进行聚类，最终得到人脸特征矩阵，该人脸特征矩阵中每一行为同一人的不同帧数的待识别人脸图像对应的人脸特征向量，能够同时对多个人同时进行人脸识别，实现多人多帧人脸识别；采用预先构建的KNN模型对所述人脸特征矩阵中的每一行的人脸特征向量进行匹配分析，获得每一行中各个人脸特征向量的匹配结果，并将所述匹配结果保存至预先构建的识别相似度矩阵中；根据所述识别相似度矩阵，获取人脸考勤结果，采用图像质量分析方法结合人脸特征聚类方法对多人多帧的图像进行人脸识别，能够有效提高人脸考勤过程中人脸识别的精度，同时极大地提高人脸考勤的效率，运维成本低。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术第一实施例提供的基于自学习的人脸考勤方法的流程示意图。图2是本专利技术实施例提供的人脸考勤方法的整体流程本文档来自技高网...

【技术保护点】
1.一种基于自学习的人脸考勤方法，其特征在于，包括：对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像；对多帧所述待识别人脸图像进行特征点定位，并通过预设的卷积神经网络模型，提取出每帧待识别人脸图像中的人脸特征向量；将多帧所述待识别人脸图像对应的人脸特征向量保存至预设的人脸特征列表；对所述人脸特征列表进行聚类，得到人脸特征矩阵；其中，所述人脸特征矩阵中每一行为同一人的不同帧数的待识别人脸图像对应的人脸特征向量；采用预先构建的KNN模型对所述人脸特征矩阵中的每一行的人脸特征向量进行匹配分析，获得每一行中各个人脸特征向量的匹配结果，并将所述匹配结果保存至预先构建的识别相似度矩阵中；根据所述识别相似度矩阵，获取人脸考勤结果。

【技术特征摘要】
1.一种基于自学习的人脸考勤方法，其特征在于，包括：对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像；对多帧所述待识别人脸图像进行特征点定位，并通过预设的卷积神经网络模型，提取出每帧待识别人脸图像中的人脸特征向量；将多帧所述待识别人脸图像对应的人脸特征向量保存至预设的人脸特征列表；对所述人脸特征列表进行聚类，得到人脸特征矩阵；其中，所述人脸特征矩阵中每一行为同一人的不同帧数的待识别人脸图像对应的人脸特征向量；采用预先构建的KNN模型对所述人脸特征矩阵中的每一行的人脸特征向量进行匹配分析，获得每一行中各个人脸特征向量的匹配结果，并将所述匹配结果保存至预先构建的识别相似度矩阵中；根据所述识别相似度矩阵，获取人脸考勤结果。2.如权利要求1所述的基于自学习的人脸考勤方法，其特征在于，所述匹配结果包括人名信息、相似度、人脸特征信息。3.如权利要求2所述的基于自学习的人脸考勤方法，其特征在于，所述根据所述识别相似度矩阵，获取人脸考勤结果，具体包括：根据所述识别相似度矩阵中每一行的相似度，对所述识别相似度矩阵中每一行的匹配结果进行排序，获取相似度最大值对应的匹配结果；以相似度最大值对应的匹配结果中的人名信息为目标考勤对，查询历史播报记录；当所述目标考勤对象未播报时，记录目标考勤对象的考勤并将所述目标考勤对象对应的匹配结果发送至语音播报模块进行播报、将所述目标考勤对象对应的匹配结果发送至显示模块进行显示；当所述目标考勤对象已播报，且播报时间与当前时间的差值大于预设时间阈值时，记录目标考勤对象的考勤并将所述目标考勤对象对应的匹配结果发送至语音播报模块进行播报、将所述目标考勤对象对应的匹配结果发送至显示模块进行显示；当所述目标考勤对象已播报，且播报时间与当前时间的差值小于预设时间阈值时，对所述识别相似度矩阵中下一行的相似度进行排序分析。4.如权利要求2所述的基于自学习的人脸考勤方法，其特征在于，所述方法还包括：当所述匹配结果中的相似度小于预设相似度阈值，且图像质量值大于预设质量值时，将所述匹配结果对应的待识别人脸图像添加到人脸特征训练集；将更新后的人脸特征训练集输入至所述预先构建的KNN模型进行模型训练。5.如权利要求1所述的基于自学习的人脸考勤方法，其特征在于，所述对接收到的连续帧数图像数据进行人脸图像质量分析，获取多帧待识别人脸图像，具体包括：将所述连续帧数图像...

【专利技术属性】
技术研发人员：朱常玉，温云龙，周冠宇，李进，
申请(专利权)人：广州杰赛科技股份有限公司，
类型：发明
国别省市：广东,44