【技术实现步骤摘要】
本申请涉及人脸识别自动控制的，尤其是涉及一种学校门禁考勤的多模态人脸识别方法及系统。
技术介绍
1、目前，为了方便学校对学生出入校园的考勤管理，将人脸识别技术应用于考勤记录上，然而，在学校门禁考勤场景中，复杂的光照环境或者遮挡的情况易出现学生识别不到人脸图像，从而导致识别失败，使得识别准确性差，因此需要改进。
技术实现思路
1、为了使学生出入校园考勤管理更为方便，提高识别的准确性；本申请提供了一种学校门禁考勤的多模态人脸识别方法及系统。
2、本申请的上述专利技术目的一是通过以下技术方案得以实现的：
3、当接收到识别终端获取的摄像图像和红外图像时，将获取到的摄像图像和红外图像发送至深度匹配模型；
4、深度匹配模型接收到摄像图像和红外图像后，提取出红外图像中的人脸预设的关键点位置；
5、将提取的关键点位置与摄像图像进行融合生成目标图像并发送至人脸识别模型；
6、人脸识别模型接收到目标图像时，将目标图像与人脸识别模型中预存储人脸图像进行特征匹配比对，输出画面识别结果，画面识别结果包括识别成功和识别失败；
7、获取各预存储人脸图像关联的学生信息，基于输出画面识别结果和学生信息生成考勤消息，考勤消息包括进校消息和离校消息；
8、将考勤消息发送至教师终端。
9、通过采用上述技术方案，当学生进出校园时，通过识别终端对人脸识别区域内的学生分别采集图像，获取摄像图像和红外图像，摄像图像是由摄像头拍摄的含有
10、当师生出入校园时，由于复杂的光线和遮挡会出现识别不到学生的完整的人脸图像，因此通过提取红外图像中人脸预设的关键点位置并融合生成与预存储人脸图像相似的目标图像，提高了人脸识别的准确度和鲁棒性，从而实现更准确的人脸识别；由于目标图像与预存储人脸图像特征匹配时，学校门闸才会打开，因此通过画面识别结果，能够判断出是否为校内师生出入校园，当学生出入校门时，识别终端将画面识别结果生成考勤表发送至教师终端，进而，预存储人脸图像中绑定每个学生的信息，因此教师终端能够获知学生在校园内离校与进校的情况，学生无需进行报备，实现多模态人脸识别校园门禁考勤管理，节省人工考勤管理操作流程，提升考勤效率。
11、本申请在一较佳示例中：所述将目标图像与人脸识别模型中预存储人脸图像进行特征匹配比对，输出画面识别结果的步骤之后，还执行如下步骤：
12、将目标图像与预存储人脸图像进行特征匹配对比，计算特征匹配相似度；
13、将特征匹配相似度与预设的相似度阈值进行比较；
14、若首次出现特征匹配相似度小于相似度阈值时，重新采集并获取到的人脸识别区域中摄像图像和红外图像的占比数据；
15、当占比数据大于或等于预设占比阈值时，停止向识别终端发出追踪指令并获取此时的摄像图像和红外图像；
16、当占比数据小于预设占比阈值时，获取人脸识别区域中的人脸轮廓的拟合中心点坐标；
17、识别待拟合中心点坐标位于人脸识别区域的坐标方位位置；
18、基于方位信息，向识别终端追踪指令以使识别终端中的人脸识别区域朝拟合中心点坐标移动并获取此时的摄像图像和红外图像。
19、通过采用上述技术方案，当学生进行人脸识别时，易出现目标图像的特征与预存储人脸图像特征有较大变化，因此通过计算特征匹配相似度，并将特征匹配相似度与预设的相似度阈值进行比较，既能够得到画面识别结果，同时，避免校外人员冒充校内学生进入学校区域，提高学校的安全管理水平；由于个别学生个子较小出现人脸识别区域识别不到学生的人脸情况导致识别失败，因此当第一识别失败时，通过对摄像图像和红外图像占人脸识别区域的占比数据来判断，调整人脸识别区域的坐标位置，当人脸识别区域采集不到整体人脸图像，先获取人脸图像的中心为坐标系，拟合此时人脸轮廓的中心坐标并判断该拟合中心坐标所在象限，并通过向识别终端发送追踪指令能够移动人脸识别区域，实现自动化调整人脸识别区域，确保每位学生都能被准确识别，方便进出校园，同时，提高学校的考勤管理。
20、本申请在一较佳示例中：所述当占比数据大于或等于预设占比阈值时，停止向识别终端发出追踪指令并获取此时的摄像图像和红外图像的步骤之后，执行如下步骤：
21、基于摄像图像和红外图像得到新的目标图像；
22、基于新的目标图像得到新的画面识别结果；
23、若新的画面识别结果再次出现特征匹配相似度小于相似度阈值时，识别终端将启动提醒指令并向供保安操作的执行终端发送提醒信息；
24、若新的画面识别结果与预存储人脸图像特征匹配时，获取前后两次识别的间隔时长；
25、判断间隔时长是否在预设的时间段内，若是，则第二次识别的时间追溯回第一次识别的时间。
26、通过采用上述技术方案，当第一次识别失败后，识别终端重新采集摄像图像和红外图像并对目标图像进行更新，新的目标图像得到新的识别结果，以便于对识别的学生重新核对，进而，当再次识别失败时，识别终端将启动提醒指令并同时向执行终端发生提醒信息，使得保安能及时确认学生信息并打开门闸，防止出现学生出进不了学校的情况，如果第二次识别成功后，判断两次打卡的时间时长是否在预设的时间段内，能够判断出学生的实际打卡时间，提高了考勤的准确性。
27、本申请在一较佳示例中：所述识别终端将启动提醒指令并向供保安操作的执行终端发送提醒信息的步骤之前，执行如下步骤：
28、当再次接收到特征匹配相似度小于相似度阈值时，向识别终端发送用于输入学生身份信息的文本框；
29、当接收到识别终端上传的学生身份信息时，将学生身份信息与当前识别结果关联发送至供保安操作的执行终端。
30、通过采用上述技术方案，当再次识别失败时，由于会出现后面学生识别进入校门的情况使得其考勤无法准确，向识别终端发送用于记录学生身份信息的文本框，学生需要填写身份信息以辅助识别，通过将身份信息与识别结果关联发送至保安操作的执行终端，以便于保安对该学生考勤信息的进一步处理，使得考勤结果更加准确。
31、本申请在一较佳示例中：所述识别终端将启动提醒指令并向供保安操作的执行终端发送提醒信息的步骤之后，执行如下步骤：
32、当接收到供保安操作的执行终端发送的查看失败记录指令时，获取失败记录；
33、当接收到供保安操作的执行终端发送的筛选指令时，筛选出关联学生身份信息的识别记录；
34、当接收到供保安操作的执行终端发出的关联指令时，获取供保安操作的执行终端上传的识别记录；
本文档来自技高网...【技术保护点】
1.一种学校门禁考勤的多模态人脸识别方法，其特征在于：包括步骤：
2.根据权利要求1所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述将目标图像与人脸识别模型中预存储人脸图像进行特征匹配比对，输出画面识别结果的步骤之后，还执行如下步骤：
3.根据权利要求1所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述当占比数据大于或等于预设占比阈值时，停止向识别终端发出追踪指令并获取此时的摄像图像和红外图像的步骤之后，执行如下步骤：
4.根据权利要求3所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述识别终端将启动提醒指令并向供保安操作的执行终端发送提醒信息的步骤之前，执行如下步骤：
5.根据权利要求4所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述识别终端将启动提醒指令并向供保安操作的执行终端发送提醒信息的步骤之后，执行如下步骤：
6.根据权利要求1所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述将考勤消息发送至教师终端的步骤之前，执行如下步骤：
7.一种学校门禁考
8.根据权利要求7所述的一种学校门禁考勤的多模态人脸识别系统，其特征在于：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述一种学校门禁考勤的多模态人脸识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种学校门禁考勤的多模态人脸识别方法的步骤。
...【技术特征摘要】
1.一种学校门禁考勤的多模态人脸识别方法，其特征在于：包括步骤：
2.根据权利要求1所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述将目标图像与人脸识别模型中预存储人脸图像进行特征匹配比对，输出画面识别结果的步骤之后，还执行如下步骤：
3.根据权利要求1所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述当占比数据大于或等于预设占比阈值时，停止向识别终端发出追踪指令并获取此时的摄像图像和红外图像的步骤之后，执行如下步骤：
4.根据权利要求3所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述识别终端将启动提醒指令并向供保安操作的执行终端发送提醒信息的步骤之前，执行如下步骤：
5.根据权利要求4所述的一种学校门禁考勤的多模态人脸识别方法，其特征在于：所述识别终端将启动提醒指令并向供保安操作的...
【专利技术属性】
技术研发人员：徐丹，黄庆添，
申请(专利权)人：广州宏途数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。