一种基于脸部识别辅助管理用户在线学习状态的方法及系统技术方案

本发明专利技术公开了一种基于脸部识别辅助管理用户在线学习状态的方法，包括如下步骤：构建用于预存与精神状态关联的状态特征的第一数据库和存储有脸部特征向量模板的第二数据库；获取目标脸部图像，进行特征提取和定位形成脸部特征向量；将脸部特征向量与第二数据库进行比对生成脸部识别结果；在脸部识别结果为通过时，实时采集多帧模板脸部图像，提取脸部关键特征和深度特征进行活体检测生成判断结果；在判断结果为通过时，将脸部关键特征与第一数据库进行对比，生成包含精神状态信息的在线考勤信息存储。本发明专利技术还公开了一种基于脸部识别辅助管理用户在线学习状态的系统，根据本发明专利技术公开的方法和系统可以实现对学生的出勤情况以及课堂表现情况进行实时的跟进。

A method and system based on face recognition to assist the management of users' online learning state

The invention discloses a method for managing user's online learning state based on face recognition assistance, which comprises the following steps: constructing a first database for pre storing state features associated with mental state and a second database for storing face feature vector template; acquiring target face image, carrying out feature extraction and positioning to form face feature vector; connecting face feature vector with the second database Two databases are compared to generate face recognition results; when the face recognition results are passed, multi frame template face images are collected in real time, key features and depth features of the face are extracted for living detection to generate judgment results; when the judgment results are passed, key features of the face are compared with the first database to generate online attendance information storage including mental state information. The invention also discloses a system for managing the online learning state of users based on the face recognition assistant. According to the method and system disclosed in the invention, the attendance and classroom performance of students can be followed up in real time.

【技术实现步骤摘要】
一种基于脸部识别辅助管理用户在线学习状态的方法及系统
本专利技术涉及人工智能与在线管理
，特别是一种基于脸部识别辅助管理用户在线学习状态的方法及系统。
技术介绍
对于员工或学生的上下班或上下课管理，一般是由管理人员通过某种方式来获得学生、员工或者某些团体、个人在某个特定的场所及特定的时间段内的出勤情况，包括上下班、迟到、早退、病假、婚假、丧假、公休、工作时间、加班情况等，比较传统的是采用纸笔签名的方式，例如在考场时监控老师让学生签名以统计到场或离场人数；另外比较多的还有电子签到的方式，公司上下班打卡就是另一种形式，以证明职员是否按时参加工作；还有采用基于指纹、人脸、眼虹等图像识别和生物识别技术的签到方式。这些签到技术的发展，方便了人们的生活。但是，现有的管理方式存在以下问题：纸笔签到方式的自动化管理困难，且存在难以避免代签的问题；电子签到方式需要消耗卡片，同样也存在自动化管理困难、难以避免代签等问题。当签到人数较多时，上述方式都存在不能准确识别签到人员的问题。并且，现有的管理方式仅能对于上下课或上下班的时间段进行考勤记录，对于一些签到后就逃课/翘班，临近放学/下班后就赶回来离场的现象无法避免，并不能做到实时跟踪的功能。而且对于员工或学生上班或上学期间的精神状态也无法进行判断和监控，不利于提高员工效率和积极性。
技术实现思路
本专利技术为了解决上述问题，通过人脸识别技术捕获动态的用户图像进行识别，以确定初步的签到和离场功能，并且对每一个用户进行上班/上课的动态进行实时跟踪，以确保该用户一直处于上班/上学状态，克服了现有技术无法在线监控跟踪的问题。并且对用户的在线精神状态进行实时跟踪。为此，根据本专利技术的一个方面，提供了一种基于脸部识别辅助管理用户在线学习状态的方法，包括如下步骤：构建用于预存与精神状态关联的状态特征的第一数据库和存储有脸部特征向量模板的第二数据库；获取目标脸部图像，进行特征提取和定位形成脸部特征向量；将脸部特征向量与第二数据库进行比对生成脸部识别结果；在脸部识别结果为通过时，实时采集多帧模板脸部图像，提取脸部关键特征和深度特征进行活体检测生成判断结果；在判断结果为通过时，将脸部关键特征与第一数据库进行对比，生成包含精神状态信息的在线考勤信息存储。由此，通过第二数据库可以实现无感知的脸部动态识别的效果，不需要人工进行签到，就可以快速的完成识别签到，而且也可以避免代签假签等现象，对于第一数据库的设置，可以对用户的实时精神状态进行监控，有利于对用户的学习状态进行跟进，提高用户的学习积极性。在一些实施方式中，在线考勤信息还包括关联用户信息及其到场时间，方法还包括：当判断结果为首次通过时，获取当前目标关联的用户信息及其关联的学习系统，根据获取的关联的用户信息进行关联学习系统的自动登录认证，并记录其到场时间和设置签到标记为到场。通过该签到方式，可以使用户无感知的进行签到，并且直接进入学习系统，并进入本次的学习界面，不需要额外的手动登录，有利于提高用户的学习积极性。在一些实施方式中，在线考勤信息还包括离场时间，方法还包括：当判断结果为不通过且签到标记为到场时，获取当前目标关联的用户信息及其关联的学习系统，在学习系统中记录其离场时间和设置签到标记为离场，并将学习系统自动登出。由此，可以智能化的通过脸部识别监测用户的离场状态，达到了监控用户全程学习状态的目的，并且由于是通过脸部识别进行跟踪和脸部活体检测，不会出现误签到或误离场的情况。在一些实施方式中，包括根据所述离场时间和精神状态信息生成状态评价报告输出。根据该状态评价报告可以获取用户在整个学习中的精神状态情况，有利于老师或管理者了解用户或员工的在线学习状态，从而提高管理水平和教学质量。在一些实施方式中，还包括：根据离场时间，获取目标关联的用户信息生成学习备忘录输出显示。由此，可以对离场的用户带来便利，方便其通过该备忘录进行学习总结。根据本专利技术的另一个方面，提供了一种基于脸部识别辅助管理用户在线学习状态的系统，包括：用于预存与精神状态关联的状态特征的第一数据库；存储有脸部特征向量模板的第二数据库；图像采集模块，用于获取目标脸部图像；脸部识别模块，用于根据目标脸部图像和第二数据库存储的脸部特征向量模板生成脸部识别结果；活体检测模块，用于在脸部识别结果为通过时，通过图像采集模块获取多帧模板脸部图像进行活体判断生成判断结果；和精神状态模块，用于根据判断结果和第一数据库中存储的与精神状态关联的状态特征，生成包含有精神状态信息的在线考勤信息输出。通过第二数据库可以实现脸部动态识别的效果，不需要人工进行签到，就可以快速的完成识别签到，而且也可以避免代签假签等现象，对于第一数据库的设置，可以对用户的实时精神状态进行监控，有利于对用户的学习状态进行跟进，提高用户的学习积极性。在一些实施方式中，脸部识别模块包括：特征提取单元，用于将获取的目标脸部图像进行特征提取和定位形成特征向量；和识别单元，用于将脸部特征向量与预存的脸部特征向量模板进行比对识别生成脸部识别结果。通过该特征提取单元和识别单元可以对用户进行活体的面部识别，区别于单一的面部识别，通过该活体识别可以提高识别的准确性和真实性。在一些实施方式中，还包括：评价模块，用于根据所述精神状态信息生成状态评价报告输出显示。根据该模块可以获取用户在整个学习中的精神状态情况，有利于老师或管理者了解用户或员工的在线学习状态，从而提高管理水平和教学质量。在一些实施方式中，在线考勤信息包括关联的用户信息、及其到场时间和离场时间，系统还包括：出勤表模块，用于根据判断结果获取在线考勤信息，生成出勤表输出。由此，可以方便管理人员对该用户的考勤情况进行评估，辅助其做出管理决策。在一些实施方式中，还包括认证模块，用于根据判断结果获取关联的用户信息及其关联的在线学习系统信息，对在线学习系统进行自动登录或登出操作。由此，可以自动化的登录学习系统，提高用户的学习积极性与便利性，避免了繁琐的登录操作。在一些实施方式中，系统还包括提醒模块，用于实时获取精神状态信息，并根据实时获取的精神状态信息生成提醒消息输出。其中，根据实时的精神状态信息生成提醒消息可以在判断用户注意力不集中时进行及时提醒，提高对用户的辅助管理效果。附图说明图1为本专利技术一实施方式的基于脸部识别辅助管理用户在线学习状态的方法流程图；图2为本专利技术又一实施方式的基于脸部识别辅助管理用户在线学习状态的方法流程图；图3为本专利技术一实施方式的基于脸部识别辅助管理用户在线学习状态的方法系统框图；图4为本专利技术又一实施方式的基于脸部识别辅助管理用户在线学习状态的方法系统框图。具体实施方式下面结合附图对本专利技术作进一步详细的说明。图1示意性地显示了根据本专利技术的基于脸部识别辅助管理用户在线学习状态的方法流程图，如图1所示，本实施例包括如下步骤；步骤S101：构建用于预存与精神状态关联的状态特征的第一数据库和存储有脸部特征向量模板的第二数据库。其中，第一数据本文档来自技高网...

【技术保护点】
1.一种基于脸部识别辅助管理用户在线学习状态的方法，其特征在于，包括如下步骤：/n构建用于预存与精神状态关联的状态特征的第一数据库和存储有脸部特征向量模板的第二数据库；/n获取目标脸部图像，进行特征提取和定位形成脸部特征向量；/n将所述脸部特征向量与所述第二数据库进行比对生成脸部识别结果；/n在所述脸部识别结果为通过时，实时采集多帧模板脸部图像，提取脸部关键特征和深度特征进行活体检测生成判断结果；/n在判断结果为通过时，将所述脸部关键特征与所述第一数据库进行对比，生成包含精神状态信息的在线考勤信息存储。/n

【技术特征摘要】
1.一种基于脸部识别辅助管理用户在线学习状态的方法，其特征在于，包括如下步骤：
构建用于预存与精神状态关联的状态特征的第一数据库和存储有脸部特征向量模板的第二数据库；
获取目标脸部图像，进行特征提取和定位形成脸部特征向量；
将所述脸部特征向量与所述第二数据库进行比对生成脸部识别结果；
在所述脸部识别结果为通过时，实时采集多帧模板脸部图像，提取脸部关键特征和深度特征进行活体检测生成判断结果；
在判断结果为通过时，将所述脸部关键特征与所述第一数据库进行对比，生成包含精神状态信息的在线考勤信息存储。


2.根据权利要求1所述的方法，其特征在于，所述在线考勤信息还包括关联用户信息及其到场时间，所述方法还包括：
当所述判断结果为首次通过时，获取当前目标关联的用户信息及其关联的学习系统，根据获取的关联的用户信息进行关联学习系统的自动登录认证，并记录其到场时间和设置签到标记为到场。


3.根据权利要求2所述的方法，其特征在于，所述在线考勤信息还包括离场时间，所述方法还包括：
当判断结果为不通过且签到标记为到场时，获取当前目标关联的用户信息及其关联的学习系统，在学习系统中记录其离场时间和设置签到标记为离场，并将学习系统自动登出。


4.根据权利要求3所述的方法，其特征在于，还包括根据所述离场时间和所述精神状态信息生成状态评价报告输出。


5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述离场时间，获取目标关联的用户信息生成学习备忘录输出显示。


6.一种基于脸部识别辅助管理用户在线学习状态的系统，其特征在于，包括：
用...

【专利技术属性】
技术研发人员：周俊太，蒋博峰，周逸旺，
申请(专利权)人：深圳市华方信息产业有限公司，
类型：发明
国别省市：广东;44