基于深度学习和人脸识别特征的校园人员安全管理系统技术方案

本发明专利技术为基于深度学习和人脸识别特征的校园人员安全管理系统，包括后台管理系统和多个门禁系统组成的通道组，后台管理系统中又包括师生卡务信息与考勤管理、嵌入式设备信息维护、人脸采集App；通道组分为障碍通道组与无障碍通道组，其中障碍通道组配设刷卡设备或视频识别设备，无障碍通道组配设视频识别设备和高清监视摄像头，当学生和教师刷校园卡通过障碍通道组时，刷卡设备采集校园卡的信息或视频识别设备采集通过人员的人脸图像，由识别设备根据识别方法，对学生和教师预先在后台系统数据库内设定的校园卡识别码，或对已经存入数据库的个人照片信息进行对比识别，从而判断学生是否通过通道组进校、离校、出入宿舍，学生教师是否正常出勤。

Campus personnel safety management system based on deep learning and face recognition features

【技术实现步骤摘要】
基于深度学习和人脸识别特征的校园人员安全管理系统
本专利技术涉及基于生物特征识别领域的校园安全平台，尤其是利用人脸识别对比技术和RFID卡识别技术的基于深度学习和人脸识别特征的校园人员安全管理系统。
技术介绍
校园安全管理平台是通过人脸识别技术、门禁控制系统和手机短信、互联网等方式，提供网络和信息协作，让学校及时掌控学校进出人员的管理平台。平台利用了人脸识别技术。由于人脸是人类的重要信息，是区分不同人群的重要依据。因此，人脸比较是一种比指纹、虹膜等技术更自然、更直接的比较方法。人脸匹配是从图像或视频输入中提取特定的人脸特征信息，并与数据库中注册的人脸特征信息进行比较，以获得匹配的人脸相似性，并确认其是否与数据库中的人脸相同。人脸匹配在视频、人机界面、权限控制、智能监控系统等多种情况下发挥着非常重要的作用。但校园门禁中，获取进入人员的准确性和稳健性一直是业界关注的主要问题。由于学生活泼好动、人流集中，造成了利用人脸识别技术的困难。因此，行业迫切需要一种能够保证真实输入、高精度和鲁棒性的面对面比较技术。结合现有卡务系统，本专利技术提供了嵌入式人脸识别方法，促进了门禁系统的进一步提升，具有稳定、识别率高的特点。
技术实现思路
本专利技术的目的是要解决日常生活中，学生需要上学而家长因工作原因，无法与学校及时沟通得知孩子是否安全到达学校和是否平安离校的问题；学校因为不能任何时候都能查关注到每个学生，从而无法得知每位学生的在校状态的问题；同时还能够对学校老师和学生上课方面，就寝方面实现考勤管理，有很强的实用性。本专利技术的目的是这样实现的：一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，包括后台管理系统、多个门禁系统管理的通道组；所述的通道组根据不同的人员分为障碍通道组与无障碍通道组，其中障碍通道组配设刷卡设备或视频识别设备；当学生和教师刷校园卡通过通道组时，刷卡设备采集校园卡的信息或视频识别设备采集通过人员的人脸图像，经由网络传输至识别设备，由识别设备根据识别方法，对学生和教师预先在后台系统数据库内设定的校园卡识别码，或对已经存入数据库的个人照片信息进行对比识别，系统在人员数据库中查询到该人员后，做下相应的进出时间记录，记录学生是否通过通道组进校、离校、出入宿舍，学生教师是否正常出勤；在数据库中查询不到该人员时判断为有可疑人员进入校园；当外来无卡人员通过无障碍通道组进入校园时，视频识别设备会自动进行抓拍记录，相关信息会被存入后台数据库；在通道组管理中，分为有障碍通道组与无障碍通道组，障碍通道组用于刷卡或者人脸识别通过，无障碍通道组用于无卡进入校园使用；障碍通道组内设有刷卡设备和视频识别设备，无障碍通道组内设置视频识别设备，视频识别设备中包含高清摄像头、红外感应设备和前端嵌入式识别模块；所述的视频识别设备在视频识别过程中包含人脸图像获取、人脸识别对比和人脸深度学习模型训练；所述的人脸图像获取是当有人进入到摄像头的红外感应范围时，摄像设备开始摄录，通过摄像设备的帧切割来获取人物进出图像；该过程首先是对视频中不同的帧进行识别，对发现移动人物存在的帧进行图像上传，由前端嵌入式识别模块进行图像中的人脸识别；所述的人脸识别的过程中包含人脸预处理、特征提取、特征对比和结果输出；在上传至前端嵌入式识别模块的图像中，前端嵌入式识别模块会利用人脸定位算法进行图像人脸定位，定位成功后进行特征值提取，与已存储在存储器中的特征模型参数进行对比，对比对成功的数据判定为合法人员，否则为可疑人员；所述的模型训练包含从人脸数据库中通过经验描述子与CNN深度学习算法获取的人脸特征模型参数。进一步的，所述的人脸识别的技术，包括以下步骤：步骤1)人脸跟踪，获取图像差分值，判断相邻帧的人脸差异，如果差异超过阈值，阈值设定为0.025到0.08之间，则进入新的识别过程，否则丢弃该帧；步骤2)判断图像质量，利用梯度算法计算图像清晰度，利用灰度图像均值方法测算亮度，利用RGB三通道或四通道均值法测算色温。偏离超出设定的阈值；梯度阈值需要训练，预设值为0.2-6，亮度值取灰度图中位值*0.8为下限，亮度值取灰度图中位值*1.2为上限，色温取中位值*0.7为下限，色温取中位值*1.25为上限；步骤3)利用Tensorflow中64层以上的CNN算法，提取详细的人脸特征数据，形成CNN算法中的权重输出，作为数据库特征数据；步骤4)人脸比对，将该人脸特征数据与人脸数据库中的每一个人脸的特征数据进行比对，获得其相似性，具体方法为：步骤4.1)选取数据库中的一个人脸k的特征模板库步骤4.2)对特征模板计算输入人脸的特征与之间的相似度Skji；步骤4.3)计算输入人脸与特征模板的相似度步骤4.4)计算输入人脸与人脸k的相似度为步骤4.5)重复步骤4.1)-4.4)，获得输入人脸与数据库中所有K个人脸的相似度，取其中最大者得到其对应的人脸k’；其中，M为人的特征模板个数，N为选取的人的人脸特征点个数，i为人脸特征；步骤5)判断是否已找到匹配的人脸；δ为相似度阈值，设定为0.75到0.9之间，若Smax＞δ，则判断输入人脸与数据库中的人脸k’相匹配；步骤6)判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但不限于：嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化；步骤7)在人脸表情有显著变化时，输出比中的人脸。进一步的，步骤3)提取详细的人脸特征数据的具体方法为：步骤3.1)根据步骤1)人脸检测跟踪得到的精确的人脸特征点位置，插值获得其它选取的人脸特征点的位置；步骤3.2)根据双眼位置对图像进行归一化处理；步骤3.3)计算得到人脸特征点i的Gabor特征所有特征点的Gabor特征即组成一个人脸特征数据N为选取的人脸特征点个数；其中，该人脸特征点为人脸上的显著特征点，人脸特征点的特征选取所有80个Gabor复系数，表达完整的人脸信息，完整表达不同人脸之间的差异性。进一步的，步骤1)人脸跟踪，获取特征点所选取的人脸特征为人脸的共同性的特征。进一步的，人脸比对方法还包含人脸注册的步骤，保存人脸特征数据至人脸数据库，具体方法为：将步骤3)获得的详细人脸特征数据加入此人的人脸特征模板库M为此人的特征模板个数，保存至数据库。进一步的，所述的通道组、刷卡设备和视频设备的搭建步骤如下：(1)首先选定学校出入口需安放刷卡设备或视频识别设备的地方，作为通道组，然后，建立设备信息管理：刷卡设备和视频识别设备对应于校园进出口进行编号，作为该系统数据库中的一个字段进行记录，每条记录将利用该字段表明人员进出的位置，所有设备对应一个局域网络的IP地址，以便同平台互联；(2)在各通道组中选择刷卡设备和视频识别设备安装，设置好刷卡设备的设备信息，刷卡设备信息管理：针对刷卡设备进行上传下载的管理系统，利用RS485网线进行连接后台服务器，通过IP地址进行识别，利用卡机嵌入式Linux系统开启的ftp本文档来自技高网...

【技术保护点】
1.一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，包括后台管理系统、多个门禁系统组成的通道组；所述的通道组根据不同人员通过方式分为障碍通道组与无障碍通道组，其中障碍通道组配设刷卡设备或视频识别设备；当学生和教师刷校园卡通过障碍通道组时，由刷卡设备采集校园卡的信息，或由视频识别设备采集通过人员的人脸图像，经网络传输至识别设备，由识别设备根据识别方法，对预先在后台系统数据库内设定的学生和教师的校园卡识别码，或对已经存入数据库的个人照片信息进行对比识别；系统在人员数据库中查询到该人员后，记入相应的进出时间记录，辨别学生是否通过通道组进校、离校、出入宿舍，以及学生教师是否正常出勤；在数据库中查询不到该人员时，判断为有可疑人员进入校园；当外来无卡人员通过无障碍通道组进入校园时，视频识别设备会自动进行抓拍记录，相关信息会被存入后台数据库，并通知相关人员；在通道组管理中，障碍通道组支持刷卡或者人脸识别方法通过，无障碍通道组用于无卡进入校园使用；障碍通道组内设有刷卡设备和视频识别设备，无障碍通道组内设置视频识别设备，视频识别设备中包含高清摄像头、红外感应设备和前端嵌入式识别模块；所述的视频识别方法在视频识别过程中包含人脸图像获取、人脸识别对比和人脸深度学习模型训练；/n所述的人脸图像获取是当有人进入到摄像头的红外感应范围时，摄像设备开始摄录，通过摄像设备的帧切割来获取人物进出图像；该过程首先是对视频中不同的帧进行识别，对发现移动人物存在的帧进行图像上传，由前端嵌入式识别模块进行图像中的人脸识别；/n所述的人脸识别的过程中包含人脸预处理、特征提取、特征对比和结果输出；在上传至前端嵌入式识别模块的图像中，前端嵌入式识别模块会利用人脸定位算法进行图像人脸定位，定位成功后进行特征值提取，与已存储在存储器中的特征模型参数进行对比，对比对成功的数据判定为合法人员，否则为可疑人员；/n所述的模型训练包含从人脸数据库中通过经验描述因子与CNN深度学习算法获取的人脸特征模型参数。/n...

【技术特征摘要】
1.一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，包括后台管理系统、多个门禁系统组成的通道组；所述的通道组根据不同人员通过方式分为障碍通道组与无障碍通道组，其中障碍通道组配设刷卡设备或视频识别设备；当学生和教师刷校园卡通过障碍通道组时，由刷卡设备采集校园卡的信息，或由视频识别设备采集通过人员的人脸图像，经网络传输至识别设备，由识别设备根据识别方法，对预先在后台系统数据库内设定的学生和教师的校园卡识别码，或对已经存入数据库的个人照片信息进行对比识别；系统在人员数据库中查询到该人员后，记入相应的进出时间记录，辨别学生是否通过通道组进校、离校、出入宿舍，以及学生教师是否正常出勤；在数据库中查询不到该人员时，判断为有可疑人员进入校园；当外来无卡人员通过无障碍通道组进入校园时，视频识别设备会自动进行抓拍记录，相关信息会被存入后台数据库，并通知相关人员；在通道组管理中，障碍通道组支持刷卡或者人脸识别方法通过，无障碍通道组用于无卡进入校园使用；障碍通道组内设有刷卡设备和视频识别设备，无障碍通道组内设置视频识别设备，视频识别设备中包含高清摄像头、红外感应设备和前端嵌入式识别模块；所述的视频识别方法在视频识别过程中包含人脸图像获取、人脸识别对比和人脸深度学习模型训练；
所述的人脸图像获取是当有人进入到摄像头的红外感应范围时，摄像设备开始摄录，通过摄像设备的帧切割来获取人物进出图像；该过程首先是对视频中不同的帧进行识别，对发现移动人物存在的帧进行图像上传，由前端嵌入式识别模块进行图像中的人脸识别；
所述的人脸识别的过程中包含人脸预处理、特征提取、特征对比和结果输出；在上传至前端嵌入式识别模块的图像中，前端嵌入式识别模块会利用人脸定位算法进行图像人脸定位，定位成功后进行特征值提取，与已存储在存储器中的特征模型参数进行对比，对比对成功的数据判定为合法人员，否则为可疑人员；
所述的模型训练包含从人脸数据库中通过经验描述因子与CNN深度学习算法获取的人脸特征模型参数。


2.根据权利要求1所述的一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特点是：所述的人脸识别的技术，其特征在于，包括以下步骤：
步骤1)人脸跟踪，获取图像差分值，判断相邻帧的人脸差异，如果差异超过阈值，阈值设定为0.025到0.08之间，则进入新的识别过程，否则丢弃该帧；
步骤2)判断图像质量，利用梯度算法计算图像清晰度，利用灰度图像均值方法测算亮度，利用RGB三通道或四通道均值法测算色温；偏离超出设定的阈值；梯度阈值需要训练，预设值为0.2-6，亮度值取灰度图中位值*0.8为下限，亮度值取灰度图中位值*1.2为上限，色温取中位值*0.7为下限，色温取中位值*1.25为上限；
步骤3)利用Tensorflow中64层以上的CNN算法，提取详细的人脸特征数据，形成CNN算法中的权重输出，作为数据库特征数据；
步骤4)人脸比对，将该人脸特征数据与人脸数据库中的每一个人脸的特征数据进行比对，获得其相似性，具体方法为：
步骤4.1)选取数据库中的一个人脸k的特征模板库
步骤4.2)对特征模板计算输入人脸的特征与之间的相似度Skji；
步骤4.3)计算输入人脸与特征模板的相似度；
步骤4.4)计算输入人脸与人脸k的相似度为
步骤4.5)重复步骤4.1)-4.4)，获得输入人脸与数据库中所有K个人脸的相似度，取其中最大者得到其对应的人脸k’；其中，M为人的特征模板个数，N为选取的人的人脸特征点个数，i为人脸特征；
步骤5)判断是否已找到匹配的人脸；δ为相似度阈值，设定为0.75到0.9之间，若Smax＞δ，则判断输入人脸与数据库中的人脸k’相匹配；
步骤6)判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但不限于：嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化；
步骤7)在人脸表情有显著变化时，输出比中的人脸。


3.根据权利要求2所述的一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，步骤3)提取详细的人脸特征数据的具体方法为：
步骤3.1)根据步骤1)人脸检测跟踪得到的精确的人脸特征点位置，插值获得其它选取的人脸特征点的位置；
步骤3.2)根据双眼位置对图像进行归一化处理；
步骤3.3)计算得到人脸特征点i的Gabor特征所有特征点的Gabor特征即组成一个人脸特征数据N为选取的人脸特征点个数；其中，该人脸特征点为人脸上的显著特征点，人脸特征点的特征选取所有80个Gabor复系数，表达完整的人脸信息，完整表达不同人脸之间的差异性。


4.根据权利要求1所述的一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，步骤1)人脸跟踪，获取特征点所选取的人脸特征为人脸的共同性的特征。


5.根据权利要求3所述的一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，人脸比对方法还包含人脸注册的步骤，保存人脸特征数据至人脸数据库，具体方法为：将步骤3)获得的详细人脸特征数据加入此人的人脸特征模板库M为此人的特征模板个数，保存至数据库。


6.根据权利要求1所述的一种基于深度学习和人脸识别特征的校园人员安全管理系统，其特征在于，通道组、刷卡设备和视频设备的搭建步骤如下：
(1)首先选定学校出入口需安放刷卡设备或视频识别设备的地方，作为通道组，然后，建立设备信息管理：刷卡设备和视频识别设备对应于校园进出口进行编号，作为该系统数据库中的一个字段进行记录，每条记录将利用该字段表明人员进出的位置，所有设备对应一个局域网络的IP地址，以便同平台互联；
(2)在各通道组中选择刷卡设备和视频识别设备安装，设置好刷卡设备的设备信息，刷卡设备信息管理：针对刷卡设备进行上传下载的管理系统，利用RS485网线进行连接后台服务器，通过IP地址进行识别，利用卡机嵌入式Linux系统开启的FTP服务器，对卡机中的人员RFID卡编号信息进行管理；
人脸识别设备的包括摄像头和前端嵌入式识别模块；摄像头通过RS485...

【专利技术属性】
技术研发人员：张小飞，金良，鲍宇，叶润东，
申请(专利权)人：江苏高泰软件技术有限公司，中国矿业大学，
类型：发明
国别省市：江苏;32