一种具备智能测温考勤和异常行为检测的电子班牌制造技术

本发明专利技术公开了一种具备智能测温考勤和异常行为检测的电子班牌，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。本发明专利技术的电子班牌兼具考勤、测温和异常行为检测的功能，具有很好的应用前景。

【技术实现步骤摘要】
一种具备智能测温考勤和异常行为检测的电子班牌
本专利技术属于智能安防领域，特别涉及一种具备智能测温考勤和异常行为检测的电子班牌。
技术介绍
在智慧校园和平安校园的建设中，电子班牌作为集功能性、互动性、趣味性于一身的电子设备，能够提供自动考勤、班级管理、师生风采展示、校园公告、家校互通等功能。在新冠疫情全球大流行的趋势下，学校除了关注师生日常考勤、校务管理、校园文化宣传外，由于学校的特殊属性，校园作为大量人员聚集的场所，学校需要肩负起对师生健康状况严格监督的职责，而每日到校考勤时对师生进行体温测量就是最直接有效的预防疾病的手段。传统做法是使用测温枪逐一进行测温，这种方法过于低效，且容易造成人员拥堵，不利于疫情防控，同时测温与考勤分离，并不利于考勤和测温数据记录，疫情期间佩戴口罩，且不便摘除口罩进行人脸识别考勤，因此，传统的人脸识别考勤机并不适用于疫情防控时期的应用。现有的安装在教室门口的电子班牌主要用来做信息展示和考勤，而教室门口是学生频繁活动的区域，也是较容易发生危险的区域，常规电子班牌的摄像头除了进行人脸识别外，基本不再使用，无法对异常行为进行检测来保证学生安全，而且也造成了资源的浪费。
技术实现思路
为解决上述技术问题，本专利技术提供了具备智能测温考勤和异常行为检测的电子班牌，以达到集成人脸识别、体温测量和考勤以及智能异常行为检测的目的。为达到上述目的，本专利技术的技术方案如下：一种具备智能测温考勤和异常行为检测的电子班牌，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。上述方案中，在设定的考勤时间段内进行智能测温考勤的方法如下：(1)利用彩色摄像头和热红外摄像头同时拍摄集成多个人脸的彩色图像I和热红外图像Ir；(2)利用开源人脸检测算法SeetaFace对彩色图像I进行人脸检测和识别，获取图像中全部的人脸检测框数据集合F＝{f1,f2,…,fi，…，fN}，以及识别到的人员身份信息数据集合P＝{p1,p2,…,pi，…,pN}，其中，fi表示第i个人脸检测框坐标，pi表示第i个人脸的人员身份信息，N表示检测出的人脸总数；(3)计算热红外图像Ir和彩色图像I的变换矩阵W，利用变换矩阵W将热红外图像Ir上的像素点逐个转换至彩色图像I坐标系下，最终获得与彩色图像I对齐后的热红外图像I'r；(4)利用人脸检测框数据集合F＝{f1,f2,…,fi，…，fN}，逐个框选出对齐后的热红外图像I'r中的全部人脸热红外图像数据集合H＝{h1,h2,…,hi，…,hN}，其中，hi表示第i个人脸的热红外图像，i∈(1,N)；(5)配置热红外摄像头的有效测温距离和环境温度，将单个人脸热红外图像hi作为测温函数的输入，依次将全部人脸的热红外数据输入测温函数，最终输出获得画面中全部人脸的体温数据集合T＝{t1,t2,…,ti，…,tN}，其中，ti表示第i个人脸的体温数据。进一步的技术方案中，步骤(3)的具体方法如下：(1)计算变换矩阵W：彩色摄像头内参Kc＝{dx,dy,u0,v0,f}，其中，dx、dy分别表示彩色摄像头的x、y方向上一个像素占的单位数，u0表示彩色图像中心点与彩色图像原点之间在x方向上的像素数，v0表示彩色图像中心点与彩色图像原点之间在y方向上的像素数，f表示彩色摄像头的焦距；热红外摄像头内参其中，分别表示热红外摄像头的x、y方向上一个像素占的单位数，表示热红外图像中心点与热红外图像原点之间在x方向上的像素数，表示热红外图像中心点与热红外图像原点之间在y方向上的像素数，ft表示热红外摄像头的焦距；变换矩阵W的计算公式如下所示：其中，h为热红外摄像头与彩色摄像头的架设高度差；(2)将变换矩阵W简单表示为一个3×3大小的矩阵，如下所示：将热红外图像上任意一点k在热红外图像坐标系下的坐标(uk,vk)转换到彩色图像坐标系下的坐标(u′k,v′k)，其计算表达式为：具体计算如下：u′k＝w11×uk+w12×vk+w13v′k＝w21×uk+w22×vk+w23(3)按照上步的计算，逐个将热红外图像上的像素点转换至彩色图像坐标系下，最终获得与彩色图像I对齐后的热红外图像I'r。非考勤时间段内进行异常行为检测的方法如下：(1)构建深层预测生成对抗网络模型PredGAN，该网络模型包括预测生成器和异常判别器；预测生成器负责利用连续视频帧序列预测新的视频帧，异常判别器负责生成图像的正常得分，从而区分正常和异常视频图像；(2)构建预测生成器损失函数和异常判别器损失函数；(3)对预测生成器和异常判别器单独交替迭代进行网络模型训练，使得预测生成器损失函数和异常判别器损失函数不断降低，直至预测生成器能够生成逼真的预测图，与真图肉眼无法区分，训练结束；(4)获取实时视频，上传至训练好的深层预测生成对抗网络模型PredGAN，生成图像的正常得分，得分低于0.2，即判定为发生了异常。进一步的技术方案中，所述预测生成器损失函数LG计算公式如下：其中，c表示训练循环次数，λc表示第c次循环的参数权重，nt表示第t帧的参数数量，λt表示第t帧的参数权重，nc表示第c次循环的参数数量，表示第t帧在第c次循环中的误差；所述异常判别器损失函数LD计算公式如下：LD＝E[(dr-1)2]+E[(d)2]其中，dr为真实数据集中对应图像经过异常判别器生成的正常得分集合，d为训练数据集中由预测生成器预测得到的新的视频帧图像输入异常判别器生成的正常得分集合。进一步的技术方案中，网络模型训练的具体过程如下：(1)选取日常生活中的不同类型、不同场景的正常视频作为训练数据集提供训练样本，选定训练数据集中每段视频中第9帧、第2*9帧、...、第N*9帧图像作为真实数据集，为对抗训练提供真实样本；(2)先随机生成一组预测生成器网络模型参数，将训练数据集中的视频数据以每连续8帧为一个处理单元，batch_size设为64，输入预测生成器中，输出假的预测图集合PredV＝{Pred_I1,Pred_I2,…,Pred_I64}；(3)将预测生成器网络模型参数设置为不可调，生成一组随机值构成的异常判别器网络模型参数，获取上步生成的预测图集合PredV以及真实数据集中对应真图集合TrueV＝{True_I1,True_I2,…,True_I64}，将真图和预测图进行拼接获得异常判别器训练数据集Train_X＝[TrueV,PredV]，同时生成Train_X的标签集Train_Y＝[64,0]，即前64帧为真，本文档来自技高网...

【技术保护点】
1.一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。/n

【技术特征摘要】
1.一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，所述电子班牌上设置热红外摄像头和彩色摄像头，在设定的考勤时间段内通过热红外摄像头进行热红外测温，并与彩色摄像头拍摄的人脸图像的考勤数据进行匹配并上传，通过远程界面显示测温考勤内容，实现智能测温考勤；非考勤时间段内实时采集彩色摄像头视野范围内的视频数据上传至云平台，云平台对视频数据进行异常行为检测，判定为异常则通过远程界面同步报警。


2.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，在设定的考勤时间段内进行智能测温考勤的方法如下：
(1)利用彩色摄像头和热红外摄像头同时拍摄包含多个人脸的彩色图像I和热红外图像Ir；
(2)利用开源人脸检测算法SeetaFace对彩色图像I进行人脸检测和识别，获取图像中全部的人脸检测框数据集合F＝{f1，f2，…，fi，…，fN}，以及识别到的人员身份信息数据集合P＝{p1，p2，…，pi，…，pN}，其中，fi表示第i个人脸检测框坐标，pi表示第i个人脸的人员身份信息，N表示检测出的人脸总数；
(3)计算热红外图像Ir和彩色图像I的变换矩阵W，利用变换矩阵W将热红外图像Ir上的像素点逐个转换至彩色图像I坐标系下，最终获得与彩色图像I对齐后的热红外图像I’r；
(4)利用人脸检测框数据集合F＝{f1，f2，…，fi，…，fN}，逐个框选出对齐后的热红外图像I′r中的全部人脸热红外图像数据集合H＝{h1，h2，…，hi，…，hN}，其中，hi表示第i个人脸的热红外图像，i∈(1，N)；
(5)配置热红外摄像头的有效测温距离和环境温度，将单个人脸热红外图像hi作为测温函数的输入，依次将全部人脸的热红外数据输入测温函数，最终输出获得画面中全部人脸的体温数据集合T＝{t1，t2，…，ti，…，tN}，其中，ti表示第i个人脸的体温数据。


3.根据权利要求2所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，步骤(3)的具体方法如下：
(1)计算变换矩阵W：
彩色摄像头内参Kc＝{dx，dy，u0，v0，f}，其中，dx、dy分别表示彩色摄像头的x、y方向上一个像素占的单位数，u0表示彩色图像中心点与彩色图像原点之间在x方向上的像素数，v0表示彩色图像中心点与彩色图像原点之间在y方向上的像素数，f表示彩色摄像头的焦距；
热红外摄像头内参其中，分别表示热红外摄像头的x、y方向上一个像素占的单位数，表示热红外图像中心点与热红外图像原点之间在x方向上的像素数，表示热红外图像中心点与热红外图像原点之间在y方向上的像素数，ft表示热红外摄像头的焦距；
变换矩阵W的计算公式如下所示：



其中，h为热红外摄像头与彩色摄像头的架设高度差；
(2)将变换矩阵W简单表示为一个3×3大小的矩阵，如下所示：



将热红外图像上任意一点k在热红外图像坐标系下的坐标(uk,vk)转换到彩色图像坐标系下的坐标(u′k，v′k)，其计算表达式为：



具体计算如下：
u’k＝w11×uk+w12×vk+w13
v’k＝w21×uk+w22×vk+w23
(3)按照上步的计算，逐个将热红外图像上的像素点转换至彩色图像坐标系下，最终获得与彩色图像I对齐后的热红外图像I’r。


4.根据权利要求1所述的一种具备智能测温考勤和异常行为检测的电子班牌，其特征在于，非考勤时间段内进行异常行为检测的方法如下：
(1)构建深层预测生成对抗网络模型PredGAN，该网络模型包括预测生成器和异常判别器；预测生成器负责利用连续视频帧序列预测新的视频帧，异常判别器负责生成图像的正常得分，从而区分正常和异常视频图像；
(2)构建预测生成器损失函数和异常判别器损失函数；
(...

【专利技术属性】
技术研发人员：纪刚，周亚敏，周萌萌，商胜楠，周粉粉，
申请(专利权)人：青岛联合创智科技有限公司，
类型：发明
国别省市：山东;37