一种用于电力营业厅的异常离岗识别系统技术方案

一种用于电力营业厅的异常离岗识别系统，可解决人工岗位考勤效率低，自动化程度不高的技术问题。本发明专利技术能够通过柜台前端网络摄像头采集柜台区域人员信息、柜台顶端服务牌信息，进行数据处理、分析，作为柜台职工是否异常离岗的依据，能够实时监控上班期间，服务柜台区域内职工人员信息、是否异常离岗信息的检测与识别，监测过程中实时显示监测区域内的职工出勤信息、在\离岗时间信息，能够基于图像和文字信息的检测与识别，给出电力营业厅柜台职工的精确出勤、在\离岗信息，具备职工在岗服务期间监测与提醒功能，同时对职工在岗服务期间进行信息存储；通过通信接口模块与电力营业厅中心控制模块进行连接，接受中心系统的管理和控制；该方法可以有效提升检测准确率、实时性强，提升电力营业厅监管部门的动态监控及预警能力。

An abnormal off duty identification system for electric power business hall

【技术实现步骤摘要】
一种用于电力营业厅的异常离岗识别系统
本专利技术涉及机器学习
，具体涉及一种用于电力营业厅的异常离岗识别系统。
技术介绍
考勤系统，是指针对企事业单位、公司职工的上下班考勤记录等相关情况的管理系统，是考勤软件与考勤硬件结合的产品，一般为HR部门使用，掌握并管理员工出勤动态。目前，现有的考勤技术系统较为成熟，相应的考勤设备也日益更新，并逐渐地应用于企事业单位、高铁站、商场、地铁站等众多场景，对本单位员工进行出勤数据统计。其中，应用在电力营业厅职工上班出勤数据监测技术与设备也比较广泛，如常见的指纹识别、人脸识别等，这些设备及技术目前只针对于职工的上下班时间出勤记录，而对职工上班过程中是否出现缺勤、中途异常离岗行为无法实现有效的监控和管理，现有的关于电力营业厅场景中同时满足柜台职工的上班实时监控以及离岗检测与识别的任务需求。现有的关于电力营业厅场景中柜台职工实时监控及中途异常离岗行为检测技术，存在如下不足：第一，实时性不足，现有的对于柜台职工的监控都是“人为监控”，通过数据传输显示及存储设备，监管人员主动地进行人工监视和排查，成本高且效率低，自动化程度不高；第二，对于柜台职工上班中途出现异常离岗行为，不能及时预警，目前常见的预警监测技术很常见，但是在电力营业厅柜台场景中进行的就很少了，实现电力营业厅柜台职工实时监控、异常离岗行为实时预警结合的基本就没有了。
技术实现思路
本专利技术提出的一种用于电力营业厅的异常离岗识别系统，可解决人工岗位考勤效率低，自动化程度不高的技术问题。为实现上述目的，本专利技术采用了以下技术方案：一种用于电力营业厅的异常离岗识别系统，包括：基于数据处理模块，以及分别与数据处理模块通信连接的摄像头设备、电力营业厅中心控制系统、数据存储模块及信息显示模块；其特征在于：其中，摄像头设备布置在电力营业厅柜台服务区域，该摄像头与电力营业厅中心控制系统相连，将采集到的图像数据传输到数据处理模块，分别进行人脸检测与识别、文本检测与识别；所述的监控摄像头采集目标区域内的图像信息；所述数据处理模块包括人脸检测与识别单元、文本检测与识别单元、融合判定单元；具体步骤如下：1、利用监控摄像头对营业厅值班人员的服务区域进行图像采集，获取到视频流中的实时图像；进行软件标注，构建具有多张人脸的人脸检测训练集和人脸识别训练集；2、构建深度学习MTCNN人脸检测神经网络模型和Insightface人脸识别模型；3、将已标注好的人脸检测训练样本集输入人脸检测网络，进行人脸检测模型的训练，得到训练好的人脸框检测模型；4、将已标注好的人脸识别训练样本集输入到人脸识别模型Insightface当中进行训练，得到训练好的人脸识别模型；5、最终验证时，待测样本依次通过训练好的人脸框检测模型，输出人脸信息，将人脸信息输入到训练好的人脸识别模型，对人脸进行分类识别。进一步地，所述步骤1进一步具体为：在值班人员工作时间内，利用监控服务柜台的摄像头对职工所在区域进行图像采集，主要包括值班人员办公区域和服务牌公告区域(为后续文本检测识别提供数据样本)；进一步地，所属步骤2进一步具体为：在目前主流的开源深度学习平台TensorFlow上，搭建MTCNN人脸检测网络和Insightface人脸识别网络，针对营业厅场景图像的特殊性，进行相应的网络结构调整；进一步地，所属步骤5进一步具体为：将待检测样本首先输入到训练好的人脸检测模型当中，判断待检测图像中是否出现人脸，若有，则进一步提取人脸框位置信息，为后续人脸识别提供数据；若无，则直接判定当前图像中无值班人员。将人脸检测模型的输出人脸位置信息输入到人脸识别模型当中进行分类识别，输出结果为具体的值班人员人脸标签，如王某某、李某某，作为后续值班人员是否异常离岗的判别依据之一。进一步的，还包括一种基于MaskR-CNN实例分割的文本检测与识别的端对端方法，模型同时包含文本检测定位和文本识别功能，可以对目标场景内的服务公告牌上的本文信息进行有效准确提取和识别，其结果同样作为值班人员是否异常离岗的判据之一，具体步骤如下：1、利用上述所采集到的实时监控图像；对服务公告牌区域进行文本信息(本专利技术中营业厅场景只涉及“欢迎”“暂停”字样)标注，构建文本训练集；2、构建深度学习MaskR-CNN文本检测与识别网络；3、将已标注好的文本样本集输入到MaskR-CNN模型中进行训练，得到训练好的文本检测定位与识别模型；4、最终验证时，待测样本通过训练好的MaskR-CNN模型，输出文本检测信息。进一步地，所述步骤2进一步具体为：在目前主流的开源深度学习平台TensorFlow上，搭建MaskR-CNN网络，针对营业厅场景图像的特殊性，进行相应的网络结构调整以适应服务公告牌文本数据集；进一步地，所述步骤4进一步具体为：将待测样本首先输入到训练好的MaskR-CNN模型当中，提取服务公告牌文本字样的位置信息和识别结果，作为后续值班人员是否异常离岗的判别依据，若结果为“欢迎”字样，则表明此时应当是正在服务时间；若为“暂停”字样，则表明此时该服务区域暂停对外服务。基于以上人脸检测与识别单元和文本检测单元，利用两部分输出的结果进行信息融合，其中融合判定策略，具体如下：1、若监控图像中未检测出人脸，文本检测结果为“欢迎”，则表明当前出现异常离岗行为；2、若监控图像中未检测出人脸，文本检测结果为“暂停”，则表明当前出现正常离岗行为；3、若监控图像中检测并识别出人脸，文本检测结果为“欢迎”，则表明当前该值班人员正常在岗；4、若监控图像中检测并识别出人脸，文本检测结果为“暂停”，则表明当前该值班人员正常在岗，但暂停服务。由上述技术方案可知，本专利技术公开了一种用于电力营业厅的异常离岗识别预警方法，能够通过柜台前端网络摄像头采集柜台区域人员信息、柜台顶端服务牌信息，进行数据处理、分析，作为柜台职工是否异常离岗的依据，能够实时监控上班期间，服务柜台区域内职工人员信息、是否异常离岗信息的检测与识别，监测过程中实时显示监测区域内的职工出勤信息、在\离岗时间信息，能够基于图像和文字信息的检测与识别，给出电力营业厅柜台职工的精确出勤、在\离岗信息，具备职工在岗服务期间监测与提醒功能，同时对职工在岗服务期间进行信息存储；通过通信接口模块与电力营业厅中心控制模块进行连接，接受中心系统的管理和控制。本专利技术可针对营业厅值班人员在工作时间内可能出现的在、离岗行为提供一个实时检测与识别的方法。该方法可以有效避免了传统视频记录、人工巡逻排查的低效率，自动化程度不高等技术问题，可实现实时的行为预警，提升营业厅服务质量，减少服务故障。该方法可以有效提升检测准确率、实时性强，提升电力营业厅监管部门的动态监控及预警能力。附图说明图1是本专利技术的结构示意图；图2是本专利技术的数据处理流程示意图；图3是本专利技术的数据融合策略示意本文档来自技高网...

【技术保护点】
1.一种用于电力营业厅的异常离岗识别系统，基于数据处理模块，以及分别与数据处理模块通信连接的摄像头设备、电力营业厅中心控制系统、数据存储模块及信息显示模块；其特征在于：/n其中，/n摄像头设备布置在电力营业厅柜台服务区域，该摄像头与电力营业厅中心控制系统相连，将采集到的图像数据传输到数据处理模块，分别进行人脸检测与识别、文本检测与识别；所述的监控摄像头采集目标区域内的图像信息；/n所述数据处理模块包括人脸检测与识别单元、文本检测与识别单元、融合判定单元；/n所述人脸检测与识别单元，通过本地构建营业厅职工人脸检测数据库和人脸识别数据库，在深度学习平台上构建人脸检测网络模型和人脸识别网络模型，基于所构建数据库进行算法模型的训练和验证；将训练好的模型部署在识别终端，实时对监控摄像头采集回来的图像信息进行数据分析和处理，得出人脸检测识别结果；/n所述文本检测与识别单元，通过本地构建营业厅柜台服务牌图像包含“欢迎”“暂停”字样的数码文本数据库，在深度学习平台上构建深度学习文本检测算法网络模型，基于所构建数据库进行算法模型的训练和验证，将训练好的模型部署识别终端，实时对监控摄像头采集回来的图像信息进行服务牌文本检测和定位，得出数码文本检测识别结果；/n所述融合判定单元，基于人脸检测与识别单元和文本检测与识别单元所返回的预测信息，对两部分结果进行信息融合，最终给出值班人员是否正常在岗、异常离岗的判别。/n...

【技术特征摘要】
1.一种用于电力营业厅的异常离岗识别系统，基于数据处理模块，以及分别与数据处理模块通信连接的摄像头设备、电力营业厅中心控制系统、数据存储模块及信息显示模块；其特征在于：
其中，
摄像头设备布置在电力营业厅柜台服务区域，该摄像头与电力营业厅中心控制系统相连，将采集到的图像数据传输到数据处理模块，分别进行人脸检测与识别、文本检测与识别；所述的监控摄像头采集目标区域内的图像信息；
所述数据处理模块包括人脸检测与识别单元、文本检测与识别单元、融合判定单元；
所述人脸检测与识别单元，通过本地构建营业厅职工人脸检测数据库和人脸识别数据库，在深度学习平台上构建人脸检测网络模型和人脸识别网络模型，基于所构建数据库进行算法模型的训练和验证；将训练好的模型部署在识别终端，实时对监控摄像头采集回来的图像信息进行数据分析和处理，得出人脸检测识别结果；
所述文本检测与识别单元，通过本地构建营业厅柜台服务牌图像包含“欢迎”“暂停”字样的数码文本数据库，在深度学习平台上构建深度学习文本检测算法网络模型，基于所构建数据库进行算法模型的训练和验证，将训练好的模型部署识别终端，实时对监控摄像头采集回来的图像信息进行服务牌文本检测和定位，得出数码文本检测识别结果；
所述融合判定单元，基于人脸检测与识别单元和文本检测与识别单元所返回的预测信息，对两部分结果进行信息融合，最终给出值班人员是否正常在岗、异常离岗的判别。


2.根据权利要求1所述的用于电力营业厅的异常离岗识别系统，其特征在于：所述人脸检测与识别单元的具体步骤如下：
1)第一阶段人脸框检测，利用MTCNN算法对采集到的图像进行人脸关键点分析匹配，得出人脸检测框结果；
其中深度学习模型的训练目标是模型总体的损失函数，MTCNN网络中包含两部分，一是判定是否为人脸的交叉熵损失函数，如下：



pi为通过神经网络预测出的样本，xi为人脸的概率，为groundtruth，取值范围{0，1}；
二是用来回归输出人脸预测框坐标的平方损失函数，如下




代表从网络中获得的回归目标，是groundtruth坐标；faciallandmarklocalization输出的是人脸关键点位置坐标，其损失函数和边框回归类似；
2)将已标注好的人脸检测训练样本集输入人脸检测网络，进行人脸检测模型的训练，得到训练好的人脸框检测模型；
3)第二阶段人脸识别，基于训练好的人脸框检测模型输出的人脸检测框进行人脸位置图像截取，并输入到人脸识别模型Insightface中，得出识别；包括利用深度神经网络ResNet50进行人脸的特征提取，基于其独有的角边缘损失函数，如下所示，



在计算向量距离时，InsightFace不是采用传统的余弦距离，而是采取角度距离，更利于优化损失函数，有效地提高人脸识别的识别能力；
4)利用构建好的人脸检测数据库和人脸识别数据库，分别对人脸检测模型MTCNN、人脸识别模型Insightface进行训练，得到训练好的检测与识别网络；
5)利用训练好的模型，对实时采集到的人脸图像数据进行人脸检测与识别，得出结果，作为最终在、离岗的判别依据之一。

【专利技术属性】
技术研发人员：田定胜，汪李忠，钱浩，彭扬劼，胡浩行，吴道平，章海兵，
申请(专利权)人：合肥科大智能机器人技术有限公司，国网浙江杭州市余杭区供电有限公司，
类型：发明
国别省市：安徽;34