一种基于深度学习的玩手机与离岗检测报警系统及方法技术方案

本发明专利技术涉及图像检测识别技术领域，公开了一种基于深度学习的玩手机与离岗检测报警系统及方法，包括监控摄像头、图像存储服务器以及后台管理服务器，监控摄像头均与图像存储服务器数据连接，图像存储服务器分别与后台管理服务器数据连接，图像存储服务器用于检测图像中的人体、手机目标，并标注他们的位置信息，再根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，在检测到员工玩手机、离岗的行为后，便将结果上传到后台管理服务器，后台管理服务器用于记录下该行为并实时展示，并告警通知管理员。本发明专利技术自动识别员工是否在玩手机、是否离岗，能够帮助管理人员实时监督员工在上班时间的工作情况。工在上班时间的工作情况。工在上班时间的工作情况。

【技术实现步骤摘要】
一种基于深度学习的玩手机与离岗检测报警系统及方法


[0001]本专利技术涉及图像检测识别
，特别涉及一种基于深度学习的玩手机与离岗检测报警系统及方法。

技术介绍

[0002]在日常工作中，一些员工在上班时间存在玩手机、离岗的行为，这不仅降低了工作效率，还会给公司的工作环境带来严重的负面影响。通常情况下，为了处理这类问题，需要管理人员进行监督。但是，管理人员无法做到实时监督，并且可能会存在管理人员睁一只眼闭一只眼，甚至是同流合污的现象，有损公司的利益。

技术实现思路

[0003]本专利技术的主要目的是提出一种基于深度学习的玩手机与离岗检测报警系统及方法，旨在通过安装在工位桌面上或者天花板上的摄像头传输实时视频数据，完成员工是否在玩手机、是否离岗的判断，帮助管理人员实时监督员工在上班时间的工作情况。
[0004]为实现上述目的，本专利技术提出的基于深度学习的玩手机与离岗检测报警系统，包括监控摄像头、图像存储服务器以及后台管理服务器，所述监控摄像头分别设置于办公区域的上方，所述监控摄像头用于监控办公区域内人员的行为情况，所述监控摄像头均与所述图像存储服务器数据连接，所述图像存储服务器分别与所述后台管理服务器数据连接，所述图像存储服务器用于检测图像中的人体、手机目标，并标注他们的位置信息，再根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，在检测到员工玩手机、离岗的行为后，便将结果上传到所述后台管理服务器，所述后台管理服务器用于记录下该行为并实时展示，并告警通知管理员，使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。
[0005]本专利技术还提供一种基于深度学习的玩手机与离岗检测报警方法，采用上述系统进行，包括如下步骤：
[0006]摄像头和图像算法服务器接入同一个监控内网；
[0007]管理员启动后台管理服务器，并登陆后台管理网站，配置图像算法服务器的参数，设置监控摄像头的视频流地址；
[0008]管理员从后台管理网站启动图像存储服务器；
[0009]摄像头将监控画面传输给图像存储服务器后，图像存储服务器将图像输入到目标检测算法，实时检测图像中的人体、手机目标，并标注他们的位置信息；
[0010]图像存储服务器根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时，那么就判定该员工已经离岗，如果某个员工通过目标检测算法标注的人体框内，出现手机超过一个预设的时间阈值时，那么就判定该员工存在玩手机的行为；
[0011]图像存储服务器在检测到员工玩手机、离岗的行为后，便将结果上传到后台管理
服务器，后台管理服务器记录下该行为并以网页的形式进行展示；
[0012]管理人员通过后台管理网站监控员工实时的以及过去一段时间内的工作情况。
[0013]进一步地，所述的如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时，那么就判定该员工已经离岗，包括如下步骤：
[0014]当算法检测到某一帧存在异常行为时，开始计时，并对接下来的帧进行检测，当某一帧没有检测到异常行为时，并不立即结束计时，而是连续N帧都不存在异常行为时才结束计时，再根据异常行为持续的时间是否超过预设的时间阈值，来判定是否为一次真实的异常行为。
[0015]进一步地，所述的目标检测算法，检测图像中的人体、手机目标，并标注他们的位置信息，包括如下步骤：
[0016]摄像头通过实时流协议(RTSP)接入到网络，视频流处理线程直接从监控网络中读取视频流，经过处理后传送给Yolov5目标检测网络。视频流处理线程由写线程和读线程构成，写线程负责读取监控画面并写入队列，并通过生产者
‑
消费者的模式维持队列大小为1；读线程从队列中读取最新帧，预处理后传送至Yolov5目标检测网络；
[0017]Yolov5目标检测网络从读线程处获得最新帧，经过卷积神经网络提取图像特征，预测出该帧中的人员目标位置、手机目标位置及对应的置信度。并根据置信度阈值进行筛选，去除置信度较低的结果，得到初步的预测结果；
[0018]在Yolov5目标检测网络检测到手机目标后，将手机目标截取出来，使用Resnet50二次分类网络，进行第一轮筛选，筛选一部分识别错误的目标；
[0019]对于经过Resnet50筛选后的手机目标，再进行一轮筛选，首先使用高斯平滑滤波以消除高斯噪音，然后再用canny边缘检测算法得到其边缘特征，最后再使用霍夫直线检测算法检测边缘特征中的直线数量。如果直线的数量小于一个预设的阈值，那么就把这些目标进一步筛选掉。这一步可以筛选掉一些曲线较多、直线较少的非手机目标；
[0020]在得到最终的人员目标和手机目标信息后，根据它们的相互位置信息来进行离岗判定和玩手机判定。离岗判定：如果在工位上没检测到人员目标，则判定为离岗；玩手机判定：如果手机目标的位置中心包含在人员目标之中，则判定为玩手机。
[0021]采用本专利技术的技术方案，具有以下有益效果：本专利技术的技术方案，利用目标检测技术检测人体和手机目标信息，并据其相互之间的位置关系得到离岗、玩手机的行为判定，辅助管理人员进行监督。并且将识别检测结果上传到后台管理服务器进行处理、存储，方便管理人员可以通过网页来查询：
[0022]1.准确性，使用Yolov5检测到目标后，再经过Resnet50、直线检测两轮轮筛选，得到准确的手机目标信息；
[0023]2.实时性，采用多线程的方式处理视频流，实时检测员工是否存在玩手机、离岗的行为；
[0024]3.便捷性，管理人员通过浏览器访问网页获取员工实时的以及过去一段时间内的工作状态。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0026]图1为本专利技术提出的一种基于深度学习的玩手机与离岗检测报警系统的整体结构示意图；
[0027]图2为本专利技术提出的一种基于深度学习的玩手机与离岗检测报警方法的框架流程图；
[0028]图3为本专利技术提出的一种基于深度学习的玩手机与离岗检测报警方法的目标检测算法的流程图。
[0029]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]需要说明，本专利技术实施例中所有方向性指示(诸如上、下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的玩手机与离岗检测报警系统，其特征在于，包括监控摄像头、图像存储服务器以及后台管理服务器，所述监控摄像头分别设置于办公区域的上方，所述监控摄像头用于监控办公区域内人员的行为情况，所述监控摄像头均与所述图像存储服务器数据连接，所述图像存储服务器分别与所述后台管理服务器数据连接，所述图像存储服务器用于检测图像中的人体、手机目标，并标注他们的位置信息，再根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，在检测到员工玩手机、离岗的行为后，便将结果上传到所述后台管理服务器，所述后台管理服务器用于记录下该行为并实时展示，并告警通知管理员，使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。2.一种基于深度学习的玩手机与离岗检测报警方法，其特征在于，采用如权利要求1所述的系统进行，包括如下步骤：摄像头和图像算法服务器接入同一个监控内网；管理员启动后台管理服务器，并登陆后台管理网站，配置图像算法服务器的参数，设置监控摄像头的视频流地址；管理员从后台管理网站启动图像存储服务器；摄像头将监控画面传输给图像存储服务器后，图像存储服务器将图像输入到目标检测算法，实时检测图像中的人体、手机目标，并标注他们的位置信息；图像存储服务器根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时，那么就判定该员工已经离岗，如果某个员工通过目标检测算法标注的人体框内，出现手机超过一个预设的时间阈值时，那么就判定该员工存在玩手机的行为；图像存储服务器在检测到员工玩手机、离岗的行为后，便将结果上传到后台管理服务器，后台管理服务器记录下该行为并以网页的形式进行展示；管理人员通过后台管理网站监控员工实时的以及过去一段时间内的工作情况。3.根据权利要求2所述的基于深度学习的玩手机与离岗检测报警方法，其特征在于，所述的如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值...

【专利技术属性】
技术研发人员：甘海洋，
申请(专利权)人：禾麦科技开发深圳有限公司，
类型：发明
国别省市：