一种柜面助手履职监控装置和方法制造方法及图纸

本发明专利技术公开一种柜面助手履职监控装置和方法，包括视频帧子系统，其特征在于：所述视频帧子系统电性连接目标检测子系统，所述目标检测子系统电性连接目标过滤子系统，所述目标过滤子系统分别电性连接睡觉判别子系统、玩手机判别子系统、离岗判别子系统和聊天判别子系统，所述睡觉判别子系统、所述玩手机判别子系统、所述离岗判别子系统和所述聊天判别子系统分别电性连接异常报警子系统。本发明专利技术涉及柜面助手设备领域，具体地讲，涉及一种柜面助手履职监控装置和方法。本发明专利技术能够精确的定位异常行为的位置，为行为判断提供了良好的评价标准。

A kind of monitoring device and method for cabinet assistant to perform duties

【技术实现步骤摘要】
一种柜面助手履职监控装置和方法
本专利技术涉及柜面助手设备领域，具体地讲，涉及一种柜面助手履职监控装置和方法。
技术介绍
截至目前，我国大部分政府服务中心对办公人员的履职行为判定评估依赖于大厅的监控摄像头，当异常行为已经发生时只能从对应的硬盘录像机按时间段进行查找，效率极低。履职监控系统通过分析监控获取的文本数据或者视频数据分析有无发生异常行为并发出报警，其本质是将获取到的数据通过一种行为识别方法能够精确的识别动作生的类型并定位出动作发生的位置。实际的应用场景比较广泛，现有的行为识别方法一是基于传统方法的机器学习来实现行为识别，识别精度较低，二是基于深度学习通过神经网络学习实现的，识别精度较高，但是计算量较大，无法部署到嵌入式终端设备上运行，满足不了实时的要求。专利《一种机构履职监控系统》(申请公布号CN106682797A)公开了一种方法，该方法的优点是提供了一种量化手段方法对履职情况进行指标化、自动化的体系评估，验证履职现状，构建统一的、公平合理的机构履职评估指标体系和人为干预较小的履职情况判断方法，规范约束与推进机构人员业务工作的正常开展。该方法的不足之处在于装置的数据采集单元只是采集到的只限于文本数据，无视频数据作为异常行为判定依据，无法对办公人员进行行为识别，仅限于从工作的完成度判定识别是否为正常履职状态。专利《行为识别系统》(申请公布号CN101622652A)提供了一种行为识别方法，该专利技术实例提供基于所获得的视频流来分析和学习行为识别的方法和系统，基于对视频帧的分析来确定该流中所描述的对象，每个对象可以具有用来逐帧地跟踪对象的运动的相应的搜索模型。确定对象的分类并且生成对象的语义表示。语义表示被用来确定对象的行为并且学习由所获得的视频流描述的环境中发生的行为。这样，系统通过分析环境中对象的移动、活动或者不存在来迅速并且实时地学习正常和异常的行为，并且基于已经习得的来识别和预测异常和可疑的行为，该专利的优点提供了一套基于机器学习的行为识别系统，能够基于随时间获得的信息来学习行为，通过分析随时间的运动或活动来学习识别区分场景内的正常和异常行为。该专利的不足指出在于提供的行为识别系统是基于传统的机器学习的方法，通过视频流边学习边检测，识别精度低，无法满足当前应用要求，其计算量较大，对硬件的计算能力要求较高，目前只是基于计算机平台运行且无法对场景中的具体异常行为做动作定位。专利《行为识别模型的训练方法、行为识别方法、装置及设备》(申请公布号CN109815881A)提供了一种涉及人工智能
的行为识别模方法，该方法包括：获取训练集；分别检测每张图像的目标区域；计算训练集对应于目标区域的平均亮度信息；将每张图像的目标区域分割为前景和背景，并将背景标记为黑色；根据平均亮度信息调节每张图像的前景的亮度，得到预处理后的图像；将预处理后的图像输入神经网络进行训练，直至神经网络收敛，将收敛情况下的神经网络作为行为识别模型。该专利提供的方法可以消除背景的影响，增强对复杂场景识别的鲁棒性，可以应用在现实光线复杂的场景中，提高了识别准确率，避免过度曝光或光线不足产生的准确度下降问题。但是该专利实现的方法缺点在于事先需要根据应用场景获取大量数据，再输入到神经网络前需要对样本数据进行数据处理，等到神经网络收敛后才能记载训练好的模型使用，所述图像检测区域仅仅限于人脸区域而非整张图像，因此能够识别的动作仅仅限制于吸烟打电话等发生在与人脸相关的行为。目前常见的行为识别方法大都涉及人工智能领域，需要根据实际的应用场景预先采集大量的视频，然后对视频进行处理，如：视频分割，去背景化处理等操作，最后输入到神经网络进行训练，直至神经网络收敛，理想状态下能够精确的识别行为片段，但是实际的应用中受场景限制，误报和漏报严重，无法实现很好的落地应用，目前行为识别算法也无法同时做到动作定位和动作识别，对嵌入式设备性能要求较高，因此很难做到实时的检测发现异常行为并发出报警信息。此为现有技术的不足之处。
技术实现思路
本专利技术要解决的技术问题是提供一种柜面助手履职监控装置和方法，要解决履职行为识别分析异常行为精确定位问题，当异常行为发生时能够检测并能发出报警信息。本专利技术采用如下技术方案实现专利技术目的：一种柜面助手履职监控装置，包括视频帧子系统，其特征在于：所述视频帧子系统电性连接目标检测子系统，所述目标检测子系统电性连接目标过滤子系统，所述目标过滤子系统分别电性连接睡觉判别子系统、玩手机判别子系统、离岗判别子系统和聊天判别子系统，所述睡觉判别子系统、所述玩手机判别子系统、所述离岗判别子系统和所述聊天判别子系统分别电性连接异常报警子系统。一种柜面助手履职监控装置的使用方法，其特征在于，包括以下步骤：步骤一：所述视频帧子系统将视频帧数据处理成JPG数据集合，所述视频帧子系统将所述JPG数据集合输入到所述目标检测子系统；步骤二：所述目标检测子系统根据所述JPG数据集合生成此张图片中的目标集，每个所述目标集内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),以及目标类别标号；步骤三：所述目标检测子系统将所述目标集输入到所述目标过滤子系统中，所述目标过滤子系统将所述目标集进行目标的滤除输出新的目标集，利用面积公式(y2-y1)*(x2-x1)计算出每个目标框的面积大小，因为该设备主要针对近距离目标检测异常行为，因此对于画面背景中出现的距离较远的目标必须滤除掉，降低对检测结果的影响，根据图片分辨率大小x，分别对每个目标设置阈值，例如对于目标类别人设置阈值为，对于目标类别头设置阈值为；步骤四：所述目标过滤子系统将所述新的目标集输入到所述睡觉判别子系统中，所述睡觉判别子系统依据所述目标集中类别人的左上角(x1person,y1person)坐标和右下角(x2person,y2person)坐标，计算人这类别的目标框的宽度w和高度h，令wperson＝x2person-x1person，hperson＝y2person-y1person得到该类别目标框的wperson和hperson，根据wperson和hperson的比例关系判断该目标是否处在坐立状态还是可能趴着睡觉的状态，如果是前者判断该张图片为无睡觉行为，如果是后者则进一步判断是否处于睡觉状态，判定规则如下：对目标类别人中的宽度wperson进行十等分点的划分，计算二等分点和八等分点的坐标的横坐标轴x的大小，令xLeftperson＝x1person+0.2*wperson，xRightperson＝x1person+0.8*wperson，同样的方法计算目标类别头部的xLeftHead和xRightHead分别比较xLeftHead与xLeftperson和xRightperson与xRightHead的值的大小，当x1person<xLeftHead<xLeftperson或者xRightperson<xRightHead<x2person时，判定该目标处于睡觉状态；步骤五：所述目标本文档来自技高网...

【技术保护点】
1.一种柜面助手履职监控装置，包括视频帧子系统(1)，其特征在于：/n所述视频帧子系统(1)电性连接目标检测子系统(3)；/n所述目标检测子系统(3)电性连接目标过滤子系统(5)；/n所述目标过滤子系统(5)分别电性连接睡觉判别子系统(7)、玩手机判别子系统(8)、离岗判别子系统(9)和聊天判别子系统(10)；/n所述睡觉判别子系统(7)、所述玩手机判别子系统(8)、所述离岗判别子系统(9)和所述聊天判别子系统(10)分别电性连接异常报警子系统(11)。/n

【技术特征摘要】
1.一种柜面助手履职监控装置，包括视频帧子系统(1)，其特征在于：
所述视频帧子系统(1)电性连接目标检测子系统(3)；
所述目标检测子系统(3)电性连接目标过滤子系统(5)；
所述目标过滤子系统(5)分别电性连接睡觉判别子系统(7)、玩手机判别子系统(8)、离岗判别子系统(9)和聊天判别子系统(10)；
所述睡觉判别子系统(7)、所述玩手机判别子系统(8)、所述离岗判别子系统(9)和所述聊天判别子系统(10)分别电性连接异常报警子系统(11)。


2.一种柜面助手履职监控装置的使用方法，其特征在于，包括以下步骤：
步骤一：所述视频帧子系统(1)将视频帧数据处理成JPG数据集合(2)，所述视频帧子系统(1)将所述JPG数据集合(2)输入到所述目标检测子系统(3)；
步骤二：所述目标检测子系统(3)根据所述JPG数据集合(2)生成此张图片中的目标集(4)，每个所述目标集(4)内包括以下信息：每个目标的左上角坐标(x1,y1)和右下角坐标(x2,y2),以及目标类别标号；
步骤三：所述目标检测子系统(3)将所述目标集(4)输入到所述目标过滤子系统(5)中，所述目标过滤子系统(5)将所述目标集(4)进行目标的滤除输出新的目标集(6)，利用面积公式(y2-y1)*(x2-x1)计算出每个目标框的面积大小，因为该设备主要针对近距离目标检测异常行为，因此对于画面背景中出现的距离较远的目标必须滤除掉，降低对检测结果的影响，根据图片分辨率大小640x480，分别对每个目标设置阈值，例如对于目标类别人设置阈值为7000，对于目标类别头设置阈值为5000；
步骤四：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述睡觉判别子系统(7)中，所述睡觉判别子系统(7)依据所述目标集(6)中类别人的左上角(x1person,y1person)坐标和右下角(x2person,y2person)坐标，计算人这类别的目标框的宽度w和高度h，令wperson＝x2person-x1person，hperson＝y2person-y1person得到该类别目标框的wperson和hperson，根据wperson和hperson的比例关系判断该目标是否处在坐立状态还是可能趴着睡觉的状态，如果是前者判断该张图片为无睡觉行为，如果是后者则进一步判断是否处于睡觉状态，判定规则如下：对目标类别人中的宽度wperson进行十等分点的划分，计算二等分点和八等分点的坐标的横坐标轴x的大小，令xLeftperson＝x1person+0.2*wperson，xRightperson＝x1person+0.8*wperson，同样的方法计算目标类别头部的xLeftHead和xRightHead分别比较xLeftHead与xLeftperson和xRightperson与xRightHead的值的大小，当x1person<xLeftHead<xLeftperson或者xRightperson<xRightHead<x2person时，判定该目标处于睡觉状态；
步骤五：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述玩手机判别子系统(8)中，所述玩手机判别子系统(8)依据所述目标集(6)中目标类别，应该首先判定是否同时出现了人、手、手机，三个类别，如果出现了利用判定规则进行判定，判定规则如下：规定人的两个坐标为(x1person,y1person),(x2person,y2person)，手机的两个坐标为(x1phone,y1phone)，(x2phone,y2phone)；
步骤五一：计算手机区域面积Areaphone＝(y2person-y1person)*(x2person-x1person)；
步骤五二：计算类别人和手机的交集面积，计算交集区域左上角和右下角的坐标(x1,y1),(x2,y2)，令x1＝max(x1person,x1phone)，y1＝m...

【专利技术属性】
技术研发人员：席道亮，许野平，刘辰飞，陈英鹏，张朝瑞，高朋，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：山东;37