一种银行柜台人员举手识别方法及系统技术方案

本发明专利技术公开了一种银行柜台人员举手识别方法及系统，方法包括：利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片并分别进行预处理；将预处理后的数据输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和其手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。本发明专利技术能够在GPU 1080Ti的主机上以10+ms的推理速度完成举手的动作识别，提高目标事件识别精度和效率。识别精度和效率。识别精度和效率。

【技术实现步骤摘要】
一种银行柜台人员举手识别方法及系统


[0001]本专利技术涉及图像识别领域，尤其涉及一种银行柜台人员举手识别方法及系统。

技术介绍

[0002]在超市、酒店、银行或商场等消费场所的收银台处，收银员可以使用收银机对客户的消费行为进行结算。同时，商家可以根据监控系统所监控或记录的视频和相关收银行为规范，来检查收银员的收银行为是否违规。
[0003]而对于人工服务的银行，不管客户是需要办理低权限的业务，还是需要办理高权限的业务，都采用人工服务的方式进行无区别处理方式，全程都使人工服务的柜台服务人员陪同办理，但是在人工服务过程中银行柜台人员的行为是否符合行为规范这一问题光靠人员监控不能及时发现，且监控过程中增加了人工成本，无法及时监督和管理柜台人员的行为规范。
[0004]同时目前常用的姿态识别技术手段往往过于耗时，而且针对于俯视角的内部监控的关键点数据收集和标注比较困难。因此缺乏一种能自动识别工作人员举手动作的方法和系统。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种银行柜台人员举手识别方法及系统，首先针对输入视频和图片做预处理，预处理的图像输入到目标检测模型进行推理，输出人和举手时手的位置（如果存在）。设定重合度的阈值，计算每个人的位置框和图像中每一个只举起的手的重合度，并与阈值进行比较，如果得到的计算值超过阈值则认为这个人举手，否则不认为当前判断的人举手。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种银行柜台人员举手识别方法，包括以下步骤：步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。
[0007]具体的，所述步骤二具体包括以下子步骤：S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN
‑
backbone主干网络提取特征图中；
S202，CNN
‑
backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3
‑
Head检测头生成三个不同尺度的检测结果特征图；S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测结果特征图进行转化和拼接输出工作视频和图片中工作人员身体位置和工作人员举手时的手部位置。
[0008]具体的，所述步骤一中的对采集到工作视频和图片进行预处理过程具体包括：(1) 输入图像自适应图片缩放，该过程具体包括：先根据输入模型的长宽尺度，计算长宽各自的缩放系数。然后选择缩放系数较小的那个作为整体缩放系数，原始长宽乘以缩放系数得到缩放后的尺寸。原始图像的宽是大于高的, 对高进行黑边填充，因为模型要下采样32倍，所以图片的宽的尺寸要填充到32的倍数，并且与放缩后的尺寸差值最小。计算差值后，对图片的上下进行黑边补充。
[0009](2) 图片像素点除以255进行归一化后, 交换通道得到输入模型的特征值。
[0010]一种银行柜台人员举手识别系统，包括图像预处理模块、目标检测模块、中心计算模块、比对模块和报警模块；图像预处理模块用于实时采集并获取银行柜台工作人员的工作视频和图片，并对获取的工作视频和图片进行预处理；目标检测模块用于对预处理后的工作视频和图片进行推理和分析处理，输出工作视频和图片中工作人员身体位置和工作人员举手时的手部位置；中心计算模块用于计算工作视频和图片中计算监控图像中每个工作人员的位置框和每个工作人员举手动作的重合度；比对模块用于根据预先设定的工作人员举手重合度阈值，并将计算出的每个工作人员举手动作的重合度与设定的重合度阈值进行比较，最后输出比较结果。
[0011]本专利技术的有益效果：1.模型架构简单利于移植到各种边缘设备运行。
[0012]2.模型需要的训练数据收集、制作简单，节省了效率3.基于目标检测的模型性能高，速度能达到 10+ms, 满足工业要求。
附图说明
[0013]图1是本专利技术的方法流程图。
[0014]图2是本专利技术实施例的举手识别过程示意图。
[0015]图3是本专利技术实施例的举手识别模型结构示意图。
具体实施方式
[0016]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图说明本专利技术的具体实施方式。
[0017]本实施例中，如图1所示，一种银行柜台人员举手识别方法，包括以下步骤：步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进
行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。
[0018]具体的，所述步骤二具体包括以下子步骤：S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN
‑
backbone主干网络提取特征图中；S202，CNN
‑
backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3
‑
Head检测头生成三个不同尺度的检测结果特征图；S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测结果特征图进行转化和拼接输出工作视频和图片中工作人员身体位置和工作人员举手时的手部位置。
[0019]具体的，所述步骤一中的对采集到工作视频和图片进行预处理过程具体包括：(1) 输入图像自适应图片缩放，该过程具体包括：先根据输入模型的长宽尺度，计算长宽各自的缩放系数。然后选择缩放系数较小的那个作为整体缩放系数，原始长宽乘以缩放系数得到缩放后的尺寸。原始图像的宽是大于高的, 对高进行黑边填充，因为模型要下采样32倍，所以图片的宽的尺寸要填充到32的倍数，并且与放缩后的尺寸差值最小。计算差值后，对图片的上下进行黑边补充。
[0020](2) 图片像素点除以255进行归一化后, 交换通道得到输入模型的特征值。
[0021]一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种银行柜台人员举手识别方法，其特征在于，包括以下步骤：步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。2.根据权利要求1所述的一种银行柜台人员举手识别方法，其特征在于，所述步骤二具体包括以下子步骤：S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN
‑
backbone主干网络提取特征图中；S202，CNN
‑
backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3
‑
Head检测头生成三个不同尺度的检测结果特征图；S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测...

【专利技术属性】
技术研发人员：樊迪超，杨垒，邓雄，
申请(专利权)人：四川天翼网络服务有限公司，
类型：发明
国别省市：