一种基于人体关键点的员工手势指引检测方法技术

本发明专利技术公开了一种基于人体关键点的员工手势指引检测方法。在Faster RCNN网络的损失函数中加入度量学习函数采样难样本训练网络；使用COCO数据集通过交叉验证法训练CPM网络；训练好的Faster RCNN模型根据输入的测试图像，得到员工的位置坐标，裁剪出员工图像；将员工图像输入CPM模型根据输入的员工图像，检测得到人体关键点，根据关键点连线的夹角判断员工是否有手势指引。本发明专利技术基于人体关键点检测来判断员工在服务顾客时是否有手势指引，与基于外观的表示方法不同，关键点特征是紧凑且强结构性的特征，带有丰富的语义信息，对人类动作与运动具有高度描述性，判断准确性更高。

A detection method of employee gesture guidance based on human key points

【技术实现步骤摘要】
一种基于人体关键点的员工手势指引检测方法
本专利技术涉及目标检测，人体关键点检测，深度学习等领域，尤其涉及一种基于人体关键点的员工手势指引检测方法。
技术介绍
随着信息技术的发展，人们对人体姿态的分析需求越来越大，比如：企业希望知道员工在服务顾客时有没有做手势指引，学校需要及时的知道校园里有没有打架斗殴事件，影院领导需要知道电影院检票口有没有员工在倚靠趴扶等。想及时了解这些信息都要对人体姿态进行分析识别，这类人体姿态识别需要借助于人体关键点检测，人体关键点检测是指从一张含有人体图像中对人体骨架上的关键点进行建模估计。由于人体具有柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响。现有解决人体关键点检测算法基本上是在几何先验的基础上基于模板匹配的思路来进行，核心就在于如何去用模板表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系表示。一个好的模板匹配的思路，可模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。但是也存在一定的缺陷，本文档来自技高网...

【技术保护点】
1.一种基于人体关键点的员工手势指引检测方法，其特征在于，包括以下步骤：/nS1、在应用场景下进行员工图像样本数据集的采集和标注，并对样本数据集进行预处理；/nS2、在Faster RCNN网络训练过程中，引入度量函数筛选出样本数据集中的难样本，然后使用筛选出的难样本训练网络，生成训练好的Faster RCNN模型；/nS3、使用公开的COCO数据集训练CPM人体关键点检测网络，生成训练好的CPM模型；/nS4、视频采集员工的工作场景图像作为待测图像，将待测图像输入到步骤S2生成的Faster RCNN模型中，输出员工的位置坐标；根据员工的位置坐标裁剪出员工图像；/nS5、将步骤S4裁剪得到的...

【技术特征摘要】
1.一种基于人体关键点的员工手势指引检测方法，其特征在于，包括以下步骤：
S1、在应用场景下进行员工图像样本数据集的采集和标注，并对样本数据集进行预处理；
S2、在FasterRCNN网络训练过程中，引入度量函数筛选出样本数据集中的难样本，然后使用筛选出的难样本训练网络，生成训练好的FasterRCNN模型；
S3、使用公开的COCO数据集训练CPM人体关键点检测网络，生成训练好的CPM模型；
S4、视频采集员工的工作场景图像作为待测图像，将待测图像输入到步骤S2生成的FasterRCNN模型中，输出员工的位置坐标；根据员工的位置坐标裁剪出员工图像；
S5、将步骤S4裁剪得到的员工图像输入到步骤S3生成的CPM模型中，输出人体关键点，根据人体关键点连线的夹角判断员工是否有手势指引，若检测到员工的手势指引不符合员工服务规范预设的标准，则发出提醒信号。


2.根据权利要求1所述的一种基于人体关键点的员工手势指引检测方法，其特征在于，所述的步骤S1具体为：
S11、在实际应用场景中使用监控摄像头采集1000张员工图像作为正例样本，再从COCO数据集中筛选出1000张行人图像作为负例样本，正例样本和负例样本构成样本数据集；
S12、对采集到的1000张员工图像使用labelImg工具进行标注，每张图像经过labelImg工具标注后自动生成与图像对应的.xml文件，文件中保存了员工在图像中的位置坐标；
S13、对样本数据集进行预处理，包括样本数据集的标准化、缩放、翻转。


3.根据权利要求1所述的一种基于人体关键点的员工手势指引检测方法，其特征在于，所述的步骤S2具体为：
所述的FasterRCNN目标检测网络包括卷积层、RPN网络、RoiPooling层、分类回归网络；首先将图片输入到ZF的可共享的卷积层中，将最后一个共享卷积层的输出作为初始特征图；接下来使用得到的初始特征图进行两个检测阶段，第一阶段使用RPN网络对通过锚点框生成的预选框进行粗筛选，然后将粗筛选后的预选框映射到原图像上作为预测框；第二阶段将预测框和初始特征图输入到RoiPooling层形成固定大小的目标特征图并进行全连接操作，在分类回归网络中利用Softmax进行具体类别的分类以及边界框的回归，获得员工的精确位置坐标；
对FasterRCNN网络进行训练时，对于每一个训练batch，首先通过距离度量函数筛选出batch中每一幅图像a对应的一个距离最大的正样本p和一个距离最小的负样本n，a与p、a与n构成两对难识别样本；使用筛选出的难识别样本对网络进行训练，训练过程采用随机梯度下降法反向传播更新网络的参数，最后得到训练完成的FasterRCNN模型并保存为.pth文件；
网络训练中的分类损失函数公式为：



其中：Nclas表示类别数，表示第i幅图像的类别标签；dp,a表示图像p与图像a之间的欧式距离，dn,a表示图像n与图像a之间的欧式距离；A表示与图像a具有相同类别标签的图像集；B表示与图像a具有不同类别标签的图像集；
网络训练中的回归损失...

【专利技术属性】
技术研发人员：包晓安，涂小妹，钟乐海，
申请(专利权)人：浙江理工大学桐乡研究院有限公司，
类型：发明
国别省市：浙江;33