一种基于关键点检测和目标识别的PVC手套识别方法技术

本发明专利技术提供了一种基于关键点检测和目标识别的PVC手套识别方法，属于计算机视觉技术领域。解决了在有干扰因素的复杂背景下的PVC手套识别精度低的问题。其技术方案为：包括以下步骤：S1、样本数据采集及模型训练；S2、将从摄像头采集到的原始图像输入到训练之后的人体关键点检测模型中；S3、提出六点定位法；S4、识别PVC手套：S5、输出目标识别结果。本发明专利技术的有益效果为：本发明专利技术提供的PVC手套识别的通用模型，可以适用在餐饮后厨、食品加工等多种场景下，实现食品卫生监管的智能化，减少人工监管所耗费的时间和精力，有效避免食品卫生安全事件的发生。事件的发生。事件的发生。

【技术实现步骤摘要】
一种基于关键点检测和目标识别的PVC手套识别方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于关键点检测和目标识别的PVC手套识别方法。

技术介绍

[0002]随着人工智能的快速发展，计算机视觉的相关技术被应用到各个领域，尤其是视频监管智能识别分析方面被应用于工程领域中，例如交通领域的自动驾驶，生产领域的产品缺陷智能识别，建筑工地的安全帽目标识别等。相比于传统人工监控摄像头视频画面，视频监管智能识别具有成本低、效率高、便捷、准确率高，极大的保障了工程的安全。目前，人体关键点检测已经取得一定成果，主要是对人体动作识别、行为分析、人机交互等前置任务，并且有较好的识别效果。二维人体关键点检测算法主要有两种方法，一种是自顶向下(Bottom
‑
up)的识别方法,先识别图像中的人体框架,再对识别到的人体框架进行人体关键点识别，典型算法AlphaPose、Mask RCNN等；另一种是自底向上(Top
‑
down)的识别方法，先识别出图像中所有的人体关键点,再对关键点进行分组关联，典型算法有OpenPose、DeepCut。
[0003]基于深度学习的目标识别的算法主要包括：单阶段和双阶段目标识别算法。单阶段目标识别典型算法有yolov系列、SSD，双阶段目标识别典型算法有RCNN系列。单阶段目标识别算法直接对图像进行计算生成识别结果，识别速度快，但识别精度低。双阶段目标识别算法先根据图像提取候选框，然后基于候选区域做二次修正得到识别点结果，识别精度较高，但识别速度较慢。单阶段目标识别主要应用于需要对视频进行实时目标识别，保证目标识别的实时性和高效性。但由于现有的单阶段目标识别算法只适用于单一背景和目标特征明显的场景中，但不适用于复杂背景下和目标特征不明显的场景中。在餐饮后厨中通过摄像头采集到的视频数据对PVC手套进行识别过程中，由于工人佩戴的PVC手套材质属于乳胶手套，颜色偏白，特征信息不足，同时在厨房中存在如塑料袋、白色包装盒等干扰因素。因此，通过目标识别算法实现准确高效的PVC手套实时识别是一个亟待解决的难题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于关键点检测和目标识别的PVC手套识别方法，解决了存在有干扰因素的复杂背景下的PVC手套识别精度低的问题，该方法得出一种PVC手套识别的通用模型，可以适用在餐饮后厨、食品加工等多种场景下，实现食品卫生监管的智能化，减少人工监管所耗费的时间和精力，有效避免食品卫生安全事件的发生。
[0005]为了实现上述专利技术目的，本专利技术采用技术方案具体为：一种基于关键点检测和目标识别的PVC手套识别方法，包括以下步骤：
[0006]S1、样本数据采集及模型训练；
[0007](1)利用网络爬虫技术创建人体手的关键点检测数据集；
[0008](2)对爬虫到的数据集使用标注工具标注出bbox框和手部位的关键点；
[0009](3)将标注完的数据集输入到已有的人体关键点检测模型中进行训练；
[0010](4)获得人体手部关键点的检测模型。
[0011]S2、将从摄像头采集到的原始图像输入到训练之后的人体关键点检测模型中，得到人体手部位的关键点坐标，组成关键点序列；
[0012]S3、提出六点定位法，利用手部六个关键点坐标信息定位出待检测的手部区域；
[0013]S4、识别PVC手套：
[0014](1)对现有的yolov5目标识别算法进行优化；
[0015](2)利用优化后的yolov5算法建立PVC手套识别模型；
[0016](3)对S3中得到的目标检测区域进行目标识别。
[0017]S5、输出目标识别结果。
[0018]对于步骤S1，本专利技术采用简单灵活的python网络爬虫技术，相较于其他爬虫技术，python抓取网页文档接口更加简洁；提供了简洁的文档处理功能，可以用很短的代码完成大部分文档处理；本专利技术标注工具采用可视化的图像标定工具labelImg，labelImg基于python的pyqt5进行制作，用QT作为图形界面，最后生成XML文件；关键点包括人体手部的大拇指、食指、中指、无名指、小拇指及手腕共六个关节点。
[0019]对于步骤S2，本专利技术采用一种自顶向下top
‑
down的多人姿态估计算法AlphaPose，AlphaPose利用一种区域性的多人动作估计框架将不精准的人类边界框改进成精确的动作估计，AlphaPose包括三个部分：对称空间变换网络SSTN、参数化姿态非最极大抑制NMS、姿态指导区域产生器PGPG，AlphaPose算法首先采取Faster
‑
RCNN作为人体检测网络，提取出图片中的人体候选框，然后将得到的人体检测候选框输入到两个并行的分支里面，一个支路由SPPE算法+SDTN算法+STN的逆变换组成，STN输入的是人体候选框，SDTN输出的是人体姿态框，然后对获得的人体姿态框进行参数化姿态非最极大抑制Pose
‑
NMS，用来消除冗余的人体姿态框，另一条支路只有SPPE算法，这个分支的SPPE算法参数和另一个分支中的SPPE算法保持一致，回归到中心化的姿态。Pose
‑
NMS比之前的姿态非最大抑制效率和精度更高,而且不需要手动设置参数,可通过数据驱动的方式设置参数。为了得到更准确的姿态,需要定义姿态相似性,以消除过于接近和过于相似的姿态。
[0020]最后，用姿态引导区域框生成器(PGPG)来增强训练样本，通过学习不同姿态人体检测器的输出分布，模拟人体边界框的生成，生成大量的训练样本。
[0021]在利用参数化姿态非大抑制(NMS)消除冗余的人体姿态框时，可以采用置信度消除或距离消除，冗余姿态只要满足其中一个消除标准就会被消除。
[0022]对于一个人的姿态P
i
，有n个关节点记做，有n个关节点记做和分别表示第j个部位的坐标位置和置信度分数。
[0023]置信度消除：消除置信度相似的关节点。定义姿态距离矩阵K
Sim
(P
i
,P
j
|σ1)来衡量姿态间的相似度，σ1为函数K
Sim
的一组参数，可以表示为：
[0024][0025]距离消除:消除位置相近的关节点。定义姿态距离矩阵H
Sim
(P
i
,P
j
|σ2)来衡量姿态
间的相似度，σ2为函数H
Sim
的一组参数,可以表示为：
[0026][0027]式中P
i
表示冗余姿态，P
j
表示基准姿势，其中为中心在的检测框，并且每个的坐标都是原始坐标B
i
的1/10，tanh将低置信度的姿态过滤掉，当两个一致的关节点都有很高的置信度时，那么输出将接近1。
[0028]对于步骤S3，本专利技术利用六点定位法定位手部区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点检测和目标识别的PVC手套识别方法，其特征在于，包括以下步骤：S1、样本数据采集及模型训练；(1)利用网络爬虫技术创建人体手的关键点检测数据集；(2)对爬虫到的数据集使用标注工具标注出bbox框和手部位的关键点；(3)将标注完的数据集输入到已有的人体关键点检测模型中进行训练；(4)获得人体手部关键点的检测模型；S2、将从摄像头采集到的原始图像输入到训练之后的人体关键点检测模型中，得到人体手部位的关键点坐标，组成关键点序列；S3、提出六点定位法，利用手部六个关键点坐标信息定位出待检测的手部区域；S4、识别PVC手套：(1)对现有的yolov5目标识别算法进行优化；(2)利用优化后的yolov5算法建立PVC手套识别模型；(3)对步骤S3中得到的目标检测区域进行目标识别；S5、输出目标识别结果。2.根据权利要求1所述的基于关键点检测和目标识别的PVC手套识别方法，其特征在于，所述步骤S1中，采用python抓取网页文档接口，用于文档处理，用短的代码完成大部分文档处理；标注工具采用可视化的图像标定工具labelImg，labelImg基于python的pyqt5进行制作，用QT作为图形界面，最后生成XML文件；关键点包括人体手部的大拇指、食指、中指、无名指、小拇指及手腕共六个关节点。3.根据权利要求1所述的基于关键点检测和目标识别的PVC手套识别方法，其特征在于，所述步骤S2中，采用自顶向下的多人姿态估计算法AlphaPose，AlphaPose利用区域性的多人动作估计框架，将不精准的人类边界框改进成精确的动作估计，AlphaPose包括三个部分：对称空间变换网络SSTN、参数化姿态非最极大抑制Pose
‑
NMS、姿态指导区域产生器PGPG，AlphaPose算法采取Faster
‑
RCNN作为人体检测网络，提取出图片中的人体候选框，将得到的人体检测候选框输入到两个并行的分支里面，一个支路由SPPE算法+SDTN算法+STN的逆变换组成，STN输入的是人体候选框，SDTN输出的是人体姿态框，对获得的人体姿态框进行参数化姿态非最极大抑制Pose
‑
NMS，用来消除冗余的人体姿态框，另一条支路只有SPPE算法，这个分支的SPPE算法参数和另一个分支中的SPPE算法保持一致，回归到中心化的姿态；用姿态引导区域框生成器PGPG增强训练样本，通过学习不同姿态人体检测器的输出分布，模拟人体边界框的生成，生成大量的训练样本；在利用参数化姿态非大抑制NMS消除冗余的人体姿态框时，采用置信度消除或距离消除，冗余姿态满足其中一个消除标准就被消除；对于一个人的姿态P
i
，有n个关节点记做，有n个...

【专利技术属性】
技术研发人员：李跃华，仲新，邹胡健，张月月，冯浩宸，
申请(专利权)人：南通大学，
类型：发明
国别省市：