基于带手套的手势识别的电缆附件工序判别方法和系统技术方案

本发明专利技术提出了基于带手套的手势识别的电缆附件工序判别方法和系统。所述方法包括：实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；训练手部关键点检测模型；通过图卷积神经网络来提取视频序列中的手势动作特征；利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序；所述系统包括与所述方法步骤对应的模块。方法步骤对应的模块。方法步骤对应的模块。

【技术实现步骤摘要】
基于带手套的手势识别的电缆附件工序判别方法和系统


[0001]本专利技术提出了基于带手套的手势识别的电缆附件工序判别方法和系统，属于电缆附件施工


技术介绍

[0002]电缆附件(CableAccessories)是连接电缆与输配电线路及相关配电装置的产品，一般指电缆线路中各种电缆的中间连接及终端连接，与电缆一起构成电力输送网络。电缆附件是电缆施工中一道十分重要的工序,不但能有效地控制高位电压，还直接影响整个电气工程施工质量。
[0003]在电缆附件的施工过程中，经验丰富的施工人员通过拍摄施工手势的视频图像，为后续判断施工是否符合标准提供重要依据。但这对操作者有着较高的施工经验和知识储备要求，并且无法在短时间内有效普及。随着图像处理技术的发展，视频采集设备拍摄到的包含手势的图像序列，通过计算机视觉进行处理，进而可对施工手势加以识别。传统的手势识别系统由特征提取和分类器组成，其困难是需要耗费大量时间人工设计特征(如HOG特征)，以适应光照变化、目标遮挡、背景复杂、类肤色像素干扰及手势多样性等问题；此外，从背景中分割手势(如背景差分法),并选择出不变性特征很难达到足够满意的效果。为了避免手势复杂的前期预处理,将卷积神经网络应用于手势识别，能实现图像数据的端到端服务，无需人工定义和特征抽取。卷积神经网络直接以原始手势图像为输入,通过良好的自学习能力、容错能力和并行处理能力，自动提取目标的多尺度特征，拥有很强的鲁棒性和较低的复杂性。卷积神经网络对目标区域的局部感知、层次结构化、深度特征学习与分类等特点,在图像识别领域获得了广泛应用，可在电缆附件施工
做进一步的拓宽。为此，本专利技术提出一种基于带手套的手势识别的电缆附件工序判别方法。

技术实现思路

[0004]本专利技术提供了基于带手套的手势识别的电缆附件工序判别方法和系统，用以解决以解决上述
技术介绍
中在电缆附件施工过程中，经验丰富的施工人员通过拍摄施工手势视频图像，为后续判断施工是否符合标准提供重要依据。但是，这对操作者有着较高的施工经验和知识储备要求，并且无法在短时间内对施工手势进行有效判别，无法进行普及的问题，所采取的技术方案如下：
[0005]一种基于带手套的手势识别的电缆附件工序判别方法，所述方法包括：
[0006]实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
[0007]训练手部关键点检测模型；
[0008]通过图卷积神经网络来提取视频序列中的手势动作特征；
[0009]利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
[0010]利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判
断施工人员的手势动作确定施工工序。
[0011]进一步地，所述实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列，包括：
[0012]实时采集施工人员的不同施工阶段中的手势动作的视频序列；
[0013]针对所述视频序列标记其所属的施工工序。
[0014]进一步地，所述训练手部关键点检测模型包括：
[0015]利用Convolutional Pose Machines神经网络提取施工人员手部关键点；
[0016]构建手部关键点检测模型模型；
[0017]在CMU Hand数据集上进行模型训练，得到手部关键点检测模型。
[0018]进一步地，所述手势动作分类模型的损失函数如下：
[0019][0020]其中，N表示手部关键点数；M表示施工工序的类别数量；y
ic
表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则y
ic
取值为1，否则，取值为0；p
ic
表示对于观测样本i属于类别c的预测概率。
[0021]进一步地，所述通过图卷积神经网络来提取视频序列中的手势动作特征，包括：
[0022]使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{v
ti
|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(v
ti
)由手部关键点点坐标构成；
[0023]构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{v
ti
v
tj
|(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
[0024]构建相邻帧之间的时间图，E2＝{v
ti
v
(t+1)i
}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
[0025]训练图卷积神经网络得到视频中手势的时空特征F
v
。
[0026]进一步地，利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序，包括：
[0027]针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
[0028]通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
[0029]根据所述手势类别确定施工人员当前所执行的施工工序。
[0030]一种基于带手套的手势识别的电缆附件工序判别系统，所述系统包括：
[0031]采集模块，用于实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
[0032]模型训练模块，用于训练手部关键点检测模型；
[0033]特征提取模块，用于通过图卷积神经网络来提取视频序列中的手势动作特征；
[0034]分类训练模块，用于利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
[0035]应用判断模块，用于利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
[0036]进一步地，所述采集模块包括：
[0037]视频采集模块，用于实时采集施工人员的不同施工阶段中的手势动作的视频序列；
[0038]序列标记模块，用于针对所述视频序列标记其所属的施工工序。
[0039]进一步地，所述模型训练模块包括：
[0040]关键点提取模块，用于利用ConvolutionalPoseMachines神经网络提取施工人员手部关键点；
[0041]模型构建模块，用于构建手部关键点检测模型模型；
[0042]训练模块，用于在CMUHand数据集上进行模型训练，得到手部关键点检测模型。
[0043]进一步地，所述特征提取模块的运行过程包括：
[0044]步骤1、使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{v
ti
|t＝1,...,T,i＝1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于带手套的手势识别的电缆附件工序判别方法，其特征在于，所述方法包括：实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；训练手部关键点检测模型；通过图卷积神经网络来提取视频序列中的手势动作特征；利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。2.根据权利要求1所述电缆附件工序判别方法，其特征在于，所述实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列，包括：实时采集施工人员的不同施工阶段中的手势动作的视频序列；针对所述视频序列标记其所属的施工工序。3.根据权利要求1所述电缆附件工序判别方法，其特征在于，所述训练手部关键点检测模型包括：利用Convolutional Pose Machines神经网络提取施工人员手部关键点；构建手部关键点检测模型模型；在CMU Hand数据集上进行模型训练，得到手部关键点检测模型。4.根据权利要求1所述电缆附件工序判别方法，其特征在于，所述手势动作分类模型的损失函数如下：其中，N表示手部关键点数；M表示施工工序的类别数量；y
ic
表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则y
ic
取值为1，否则，取值为0；p
ic
表示对于观测样本i属于类别c的预测概率。5.根据权利要求1所述电缆附件工序判别方法，其特征在于，所述通过图卷积神经网络来提取视频序列中的手势动作特征，包括：使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{v
ti
|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(v
ti
)由手部关键点点坐标构成；构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{v
ti
v
tj
|(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；构建相邻帧之间的时间图，E2＝{v
ti
v
(t+1)i
}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；训练图卷积神经网络得到视频中手势的时空特征F
v
。6.根据权利要求1所述电缆附件工序判别方法，其特征在于，利...

【专利技术属性】
技术研发人员：戴相龙，王晓鹏，李学钧，蒋勇，何成虎，
申请(专利权)人：江苏濠汉信息技术有限公司，
类型：发明
国别省市：