基于静动态分离的装配作业动作识别方法技术

本发明专利技术公开了一种基于静动态分离的装配作业动作识别方法，具体为：采集动作手势，将动作手势对应的原始数据分为训练样本和识别样本；对采集的动作手势的原始数据进行有效数据段的提取；根据训练样本中的动作手势计算特征阈值，根据特征阈值将识别样本中的动作手势进行划分；将划分的识别样本中姿态不变型手势和姿态变化型手势的特征值分别输入到KNN识别模型和GMM‑HMM识别模型中进行训练，分别得到姿态不变型手势和姿态变化型手势的识别模型。本发明专利技术通过对姿态不变型和姿态变化型两种手势的特征值进行分析，完成阈值的提取，根据阈值有效地对手势种类进行区分，分别获取两种手势的识别模型，提高了识别准确率和识别速度。

【技术实现步骤摘要】
基于静动态分离的装配作业动作识别方法
本专利技术属于手势动作识别方法
，涉及一种基于静动态分离的装配作业动作识别方法。
技术介绍
手势识别技术作为新兴智能人机交互系统和虚拟现实系统实现的关键技术，其研究理论和方法早已经成为国内外广泛关注的热点问题。无论是基于可穿戴设备的手势识别研究，还是基于计算机视觉的手语识别，其识别过程均包含了手势数据获取、手势特征识别、手势跟踪、手势分类、手势指令映射五个步骤。其中，手势特征识别、手势跟踪、手势分类等方法的研究是解决肢体或手势识别问题的关键，得到了学者们的高度关注。隐马尔科夫、支持向量机、神经网络及深度学习等算法成为手势识别主要手段，部分算法通过一定的改进后，其识别的准确率可高达95％以上，为人机协作的进一步研究打下了坚实的基础。总的来说，目前关于手势识别的研究成果十分丰富而且全面，但还是存在着些许的不足。在数据预处理和特征提取方面，大多数的研究都是直接设定特征进行训练学习识别，并未对其特征值进行分析，所以识别效果可能会因特征值的差异而有所区分；在手势识别方法方面，大多数的研究也都采取了单一的识别方案，很少对识别方案的有效性进行验证。
技术实现思路
本专利技术的目的是提供一种基于静动态分离的装配作业动作识别方法，通过对姿态不变型和姿态变化型两种手势的特征值进行分析，完成阈值的提取，根据阈值有效地对手势种类进行区分，分别获取两种手势的识别模型，提高了识别准确率和识别速度。本专利技术所采用的技术方案是，基于静动态分离的装配作业动作识别方法，具体按照如下步骤实施：步骤1，将完整作业动作分割成n种动作手势，每种动作手势采集M组原始数据，将动作手势对应的原始数据分为训练样本和识别样本；步骤2，对步骤1采集的每个动作手势的原始数据进行有效数据段的提取；步骤3，根据训练样本中的动作手势计算特征阈值，然后根据特征阈值将识别样本中的动作手势划分为姿态变化型手势和姿态不变型手势；步骤4，将步骤3划分的识别样本中姿态不变型手势的特征值输入到KNN识别模型进行训练，得到姿态不变型手势的识别模型；步骤5，将步骤3划分的识别样本中姿态变化型手势的特征值输入到GMM-HMM识别模型进行训练，得到姿态变化型手势的识别模型。本专利技术的特征还在于，步骤1中每个动作手势的原始数据包括人手的五个手指指尖坐标：Fti(i＝1,2,3,4,5)，人手的五个指跟关节点坐标：Fbi(i＝1,2,3,4,5)，手指长度：Li(i＝1,2,3,4,5)，掌心点坐标：P，手掌法向量：h，指向手掌内侧，手掌朝向：f，掌心指向手指的方向，五指指尖速度：Vti(i＝1,2,3,4,5)，掌心速度：Vz。步骤2中进行有效数据段的提取具体为：设定速度阈值V，然后分别取出掌心速度、大拇指指尖速度、食指指尖速度、中指指尖速度、无名指指尖速度和小拇指指尖速度在连续N帧内速度值不小于阈值V的活动段区间，然后以原始数据中的该活动段区间作为有效数据，完成有效段数据的提取，则同一动作手势的M组原始数据共对应提取M组有效段数据。步骤3具体为：步骤3.1，人为根据每个动作手势的姿态将训练样本中的每个动作手势划分为姿态变化型与姿态不变型；步骤3.2，根据步骤2提取的有效段数据计算每个动作手势对应的每个有效数据段中每一帧动作手势中每个手指平面上仰度αi、手指分开度βi以及手指弯曲度μi并作为特征值，i＝1、2、3、4、5，则每个动作手势第j帧姿态特征描述一个15维特征向量：Oj＝fj(α1,…,α5,β1,…,β5,μ1,…,μ5)；步骤3.2，将训练样本中同一动作手势对应的同一有效数据段中的N帧动作手势中的每个特征值对应的最大值与最小值的取差得到极差值，以极差值作为手势状态改变量特征值，获得手势状态改变量特征向量记为：Cm＝(α1c,…,α5c,β1c,…,β5c,μ1c,…,μ5c)其中，m＝1，2，…，M，Cm表示同一动作手势对应的第m个有效数据段对应的手势状态改变量特征向量，α1c,…,α5c分别表示同一动作手势对应的第m个有效数据段中N帧动作手势中每个手指平面上仰度的极差值；β1c,…,β5c分别表示同一动作手势对应的第m个有效数据段中N帧动作手势中每个手指分开度的极差值；μ1c,…,μ5c分别表示同一动作手势对应的第m个有效数据段中N帧动作手势中每个手指弯曲度的极差值；步骤3.3，将每种动作手势对应的M个手势状态改变量特征向量中的每个特征值对应进行比较，分别得到每种动作手势对应的每个手指平面上仰度的极差值、手指弯曲度的极差值、手指弯曲度的极差值的最大值以及最小值；步骤3.4，假设步骤3.1划分的训练样本有a个姿态变化型动作手势，b个姿态不变型动作手势，将步骤3.1划分的b个姿态不变型动作手势对应的每个手指平面上仰度的极差值、手指弯曲度的极差值、手指弯曲度的极差值的最大值对应进行比较，取b个极差值的最大值中最大的值，将步骤3.1划分的a个姿态变化型动作手势对应的每个手指平面上仰度的极差值、手指弯曲度的极差值、手指弯曲度的极差值的最小值对应进行比较，取a个极差值的最小值中最小的值，将每个特征值对应的b个极差值的最大值中最大的值与a个极差值的最小值中最小的值做差，取其差值小于0的特征为阈值区分特征，该特征对应的姿态变化型手势极差值为特征阈值；步骤3.5，选任意特征对应的特征阈值，计算识别样本中动作手势该特征对应的极差值，若比特征阈值大则识别样本中对应的动作手势为姿态变化型手势，若比特征阈值小则识别样本中对应的动作手势为姿态不变型手势。步骤3.2中α1c,…,α5c计算方法为：αic＝αmaxc-αminc；其中，i＝1,2,3,4,5，αmaxc表示同一有效数据段内的N帧动作手势对应的手指平面上仰度的最大值，αminc表示同一有效数据段内的N帧动作手势对应的手指平面上仰度的最小值；β1c,…,β5c计算方法为：βic＝βmaxc-βminc；其中，βmaxc表示同一有效数据段内的N帧动作手势对应的手指分开度的最大值，βminc表示同一有效数据段内的N帧动作手势对应的手指分开度的最小值；μ1c,…,μ5c计算方法为：μic＝μmaxc-μminc；其中，μmaxc表示同一有效数据段内的N帧动作手势对应的手指弯曲度的最大值，μminc表示同一有效数据段内的N帧动作手势对应的手指弯曲度的最小值。手指平面上仰度的计算方法为：手指分开度的计算方法为：当i＝5时，令i+1＝1，则此时β5为拇指与小指间角度值；手指弯曲度的计算方法为：Li为手指长度，是指从指尖至指根关节中三段骨节的总长度。步骤4具体为：采用KNN算法作为静态手势识别算法，建立KNN识别模型，提取步骤3划分的识别样本中的姿态不变型手势的15维特征向量，即就是：动作手势第j帧姿态特征描述一个15维特征向量：本文档来自技高网...

【技术保护点】
1.基于静动态分离的装配作业动作识别方法，其特征在于，具体按照如下步骤实施：/n步骤1，将完整作业动作分割成n种动作手势，每种动作手势采集M组原始数据，将动作手势对应的原始数据分为训练样本和识别样本；/n步骤2，对步骤1采集的每个动作手势的原始数据进行有效数据段的提取；/n步骤3，根据训练样本中的动作手势计算特征阈值，然后根据特征阈值将识别样本中的动作手势划分为姿态变化型手势和姿态不变型手势；/n步骤4，将步骤3划分的识别样本中姿态不变型手势的特征值输入到KNN识别模型进行训练，得到姿态不变型手势的识别模型；/n步骤5，将步骤3划分的识别样本中姿态变化型手势的特征值输入到GMM-HMM识别模型进行训练，得到姿态变化型手势的识别模型。/n

【技术特征摘要】
1.基于静动态分离的装配作业动作识别方法，其特征在于，具体按照如下步骤实施：
步骤1，将完整作业动作分割成n种动作手势，每种动作手势采集M组原始数据，将动作手势对应的原始数据分为训练样本和识别样本；
步骤2，对步骤1采集的每个动作手势的原始数据进行有效数据段的提取；
步骤3，根据训练样本中的动作手势计算特征阈值，然后根据特征阈值将识别样本中的动作手势划分为姿态变化型手势和姿态不变型手势；
步骤4，将步骤3划分的识别样本中姿态不变型手势的特征值输入到KNN识别模型进行训练，得到姿态不变型手势的识别模型；
步骤5，将步骤3划分的识别样本中姿态变化型手势的特征值输入到GMM-HMM识别模型进行训练，得到姿态变化型手势的识别模型。


2.根据权利要求1所述的基于静动态分离的装配作业动作识别方法，其特征在于，所述步骤1中每个动作手势的原始数据包括人手的五个手指指尖坐标：Fti(i＝1，2，3，4，5)，人手的五个指跟关节点坐标：Fbi(i＝1，2，3，4，5)，手指长度：Li(i＝1，2，3，4，5)，掌心点坐标：P，手掌法向量：h，指向手掌内侧，手掌朝向：f，掌心指向手指的方向，五指指尖速度：Vti(i＝1，2，3，4，5)，掌心速度：Vz。


3.根据权利要求2所述的基于静动态分离的装配作业动作识别方法，其特征在于，所述步骤2中进行有效数据段的提取具体为：
设定速度阈值V，然后分别取出掌心速度、大拇指指尖速度、食指指尖速度、中指指尖速度、无名指指尖速度和小拇指指尖速度在连续N帧内速度值不小于阈值V的活动段区间，然后以原始数据中的该活动段区间作为有效数据，完成有效段数据的提取，则同一动作手势的M组原始数据共对应提取M组有效段数据。


4.根据权利要求3所述的基于静动态分离的装配作业动作识别方法，其特征在于，所述步骤3具体为：
步骤3.1，人为根据每个动作手势的姿态将训练样本中的每个动作手势划分为姿态变化型与姿态不变型；
步骤3.2，根据步骤2提取的有效段数据计算每个动作手势对应的每个有效数据段中每一帧动作手势中每个手指平面上仰度αi、手指分开度βi以及手指弯曲度μi并作为特征值，i＝1、2、3、4、5，则每个动作手势第j帧姿态特征描述一个15维特征向量：
Oj＝fj(α1，...，α5，β1，...，β5，μ1，...，μ5)；
步骤3.2，将训练样本中同一动作手势对应的同一有效数据段中的N帧动作手势中的每个特征值对应的最大值与最小值的取差得到极差值，以极差值作为手势状态改变量特征值，获得手势状态改变量特征向量记为：
Cm＝(α1c，...，α5c，β1c，...，β5c，μ1c，...，μ5c)
其中，m＝1，2，...，M，Cm表示同一动作手势对应的第m个有效数据段对应的手势状态改变量特征向量，α1c，...，α5c分别表示同一动作手势对应的第m个有效数据段中N帧动作手势中每个手指平面上仰度的极差值；β1c，...，β5c分别表示同一动作手势对应的第m个有效数据段中N帧动作手势中每个手指分开度的极差值；μ1c，...，μ5c分别表示同一动作手势对应的第m个有效数据段中N帧动作手势中每个手指弯曲度的极差值；
步骤3.3，将每种动作手势对应的M个手势状态改变量特征向量中的每个特征值对应进行比较，分别得到每种动作手势对应的每个手指平面上仰度的极差值、手指弯曲度的极差值、手指弯曲度的极差值的最大值以及最小值；
步骤3.4，假设步骤3.1划分的训练样本有a个姿态变化型动作手势，b个姿态不变型动作手势，将步骤3.1划分的b个姿态不变型动作手势对应的每个手指平面上仰度的极差值、手指弯曲度的极差值、手指弯曲度的极差值的最大值对应进行比较，取b个极差值的最大值中最大的值，将步骤3.1划分的a个姿态变化型动作手势对应的每个手指平面上仰度的极差值、手指弯曲度的极差值、手指弯曲度的极差值的最小值对应进行比较，取a个极差值的最小值中最小的值，将每个特征值对应的b个极差值的最大值...

【专利技术属性】
技术研发人员：刘永，杨明顺，高新勤，万鹏，李斌鹏，史晟睿，乔琦，王祥，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61