基于3D手势序列解析的手部动作识别方法技术

本发明专利技术公开了基于3D手势序列解析的手部动作识别方法，针对手部动作的3D骨骼动作序列，按帧提取手部关节点的速度、角度和相对位置信息，计算各骨骼关节点的联合速率，将联合速率波形图的极小值位置作为手势动作分割点，得到多个动作帧序列，然后按帧对手指状态进行匹配、编码，得到手势动作对应的编码结果。再加入位姿信息后，将多个手势动作组合成一个动作矩阵，根据动作矩阵完成手部动作的匹配。本发明专利技术利用联合速率替代定长时间窗的分割方法，可以保证分割结果包含完整的手势动作，符合实际情况。针对每个手势动作，按帧进行匹配、编码，可以有效去除干扰帧或无效信息帧，降低了匹配难度和搜索时间，提高了识别准确度。提高了识别准确度。提高了识别准确度。

【技术实现步骤摘要】
基于3D手势序列解析的手部动作识别方法


[0001]本专利技术属于计算机视觉
，涉及连续手部动作的识别，具体涉及基于3D手势序列解析的手部动作识别方法。

技术介绍

[0002]手部动作可以视为由多个连续的手势动作组成的一个动态数据序列。手部动作识别技术就是对动态数据序列中人的手部动作做出类别判定。现有技术中对于手势识别技术的研究报道较多，而对于手部动作识别的报道较少。两者的区别在于：手势识别通常是从空间维度上，对静态的手势对象进行识别；而手部动作识别则是从时间维度上，对连续的手势动作所组成的动作序列进行辨别。
[0003]常见的手部动作识别方法首先对包含多个连续手势动作的动态数据序列进行时序上的分割，将长数据序列分割成一个个包含单一手势动作的数据序列段；然后根据经验确定一个定长的时间窗口，用定长的时间窗口对这些数据序列段进行帧选取，通常是去掉数据序列段的头尾，以去除空白数据帧或干扰数据帧。经过定长时间窗口的帧选取后，得到了一系列长度相等的帧序列，最后将这些帧序列与数据库中存储的手势动作模板进行对比，完成识别的过程。定长时间窗选取数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于3D手势序列解析的手部动作识别方法，其特征在于：具体包括以下步骤：步骤一、建立匹配模板库s1.1、采集执行一个手部动作过程中的3D骨骼动作序列，按帧提取该序列中手部骨骼关节点的角度、速度以及相对位置；s1.2、将s1.1得到的3D骨骼动作序列按照手势动作进行划分，去掉空白帧和干扰帧后，得到多个动作帧序列；s1.3定义一个5位的字符串，字符串中的每一位对应一根手指的状态，根据手指的弯曲程度、手指与手掌的相对位置以及不同手指间相对位置，对每根手指进行状态赋值，得到由5位字符组成的动作帧编码，存入动作帧库；s1.4、将s1.3中对动作帧的编码X按照时序进行拼接，若相邻两帧的编码结果相同则作合并处理，得到一个动作帧序列对应的编码结果α，存入手势动作库；s1.5、为每个手势动作的编码结果添加位姿信息U、V，得到手势动作对应的序列码；其中U代表掌心所在平面的法向量的坐标(x
u
,y
u
,z
u
)，V代表掌心与中指掌指关节的连线方向向量的坐标(x
v
,y
v
,z
v
)；然后将多个手势动作的序列码按照时序放入一个矩阵中，并用0补齐，使矩阵的大小为k*k，存入手部动作库；s1.6、重复步骤s1.1～s1.5，采集不同手部动作的3D骨骼动作序列，补充动作帧库、手势动作库和手部动作库的数据，完成匹配模板库的建立；步骤二、手部动作识别s2.1、采集待识别手部动作的3D骨骼动作序列T，按帧提取该序列中手部骨骼关节点在3D空间的角度、速度以及相对位置，并计算所有手部骨骼...

【专利技术属性】
技术研发人员：李仕，卢俊阳，王航宁，王毅刚，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：