手势动作识别方法、装置、终端设备及存储介质制造方法及图纸

本申请涉及图像识别领域，具体涉及一种手势动作识别方法、装置、终端设备及计算机可读存储介质，所述方法包括：获取至少两个手势图像；确定第一骨骼点在所述至少两个手势图像中的第一位置；根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；根据所述有效轨迹段进行语义翻译得到手势动作识别结果；本申请能够实现了手势动作中的有效动作与无效动作的区分，提高手势动作的识别效率与正确率。作的识别效率与正确率。作的识别效率与正确率。

【技术实现步骤摘要】
手势动作识别方法、装置、终端设备及存储介质


[0001]本申请涉及图像识别领域，具体涉及一种手势动作识别方法和装置，以及一种终端设备及计算机可读存储介质。

技术介绍

[0002]基于视觉的手势识包含手势分割、手势形状特征提取、手势识别三个过程，手势识别中涉及静态手势语义和动态手势语义，静态手势语义通过手指的舒、伸直及蜷缩的组合与其指尖的相对位置来做判定；而动态手势可以视作多个静态手势的组合，动态手势的识别不仅需要有效地识别多个静态手势的语义，还需要识别多个静态手势组合得到的语义。
[0003]目前，对于动态手势的识别，需要完整地录入从手势开始到手势结束地全部过程，再对全部过程的手势进行识别，而动态手势不同于静态手势，动态手势的整个过程存在非必要识别的阶段，目前无法有效地区分动态手势的过程中的必要识别阶段和非必要识别阶段，无法高效、准确地进行动态手势的识别。

技术实现思路

[0004]为克服以上技术问题，特别是现有技术无法准确区分有效动作与无效动作的问题，特提出以下技术方案：
[0005]第一方面，本申请提供了一种手势动作识别方法，包括以下步骤：
[0006]获取至少两个手势图像；
[0007]确定第一骨骼点在所述至少两个手势图像中的第一位置；
[0008]根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
[0009]根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
[0010]根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
[0011]在一个实施例中，其特征在于，在获取至少两个手势图像之前，还包括：
[0012]获取终端设备前方区域的至少两个图像；
[0013]分别从所述图像中识别至少两个骨骼点，并获取所述至少两个骨骼点在对应图像中的位置信息；
[0014]根据所述位置信息确定所述图像对应的手势类型；
[0015]在所述至少两个图像为相同的手势类型时，确定所述至少两个图像为所述手势图像。
[0016]在一个实施例中，根据所述有效轨迹段进行语义翻译得到手势动作识别结果，包括：
[0017]对所述有效轨迹段进行动态手势语义识别，确定所述有效轨迹段对应的动态轨迹类型；
[0018]对所述手势图像的骨骼点进行静态手势语义识别，确定所述手势图像对应的静态
手势类型；
[0019]根据所述动态轨迹类型和静态手势类型获取手势动作识别结果。
[0020]在一个实施例中，所述根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段包括：
[0021]计算曲线运动轨迹上的运动点的运动状态参数；
[0022]对所述运动点的运动状态参数进行阈值判断，将满足所述阈值条件的运动点对应的轨迹分段确定为有效轨迹段。
[0023]在一个实施例中，所述运动状态参数包括曲线运动轨迹的运动点的速度、加速度，以及曲线运动轨迹在该运动点处的曲率半径。
[0024]在一个实施例中，将满足所述参数阈值条件的运动点对应的轨迹分段确定为有效轨迹段，包括：
[0025]对所述曲线运动轨迹的运动点的曲率半径进行阈值判断，确定所述曲线运动轨迹的转折段；
[0026]对所述曲线运动轨迹的运动点的速度、加速度进行阈值判断，确定起始段和加速段；
[0027]根据所述转折段、起始段和加速段确定所述曲线运动轨迹的有效轨迹段。
[0028]在一个实施例中，确定所述曲线运动轨迹中的有效轨迹段之后，还包括：
[0029]将所述有效轨迹段输入至SVM轨迹模型；其中，所述SVM轨迹模型为预先训练的轨迹段识别模型；
[0030]利用所述SVM轨迹模型识别所述有效轨迹段的起始段、加速段、转折段和/或回收段。
[0031]第二方面，本申请提供一种手势动作识别装置，包括：
[0032]手势图像获取模块，用于获取至少两个手势图像；
[0033]骨骼点位置识别模块，用于确定第一骨骼点在所述至少两个手势图像中的第一位置；
[0034]曲线轨迹获取模块，用于根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；
[0035]有效轨迹确定模块，用于根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；
[0036]手势动作识别模块，用于根据所述有效轨迹段进行语义翻译得到手势动作识别结果。
[0037]第三方面，本申请提供一种终端设备，包括：
[0038]一个或多个处理器；
[0039]存储器；
[0040]一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行上述的手势动作识别方法。
[0041]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的手势动作识别方法。
[0042]本申请与现有技术相比，具有以下有益效果：
[0043]本申请的技术方案，通过确定第一骨骼点在手势图像中的位置来获得曲线运动轨迹，然后根据曲线运动轨迹上的运动状态参数，确定曲线运动轨迹中的有效轨迹段，进而根据有效轨迹段进行语义翻译得到手势动作识别结果。该技术方案，可以识别出曲线运动轨迹中的有效轨迹段，去除了无效轨迹段的影响，利用有效轨迹段来识别的动态手势动作的语义，提高了手势动作识别的准确率，区分动态手势动作中的有意识动作与无意识动作，便于准确地判定动态手势动作的交互意图；而且仅仅识别有效轨迹段内的手势动作，还能减少图像识别的运算，也提高手势动作识别的数据处理效率。
[0044]进一步的，通过计算曲线运动轨迹上的运动点的速度、加速度以及曲率半径等运动状态参数，对这些运动状态参数进行阈值判断，识别曲线运动轨迹的起始段、加速段、转折段和回收段，或者新手势轨迹的起始点等，从而有效识别用户有意识动作与无意识动作。
[0045]更进一步的，本申请的方案还将有效轨迹段输入至预先训练的SVM轨迹模型，利用SVM轨迹模型识别有效轨迹段的起始段、加速段、转折段和/或回收段；上述方案二次验证有效轨迹段的正确性，从而提高曲线运动轨迹分段的正确率。
[0046]本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0047]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0048]图1为本申请一实施例的手势动作识别方法的流程图；
[0049]图2为一实施例的手势骨骼点的示意图；
[0050]图3是一个实施例的手势动作示意图；
[0051]图4是曲线运动轨迹的示意图；
[0052]图5是各个分段对应曲率半径示意图；
[0053]图6是一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势动作识别方法，其特征在于，包括以下步骤：获取至少两个手势图像；确定第一骨骼点在所述至少两个手势图像中的第一位置；根据所述第一位置获取所述第一骨骼点的曲线运动轨迹；根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段；根据所述有效轨迹段进行语义翻译得到手势动作识别结果。2.根据权利要求1所述的手势动作识别方法，其特征在于，在获取至少两个手势图像之前，还包括：获取终端设备前方区域的至少两个图像；分别从所述图像中识别至少两个骨骼点，并获取所述至少两个骨骼点在对应图像中的位置信息；根据所述位置信息确定所述图像对应的手势类型；在所述至少两个图像为相同的手势类型时，确定所述至少两个图像为所述手势图像。3.根据权利要求1所述的手势动作识别方法，其特征在于，根据所述有效轨迹段进行语义翻译得到手势动作识别结果，包括：对所述有效轨迹段进行动态手势语义识别，确定所述有效轨迹段对应的动态轨迹类型；对所述手势图像的骨骼点进行静态手势语义识别，确定所述手势图像对应的静态手势类型；根据所述动态轨迹类型和静态手势类型获取手势动作识别结果。4.根据权利要求1所述的手势动作识别方法，其特征在于，所述根据所述曲线运动轨迹上的运动状态参数，确定所述曲线运动轨迹中的有效轨迹段包括：计算曲线运动轨迹上的运动点的运动状态参数；对所述运动点的运动状态参数进行阈值判断，将满足所述阈值条件的运动点对应的轨迹分段确定为有效轨迹段。5.根据权利要求4所述的手势动作识别方法，其特征在于，所述运动状态参数包括曲线运动轨迹的运动点的速度、加速度，以及曲线运动轨迹在该运动点处的曲率半径。6.根据权利要求5所述的手势动作识别方...

【专利技术属性】
技术研发人员：黄凯琪，
申请(专利权)人：广州视享科技有限公司，
类型：发明
国别省市：