一种动态手势识别方法及设备技术

本发明专利技术公开了人工智能领域中的一种动态手势识别方法及设备，涉及人工智能AI领域。该动态手势识别方法包括：获取包含手势动作的多张图像；通过手势识别模型识别多张图像，得到多张图像中手势动作的类型和属性，该属性包括去程和回程。上述方法能够提高识别精度。上述方法能够提高识别精度。上述方法能够提高识别精度。

【技术实现步骤摘要】
一种动态手势识别方法及设备


[0001]本申请涉及人工智能(artificial intelligence，AI)领域，特别涉及一种动态手势识别方法及设备。

技术介绍

[0002]手势是一种富有表现力的身体动作，能够传达各种有意义的信息。动态手势识别一直是深度学习领域的研究热点之一，作为一种新兴的人机交互(human-computer interaction，HCI)方式，动态手势识别在虚拟现实、智能家居、儿童早教、医用机器人等众多领域具有广阔的应用前景。在动态手势识别中，当用户要往一个方向连续挥动手势的时候，一定会往另一个方向回到起点，这就是手势回程，手势回程容易导致终端设备对手势方向的误判情况出现。例如，用户需要连续向右挥动两次手势，第二次挥动的时候需要将手返回至第一次挥动的起点重新挥动，在返回的过程中，终端设备很容易将其判断成向左的手势。
[0003]因此，如何实现对手势动作进行准确的识别是目前亟待解决的问题。

技术实现思路

[0004]本申请实施例提供一种动态手势识别方法及设备，可以提高识别精度。
[0005]第一方面，本申请实施例提供一种动态手势识别方法，包括：获取包含手势动作的多张图像；通过手势识别模型识别所述多张图像，得到所述多张图像中手势动作的类型和属性，所述属性包括去程和回程。
[0006]在本申请提供的方案中，利用手势识别模型识别包含手势动作的多张图像，可以得到所述多张图像中手势动作的类型和属性，进而根据得到的多张图像中手势动作的类型和属性进行对应的操作，可以避免因回程问题造成的终端对手势误判的情况。
[0007]在一种可能的实现方式中，获取多个携带标注信息的样本图像，所述样本图像为包含手势动作的多张图像，所述标注信息包括所述样本图像中手势动作的类型和属性；根据所述多个携带标注信息的样本图像对初始手势识别模型进行训练得到所述手势识别模型。
[0008]在本申请提供的方案中，可以提前获取样本图像中记录的手势动作在样本图像中的类型和属性，然后利用多个携带类型和属性的样本图像对初始手势识别模型进行训练，以使得训练完成的手势识别模型具备识别多张图像中记录的手势动作的类型和属性的能力，这样可以对输入手势识别模型的多张图像进行识别，从而可以输出多张图像中记录的手势动作的类型和属性。
[0009]在一种可能的实现方式中，所述手势识别模型包括空间特征模块、时域特征模块和分类模块；所述通过手势识别模型识别所述多张图像，得到所述多张图像中手势动作的类型和属性，包括：将所述多张图像输入所述空间特征模块，得到第一特征数据，所述第一特征数据包括所述多张图像中手势动作的空间特征；将所述第一特征数据输入所述时域特
征模块，得到第二特征数据，所述第二特征数据包括所述第一特征数据在时间维度上的时域特征；将所述第二特征数据输入所述分类模块，得到所述多张图像中手势动作的类型和属性。
[0010]在本申请提供的方案中，通过手势识别模型的空间特征模块对输入的多张图像进行空间特征提取之后，得到第一特征数据，手势识别模型的时域特征模块提取多张图像针对第一特征数据在时间维度上的时域特征，最后输入手势识别模型的分类模块，得到所述多张图像中手势动作的类型和属性。
[0011]在一种可能的实现方式中，所述时域特征模块包括维度变换层、卷积层、批量标准化(batch normalization，BN)层、线性修正单元(rectified linear unit，ReLu)层、最大池化层和特征联合层；所述将所述第一特征数据输入所述时域特征模块，得到第二特征数据，所述第二特征数据包括所述第一特征数据在时间维度上的时域特征，包括：按照所述多张图像的时间信息通过所述维度变换层确定所述第一特征数据在时间维度上对应的第一时域特征数据；通过所述卷积层对所述第一时域特征数据进行卷积处理，得到第二时域特征数据；将所述第二时域特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，获得所述第二特征数据。
[0012]在本申请提供的方案中，所述时域特征模块的维度变换层按照多张图像中各张图像的时间信息，确定所述多张图像对应的第一特征数据中位置相同的像素点在时间维度上对应的第一时域特征数据，所述时域特征模块的卷积层对所述第一特征数据进行卷积处理，得到对应的第二时域特征数据，将所述第二时域特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，获得所述第二特征数据。
[0013]在一种可能的实现方式中，所述通过卷积层对所述第一时域特征数据进行卷积处理，得到第二时域特征数据包括：使用第一预设数量个卷积核大小不同的一维卷积层对所述第一时域特征数据进行卷积处理，得到第二时域特征数据，所述第二时域特征数据包括第一预设数量个不同尺度的特征数据；所述将所述第二时域特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，获得所述第二特征数据包括：将所述第一预设数量个不同尺度的特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，得到所述第二特征数据。
[0014]在本申请提供的方案中，针对所述第一时域特征数据，所述时域特征模块的卷积层用第一预设数量个卷积核大小不同的一维卷积层对第一时域特征数据进行卷积处理，得到第一预设数量个不同尺度的特征数据，所述特征数据经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，所述特征联合层融合第一时域特征数据对应的第一预设数量个不同尺度的特征数据，得到所述第一特征数据对应的第二特征数据。使用一维卷积层可以有效降低计算量，提高时域特征模块的卷积层的处理效率。
[0015]在一种可能的实现方式中，所述手势识别模型还包括第一分类器和第二分类器，所述将所述第二特征数据输入所述分类模块，得到所述多张图像中手势动作的类型和属性包括：将所述第二特征数据输入所述第一分类器，得到所述多张图像中的手势动作属于每个类型的第一概率；将第一手势动作归类至所述第一手势动作对应的第一概率最大的类型，所述第一手势动作为所述多张图像中的手势动作中的任一手势动作；将所述第二特征数据输入所述第二分类器，得到所述多张图像中的手势动作属于每个属性的第二概率；将
所述第一手势动作归类至所述第一手势动作对应的第二概率最大的属性。
[0016]在本申请提供的方案中，将所述第二特征数据输入已训练好的第一分类器和第二分类器，得到手势动作属于每个类型的第一概率和属于每个属性的第二概率，将第一手势动作归类至所述第一手势动作对应的第一概率最大的类型和第二概率最大的属性。
[0017]在一种可能的实现方式中，所述获取包含手势动作的多张图像包括：获取待识别视频；从所述待识别视频中每间隔第二预设数量张图像抽取一张图像，得到包括包含手势动作的多张图像。
[0018]在本申请提供的方案中，获取待识别视频，按待识别视频中图像的时序，从待识别视频中每间隔第二预设数量张图像抽取一张图像，在抽取的图像张的数量达到第三预设数量的情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态手势识别方法，其特征在于，包括：获取包含手势动作的多张图像；通过手势识别模型识别所述多张图像，得到所述多张图像中手势动作的类型和属性，所述属性包括去程和回程。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多个携带标注信息的样本图像，所述样本图像为包含手势动作的多张图像，所述标注信息包括所述样本图像中手势动作的类型和属性；根据所述多个携带标注信息的样本图像对初始手势识别模型进行训练得到所述手势识别模型。3.根据权利要求1所述的方法，其特征在于，所述手势识别模型包括空间特征模块、时域特征模块和分类模块；所述通过手势识别模型识别所述多张图像，得到所述多张图像中手势动作的类型和属性，包括：将所述多张图像输入所述空间特征模块，得到第一特征数据，所述第一特征数据包括所述多张图像中手势动作的空间特征；将所述第一特征数据输入所述时域特征模块，得到第二特征数据，所述第二特征数据包括所述第一特征数据在时间维度上的时域特征；将所述第二特征数据输入所述分类模块，得到所述多张图像中手势动作的类型和属性。4.根据权利要求3所述的方法，其特征在于，所述时域特征模块包括维度变换层、卷积层、批量标准化BN层、修正线性单元ReLu层、最大池化层和特征联合层；所述将所述第一特征数据输入所述时域特征模块，得到第二特征数据，所述第二特征数据包括所述第一特征数据在时间维度上的时域特征，包括：按照所述多张图像的时间信息通过所述维度变换层确定所述第一特征数据在时间维度上对应的第一时域特征数据；通过所述卷积层对所述第一时域特征数据进行卷积处理，得到第二时域特征数据；将所述第二时域特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，获得所述第二特征数据。5.根据权利要求4所述的方法，其特征在于，所述通过卷积层对所述第一时域特征数据进行卷积处理，得到第二时域特征数据包括：使用第一预设数量个卷积核大小不同的一维卷积层对所述第一时域特征数据进行卷积处理，得到第二时域特征数据，所述第二时域特征数据包括第一预设数量个不同尺度的特征数据；所述将所述第二时域特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，获得所述第二特征数据包括：将所述第一预设数量个不同尺度的特征数据依次经过所述BN层、所述ReLu层、所述最大池化层和所述特征联合层，得到所述第二特征数据。6.根据权利要求3-5任一项所述的方法，其特征在于，所述手势识别模型还包括第一分类器和第二分类器，所述将所述第二特征数据输入所述分类模块，得到所述多张图像中手
势动作的类型和属性包括：将所述第二特征数据输入所述第一分类器，得到所述多张图像中的手势动作属于每个类型的第一概率；将第一手势动作归类至所述第一手势动作对应的第一概率最大的类型，所述第一手势动作为所述多张图像中的手势动作中的任一手势动作；将所述第二特征数据输入所述第二分类器，得到所述多张图像中的手势动作属于每个属性的第二概率；将所述第一手势动作归类至所述第一手势动作对应的第二概率最大的属性。7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取包含手势动作的多张图像包括：获取待识别视频；从所述待识别视频中每间隔第二预设数量张图像抽取一张图像，得到包括包含手势动作的多张图像。8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：在所述多张图像中手势动作的属性为去程的情况下，执行所述手势动作的类型对应的功能。9.一种动态手势识别装置，其特征在于，包括：第一获取单元，用于获取包含手势动作的多张图像；识别单元，用于通过手势识别模型识别所述多张图像，得到所述多张图像中手势动作的类型和属性，所述属性包括去程和回程。10.根据权利要求9所述的装置，其特征在...

【专利技术属性】
技术研发人员：吴觊豪，马杰延，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：