手势识别方法技术

本申请涉及图像处理领域，提供一种手势识别方法

【技术实现步骤摘要】
手势识别方法、装置、设备及计算机程序产品


[0001]本申请涉及图像处理领域，具体涉及一种手势识别方法
、
装置
、
设备及计算机程序产品
。

技术介绍

[0002]现有的手势识别方案主要存在以下四个缺点：
1、
基于传统非深度学习的方法，模型准确性与识别率相对欠佳，目前已基本被深度学习所取代；
2、
基于深度图像的方法，数据输入需要同时输入
RGB(
红绿蓝
)
和深度图像，该方式需要依赖额外设备来获取深度图像；
3、
基于深度学习中网络非轻量级的方法，这些深度学习网络模型有大量参数，模型计算时间相对较长，不利于网络模型的实时应用；
4、
基于模型输出为三维
(
三维
)
手势的方法
。
大多数当前的三维手势估计模型依赖于专用深度感应相机或专用大量硬件支持来处理高计算和内存需求，然而，这些要求阻碍了这些模型在移动设备或其他嵌入式计算环境中的实际应用
。
且现有技术方案中没有能够同时输出二维和三维的手势姿态的方法
。

技术实现思路

[0003]本申请实施例提供一种手势识别方法
、
装置
、
设备及计算机程序产品，用以解决现有手势识别方案存在手势识别不准确的技术问题
。
[0004]第一方面，本申请实施例提供一种手势识别方法，包括：
[0005]通过轻量级网络对待检测图像进行特征提取，得到特征向量；
[0006]基于所述特征向量确定二维手势关键点；
[0007]基于适应性图卷积网络和所述二维手势关键点，预测得到三维手势关键点
。
[0008]在一个实施例中，所述手势识别方法还包括：
[0009]采集手势图像，将所述手势图像转换为固定尺寸的图像；
[0010]对所述固定尺寸的图像进行标签标注得到样本图像，根据预设比例将所述样本图像转变为图像数据集，所述图像数据集包括训练图像集和测试图像集；
[0011]基于所述训练图像集和所述测试图像集，训练所述轻量级网络
。
[0012]在一个实施例中，所述手势识别方法还包括：
[0013]基于编码器和图神经网络的组合对所述二维手势关键点进行检测
。
[0014]在一个实施例中，所述基于所述特征向量确定二维手势关键点之后包括：
[0015]将所述二维手势关键点的初始坐标信息添加到所述特征向量中，获得各所述二维手势关键点的图形数据，所述图形数据包括空间信息和特征信息
。
[0016]在一个实施例中，所述基于适应性图卷积网络和所述二维手势关键点，预测得到三维手势关键点包括：
[0017]将各所述二维手势关键点连接得到输入图，所述输入图具有多个节点和多个输入特征；
[0018]将所述输入图输入适应性图卷积网络，预测得到三维手势关键点
。
[0019]在一个实施例中，所述手势识别方法还包括：
[0020]基于所述二维手势关键点，以及所述三维手势关键点的真值点坐标和预测位置，确定所述三维手势关键点的均方误差损失；
[0021]基于所述均方误差损失确定所述适应性图卷积网络的损失函数
。
[0022]在一个实施例中，所述适应性图卷积网络包括池化层
、
上采样层和解码器，所述手势识别方法还包括：
[0023]在所述池化层各所述节点的数量减少，在所述上采样层各所述节点的数量增加，所述上采样层与所述解码器连接
。
[0024]第二方面，本申请实施例提供一种手势识别装置，包括：
[0025]特征提取模块，用于通过轻量级网络对待检测图像进行特征提取，得到特征向量；
[0026]二维手势关键点确定模块，用于基于所述特征向量确定二维手势关键点；
[0027]三维手势关键点预测模块，用于基于适应性图卷积网络和所述二维手势关键点，预测得到三维手势关键点
。
[0028]第三方面，本申请实施例提供一种设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现第一方面所述的手势识别方法
。
[0029]第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的手势识别方法
。
[0030]本申请实施例提供的手势识别方法
、
装置
、
设备及计算机程序产品，通过
GNN(Graph Neural Networks
，图神经网络
)
来进行手部关键点的建模，与
CNN(Convolutional Neural Network
，卷积神经网络
)
相比，
GNN
能够更好地对关键点之间的联系进行建模，从而提高准确率
。
无论是二维还是三维，手部关键点只有
21
个，因此，最终构成的是一个节点数量为
21
的图
。
小型图能够极大地减少计算量；为了进一步减少计算量，本申请使用
ShufflenetV2(
轻量级网络
)
进行编码，这种轻量级的网络结构可以快速将输入图像转换为具有多个特征的向量，并对二维手部关键点进行初步预测，实现准确的预测；由于
GNN
的邻接矩阵无法学习，直接使用
GNN
来进行预测，如果一个节点预测错误，就可能导致出现两个不同的子图
。
为了解决该问题，本申请应用
Adaptive Graph U
‑
Net(
自适应图网络
)
来基于二维手部关键点预测三维手部关键点
。Adatpvie Graph U
‑
Net
将邻接矩阵变为网络中可以学习的参数，使网络自己学习出邻接矩阵，令网络的预测结果更加鲁棒；本申请同时预测出手部的二维和三维坐标，可以用来满足不同应用的需求
。
附图说明
[0031]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0032]图1是本申请实施例提供的手势识别方法的流程示意图；
[0033]图2是本申请实施例提供的手势识别装置的结构示意图；
[0034]图3是本申请实施例提供的电子设备的结构示意图
。
具体实施方式
[0035]为使本申请的目的
、
技术方案和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手势识别方法，其特征在于，包括：通过轻量级网络对待检测图像进行特征提取，得到特征向量；基于所述特征向量确定二维手势关键点；基于适应性图卷积网络和所述二维手势关键点，预测得到三维手势关键点
。2.
根据权利要求1所述的手势识别方法，其特征在于，所述手势识别方法还包括：采集手势图像，将所述手势图像转换为固定尺寸的图像；对所述固定尺寸的图像进行标签标注得到样本图像，根据预设比例将所述样本图像转变为图像数据集，所述图像数据集包括训练图像集和测试图像集；基于所述训练图像集和所述测试图像集，训练所述轻量级网络
。3.
根据权利要求1所述的手势识别方法，其特征在于，所述手势识别方法还包括：基于编码器和图神经网络的组合对所述二维手势关键点进行检测
。4.
根据权利要求1所述的手势识别方法，其特征在于，所述基于所述特征向量确定二维手势关键点之后包括：将所述二维手势关键点的初始坐标信息添加到所述特征向量中，获得各所述二维手势关键点的图形数据，所述图形数据包括空间信息和特征信息
。5.
根据权利要求1所述的手势识别方法，其特征在于，所述基于适应性图卷积网络和所述二维手势关键点，预测得到三维手势关键点包括：将各所述二维手势关键点连接得到输入图，所述输入图具有多个节点和多个输入特征；将所述输入图输入适应性图卷积网...

【专利技术属性】
技术研发人员：钮成明，黄焕辉，冯杰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：