一种手势识别系统、方法及计算设备技术方案

本申请提供了一种手势识别系统、方法及计算设备，涉及人工智能(artificial intelligence，AI)、计算机视觉及图像处理技术领域。该系统包括：可穿戴设备、拍摄设备和计算设备。其中，可穿戴设备用于采集用户手部运动产生的数值信号；拍摄设备采集用于用户手部在运动时的视频图像序列；计算设备用于对采集的数值信号和视频图像序列特征融合，识别用户在运动时的手势。该系统中计算设备融合用户手部运动时的数值信号和视频图像序列识别用户手部的手势，解决了现有技术中单一根据数值信号或视频图像进行手势识别时准确性低的问题。或视频图像进行手势识别时准确性低的问题。或视频图像进行手势识别时准确性低的问题。

【技术实现步骤摘要】
一种手势识别系统、方法及计算设备


[0001]本申请涉及人工智能(artificial intelligence，AI)、计算机视觉及图像处理
，尤其涉及一种用户手势识别系统、方法及计算设备。

技术介绍

[0002]人机交互是一门涉及多学科交叉的科学，是人与机器交流的桥梁。在人机交互的相关技术中，手势交互是最为直观与自然、学习成本低的交互方式。在手势交互领域中，智能感知手势大量应用于家庭娱乐和车载系统等场景中，使得人与机器的交互更加直接和自然。
[0003]目前，现有技术中的手势识别方案通常分为两种，一种是基于摄像头采集的用户手部的视频图像进行识别多帧图像中的手势。由于摄像头在一些环境下采集的视频图像存在一定的缺陷，使得此种方法在识别手势时存在准确率低问题；例如，摄像头采集视频图像时容易受到光线的影响，当光线变化过大时，导致采集的视频图像会出现模糊的情形；再有，当用户手部运动过快，而摄像头的采集频率与之不匹配时，也容易采集到不够清晰的视频图像；此外，视频图像还缺少用户手部的深度信息，无法知道图像中像素的深度值，在识别手部翻转的动作或其他用户手部沿摄像头轴向的动作时准确率较低。
[0004]另一种是通过可穿戴设备中传感器采集的用户手部的数值信号进行识别。无法避免的，传感器采集的数据和真实数据之间存在一定的误差，影响手势识别的准确性；另外，可穿戴设备中一般只配置有陀螺仪传感器或加速度传感器，无法采集手部的运动速度，而在低速和匀速操作中陀螺仪和加速度传感器的灵敏度不高，使得手势识别时的精度较低。/>
技术实现思路

[0005]本申请实施例提供了一种用户手势识别系统、方法及计算设备，融合采集的手部的数值信号和视频图像进行手势识别，解决现有技术中手势识别准确性低的问题。
[0006]第一方面，本申请实施例提供了一种手势识别系统，该手势识别系统包括：可穿戴设备、拍摄设备和计算设备；
[0007]可穿戴设备用于采集当前时段用户手部的数值信号；
[0008]拍摄设备用于采集当前时段用户手部的视频图像序列；
[0009]计算设备用于获取数值信号和视频图像序列、将数值信号编码成二维图像、以及根据二维图像和视频图像序列识别用户在当前时段的手势。
[0010]本申请实施例中，通过对手部运动时的数值信号进行编码转换成二维图像，然后和视频图像序列进行融合识别用户的手势，利用数值信号弥补视频图像序列缺少深度信号和图像易模糊的不足，同时，利用视频图像序列弥补数值信号在低速和匀速环境下的不足，提高手势识别的准确率。
[0011]在一种实施方式中，可穿戴设备还用于采集当前时段用户手部的数值信号，根据二维图像和视频图像序列识别用户在当前时段的手势包括：
[0012]根据视频图像序列、可穿戴设备采集的数值信号对应的二维图像和拍摄设备采集的数值信号对应的二维图像识别用户在当前时段的手势。
[0013]本申请实施例中，利用拍摄设备采集用户手部运动时的数值信号，进一步增强了手势识别的准确性。
[0014]在一种实施方式中，计算设备具体用于：
[0015]将数值信号中各信号值分别编码成一维向量；其中，各信号值包括同一数值信号中不同时刻的信号值；
[0016]以时间顺序排列各信号值对应的一维向量，获得数值信号对应的二维图像。
[0017]本实施例中，计算设备先数值信号中各个信号值分别转换为一维向量，然后按时间顺序排序，即可获得需要的二维图像。
[0018]在一种实施方式中，计算设备还用于：
[0019]根据信号值和一维向量中各元素对应的取值范围，确定信号值对应的一维向量。
[0020]在一种实施方式中，计算设备还用于：
[0021]基于分布函数对数值信号中各信号值对应的一维向量进行平滑处理。
[0022]本申请实施例中，采用分布函数平滑一维向量，减小数值信号中采集值和实际值之前的误差，增强识别准确性。
[0023]在一种实施方式中，计算设备还用于包括：
[0024]提取二维图像和视频图像序列的特征并进行特征融合；
[0025]根据融合后的特征确定用户在当前时段的手势。
[0026]本申请实施例中，对二维图像和视频图像序列进行特征融合，达到优势互补的效果。
[0027]在一种实施方式中，计算设备还用于：
[0028]获取训练样本，并根据训练样本和损失函数，训练卷积神经网络模型，获得手势识别模型；其中，训练样本中包括手部的视频图像序列样本、通过对手部的数值信号进行编码获取的二维图像样本、手势类别标签和手势运动方向类别标签，手势运动方向类别标签基于手势类别标签获得，损失函数中包括手势类别预测损失和手势运动方向预测损失；
[0029]根据二维图像和视频图像序列识别用户在当前时段的手势包括：将二维图像和视频图像序列输入手势识别模型，以识别用户在当前时段的手势。
[0030]本申请实施例中，利用手势类别标签和手势类别标签对应的手势运动方向类别标签对卷积神经网络进行多任务的训练，以增强手势识别模型的准确性，
[0031]在一种实施方式中，可穿戴设备采集的数值信号包括加速度信号、角速度信号和重力加速度信号中的至少一种，计算设备采集的数值信号包括位置信号。
[0032]本申请实施例中，利用计算设备获得手部在图像中的位置信号，进一步加强了手势识别的准确性。
[0033]第二方面，本申请实施例还提供一种手势识别方法，该方法包括：
[0034]获取当前时段用户手部的数值信号和视频图像序列；
[0035]将数值信号编码成二维图像；
[0036]根据二维图像和视频图像序列识别用户在当前时段的手势。
[0037]在一种实施方式中，将数值信号编码成二维图像包括：
[0038]将数值信号中各信号值分别编码成一维向量；其中，各信号值包括同一数值信号中不同时刻的信号值；
[0039]以时间顺序排列各信号值对应的一维向量，获得数值信号对应的二维图像。
[0040]在一种实施方式中，将数值信号中各信号值分别编码成一维向量包括：
[0041]根据信号值和一维向量中各元素对应的取值范围，确定信号值对应的一维向量。
[0042]在一种实施方式中，方法还包括：基于分布函数对数值信号中各信号值对应的一维向量进行平滑处理。
[0043]在一种实施方式中，根据二维图像和视频图像序列识别用户在当前时段的手势包括：
[0044]提取二维图像和视频图像序列的特征并进行特征融合；
[0045]根据融合后的特征确定用户在当前时段的手势。
[0046]在一种实施方式中，方法还包括：
[0047]获取训练样本，并根据训练样本和损失函数，训练卷积神经网络模型，获得手势识别模型；其中，训练样本中包括手部的视频图像序列样本、通过对手部的数值信号进行编码获取的二维图像样本、手势类别标签和手势运动方向类别标签，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别系统，其特征在于，所述手势识别系统包括：可穿戴设备、拍摄设备和计算设备；所述可穿戴设备用于采集当前时段用户手部的数值信号；所述拍摄设备用于采集当前时段用户手部的视频图像序列；所述计算设备用于获取所述数值信号和所述视频图像序列、将所述数值信号编码成二维图像、以及根据所述二维图像和所述视频图像序列识别所述用户在所述当前时段的手势。2.根据权利要求1所述的手势识别系统，其特征在于，所述拍摄设备还用于采集当前时段用户手部的数值信号，所述根据所述二维图像和视频图像序列识别所述用户在所述当前时段的手势包括：根据所述视频图像序列、所述可穿戴设备采集的数值信号对应的二维图像和所述拍摄设备采集的数值信号对应的二维图像识别所述用户在所述当前时段的手势。3.根据权利要求1或2所述的手势识别系统，其特征在于，所述计算设备用于将所述数值信号中各信号值分别编码成一维向量；其中，所述各信号值包括同一数值信号中不同时刻的信号值；以时间顺序排列各信号值对应的一维向量，获得所述数值信号对应的二维图像。4.根据权利要求1
‑
3任一项所述的手势识别系统，其特征在于，所述计算设备还用于：根据所述信号值和一维向量中各元素对应的取值范围，确定所述信号值对应的一维向量。5.根据权利要求1
‑
4任一项所述的手势识别系统，其特征在于，所述计算设备还用于：基于分布函数对所述数值信号中各信号值对应的一维向量进行平滑处理。6.根据权利要求1
‑
5任一项所述的手势识别系统，其特征在于，所述所述计算设备还用于包括：提取所述二维图像和所述视频图像序列的特征并进行特征融合；根据融合后的特征确定所述用户在所述当前时段的手势。7.根据权利要求1
‑
6任一项所述的手势识别系统，其特征在于，所述计算设备还用于：获取训练样本，并根据所述训练样本和损失函数，训练卷积神经网络模型，获得所述手势识别模型；其中，所述训练样本中包括手部的视频图像序列样本、通过对手部的数值信号进行编码获取的二维图像样本、手势类别标签和手势运动方向类别标签，所述手势运动方向类别标签基于手势类别标签获得，所述损失函数中包括手势预测损失和手势运动方向预测损失；所述根据所述二维图像和所述视频图像序列识别所述用户在所述当前时段的手势包括：将所述二维图像和所述视频图像序列输入所述手势识别模型，以识别所述用户在所述当前时段的手势。8.根据权利要求1
‑
7任一项所述的手势识别系统，其特征在于，所述可穿戴设备采集的数值信号包括加速度信号、角速度信号和重力加速度信号中的至少一种，所述计算设备采集的数值信号包括位置信号。9.一种手势识别方法，其特征在于，所述方法包括：获取当前...

【专利技术属性】
技术研发人员：李力骏，林泽一，李志刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：