实时手势识别方法及系统技术方案

本发明专利技术公开了实时手势识别方法及系统。方法主要步骤为：1)建立手势分类模型。2)从智能终端实时采集手势的运动传感数据。3)服务器端对运动传感数据进行预处理，得到合加速度数据。4)对预处理后的合加速度数据进行手势分割，实时分割为手势段，并提取手势的特征数据。5)将手势的特征数据输入到手势分类模型中，实时识别手势，得到手势识别结果。系统主要包括智能终端和服务器。本发明专利技术提出的基于自适应滑动窗口的手势分段方法可以迅速而准确地将连续手势分割为单独的有效手势，提高了手势识别的准确率和速度。

Real-time gesture recognition method and system

【技术实现步骤摘要】
实时手势识别方法及系统
本专利技术涉及人机交互领域，具体是实时手势识别方法及系统。
技术介绍
在现代人们的生活中，无时不刻不在与各种各样的电子设备进行交互。然而当前的交互方式还存在一定的弊端，不能够完全满足人们增加的交互体验的需求。最初的人机交互需要遥控器、鼠标、键盘等专门的硬件控制设备进行控制，脱离了它们就无法进行交互，给人机交互带来了很大的限制。通过语音发送指令对各种设备进行控制在最近几年兴起，但是也遇到了方言难以识别的难题。通过识别手势与机器进行交互是现在研究的热点，目前最流行的是通过图像信息进行手势识别，但由于摄像头的限制，只能在有摄像头的地方进行识别和交互。现有一些研究致力于利用运动传感器采集手势运动信息，然后提取手势的特征数据，通过机器学习方法来识别手势。这种方法存在的主要问题是：(1)手势识别的准确率不是很高，特别是相近手势的识别效果不是很好，而且容易受噪声手势的影响；(2)不同人的手势幅度、力度不同，造成的因人而异的手势识别结果；(3)手势识别的实时性仍然很难满足人们对于实时交互的需求，手势识别需要花费很长的处理时间。
技术实现思路
本专利技术的目的是解决现有技术中存在的问题。为实现本专利技术目的而采用的技术方案是这样的，实时手势识别方法，主要包括以下步骤：1)建立手势分类模型，并存储在服务器端。建立手势分类模型的主要步骤如下：1.1)获取训练样本数据，主要步骤如下：1.1.1)利用智能终端的运动传感器采集n个测试者的运动传感数据，记为数据集B＝[B1，B2，…，Bh，…，Bm]。Bh表示一组运动传感数据。所述运动传感器主要包括三轴加速度传感器和三轴陀螺仪传感器。所述运动传感数据主要包括三轴加速度数据、三轴陀螺仪数据和运动时间。1.1.2)智能终端将采集到的运动传感数据发送至服务器端。1.1.3)服务器端对每组运动传感数据进行预处理，即分别截断三轴加速度数据和三轴陀螺仪数据两端的无效数据，从而将加速度数据和陀螺仪数据根据时间信息处理为相同长度，从而得到预处理后的运动传感数据。1.1.4)分别计算预处理后的每组运动传感数据的合加速度a，并存入数据集A中。合加速度a如下所示：式中，x、y和z分别为三轴加速度传感器的三个轴的数据。1.1.5)基于数据集A，建立训练集D和测试集，并为训练集D的数据打上标签。1.2)将训练集D的数据和标签输入分类器中，迭代训练学习参数。1.3)将测试集的数据输入到手势分类模型中，对手势分类模型进行测试，并根据测试结果调整学习参数。2)从智能终端实时采集手势的运动传感数据，并上传至服务器端。3)服务器端对运动传感数据进行预处理，得到合加速度数据。4)对预处理后的合加速度数据进行手势分割，实时分割为手势段，并提取手势的特征数据。手势特征数据主要包括时域特征和小波能量特征。其中，时域特征主要包括最大值、最小值、平均值、均方根、平均绝对偏差、众数、极差、相关系数、四分位距、偏度和峰度。对预处理后的合加速度数据进行手势分割的主要步骤如下：4.1)对预处理后的合加速度数据集进行归一化处理，归一化后的合加速度数据集记为S(t)，并将数据集S(t)的波形统一转换为矩形波。其中，转换阈值记为Tr。其中，数据集S(t)如下所示：4.2)分别将数据集S(t)中数值改变的点标记为Q(i),Q(i+1),...,Q(i+n)n＝0,1,2,…。4.3)确定自适应窗口大小，即确定每个手势数据段的分割长度。分割长度window(i+n)如下所示：window(i+n)＝Q(i+n+2)-Q(i+n)。(3)4.4)确定自适应步长的大小step(i+n)，即：step(i+n)＝Q(i+n+1)-Q(i+n)。(4)4.5)根据自适应窗口大小window(i+n)和自适应步长step(i+n)，对数据集S(t)进行分割。5)将手势的特征数据输入到手势分类模型中，实时识别手势，得到手势识别结果。基于实时手势识别方法的系统，主要包括智能终端和服务器。所述智能终端具有运动传感器。所述智能终端主要包括智能手环、智能手表和智能手套。所述运动传感器实时采集用户的运动传感数据，并上传至服务器端。所述服务器端存储有手势分类模型。所述服务器端对运动传感数据进行预处理，得到合加速度数据a。合加速度a如下所示：式中，x、y和z分别为三轴加速度传感器的三个轴的数据。所述服务器端对预处理后的合加速度数据进行手势分割，实时分割为手势段，并提取手势的特征数据。所述服务器端将手势的特征数据输入到手势分类模型中，实时识别手势，得到手势识别结果。本专利技术的技术效果是毋庸置疑的。本专利技术提出的基于自适应滑动窗口的手势分段方法可以迅速而准确地将连续手势分割为单独的有效手势，提高了手势识别的准确率和速度。并且基于不同手势初始化不同的阈值，可以适应不同人的手势幅度和力度，提高模型的鲁棒性。附图说明图1为手势识别方法步骤框图；图2为手势信号整形波形示意图；图3为手势自适应分段方法示意图。具体实施方式下面结合实施例对本专利技术作进一步说明，但不应该理解为本专利技术上述主题范围仅限于下述实施例。在不脱离本专利技术上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本专利技术的保护范围内。实施例1：参见图1至图3，实时手势识别方法，主要包括以下步骤：1)建立手势分类模型，并存储在服务器端。建立手势分类模型的主要步骤如下：1.1)获取训练样本数据，主要步骤如下：1.1.1)利用智能终端的运动传感器采集n个测试者的运动传感数据，记为数据集B＝[B1，B2，…，Bh，…，Bm]。Bh表示一组运动传感数据。所述运动传感器主要包括三轴加速度传感器和三轴陀螺仪传感器。所述运动传感数据主要包括三轴加速度数据、三轴陀螺仪数据和运动时间。1.1.2)智能终端将采集到的运动传感数据通过蓝牙发送至服务器端。服务器端为具有数据存储和处理功能的手机或电脑。1.1.3)服务器端对每组运动传感数据进行预处理：剔除不完整的数据记录，将加速度计的数值和陀螺仪的数据合并为六轴的原始数据。根据采集数据时记录的时间信息，将加速度计和陀螺仪的数值对齐，截取为相同长度，从而得到预处理后的运动传感数据。1.1.4)分别计算预处理后的每组运动传感数据的合加速度a，并存入数据集A中。合加速度a如下所示：式中，x、y和z分别为三轴加速度传感器的三个轴的数据。x表示三轴加速度传感器的X轴上的加速度数据，y表示三轴加速度传感器的Y轴上的加速度数据，z表示三轴加速度传感器的Z轴上的加速度数据。1.1.5)基于数据集A，建立训练集D和测试集，并为训练集D的数据打上标签。打标签的方法为：在采集手势传感数据的时候，同时利用相机记录下手势采集的视频信息，对比视频信息和运动传感数据对手势数据进行标记，以保证训练出高质量的模型。1.2)将训练集D的数据和标签输入分类器中，迭代训练学习参数。1.3)将由训练样本产生的手势特征值和相对应的手动标记的标签作为输入样本输入分类器进行学习，分类器利用梯度下降算法进行参数更新学习，不断减小目标函数的数值。当目标函数的数值小到可以达到准确率要求的时候，模型训练结束，得到训练好的分类模型。2)从智能终端实时采集手势的运动传感数据，并上传至服务器端。3)服务器端对运动传本文档来自技高网...

【技术保护点】
1.实时手势识别方法，其特征在于，主要包括以下步骤：1)建立手势分类模型，并存储在所述服务器端；2)从智能终端实时采集手势的运动传感数据，并上传至服务器端。3)服务器端对运动传感数据进行预处理，得到合加速度数据；4)对预处理后的合加速度数据进行手势分割，实时分割为手势段，并提取手势的特征数据；5)将手势的特征数据输入到手势分类模型中，实时识别手势，得到手势识别结果。

【技术特征摘要】
1.实时手势识别方法，其特征在于，主要包括以下步骤：1)建立手势分类模型，并存储在所述服务器端；2)从智能终端实时采集手势的运动传感数据，并上传至服务器端。3)服务器端对运动传感数据进行预处理，得到合加速度数据；4)对预处理后的合加速度数据进行手势分割，实时分割为手势段，并提取手势的特征数据；5)将手势的特征数据输入到手势分类模型中，实时识别手势，得到手势识别结果。2.根据权利要求1所述的实时手势识别方法，其特征在于，建立手势分类模型的主要步骤如下：1)获取训练样本数据，主要步骤如下：1.1)利用智能终端的运动传感器采集n个测试者的运动传感数据，记为数据集B＝[B1，B2，…，Bh，…，Bm]；Bh表示一组运动传感数据；所述运动传感器主要包括三轴加速度传感器和三轴陀螺仪传感器；所述运动传感数据主要包括三轴加速度数据、三轴陀螺仪数据和运动时间；1.2)智能终端将采集到的运动传感数据发送至服务器端；1.3)服务器端对每组运动传感数据进行预处理，即分别截断三轴加速度数据和三轴陀螺仪数据两端的无效数据，从而将加速度数据和陀螺仪数据根据时间信息处理为相同长度，从而得到预处理后的运动传感数据；1.4)分别计算预处理后的每组运动传感数据的合加速度a，并存入数据集A中；合加速度a如下所示：式中，x、y和z分别为三轴加速度传感器的三个轴的数据；1.5)基于数据集A，建立训练集D和测试集，并为训练集D的数据打上标签；2)将训练集D的数据和标签输入分类器中，迭代训练学习参数；3)将测试集的数据输入到手势分类模型中，对手势分类模型进行测试，并根据测试结果调整学习参数。3.根据权利要求1或2所述的实时手势识别方法，其特征在于，手势特征数据主要包括时域特征和小波能量特征；其中，时域特征主要包括最大值、最小...

【专利技术属性】
技术研发人员：李艳德，刘礼，王泰乾，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50