一种基于循环神经网络的手势前置实时识别方法技术

本发明专利技术公开了一种基于循环神经网络的手势前置实时识别方法，包括以下步骤：A、离线建模阶段：leap motion采集手势数据，对采集到的数据进行预处理后提取手势特征，获得手势的特征序列，将手势特征序列和手势类型输入长短时记忆神经网络LSTM训练获得手势分类器。B、在线手势前置识别阶段：leap motion实时采集手势数据，处理手势数据，计算当前时间节点的手势特征，加入特征序列，将当前时间节点获得特征序列输入手势分类器，如果分类器输出预测概率大于95％，将此概率对应手势类型作为结果输出。利用本发明专利技术，可以做到与人的视觉类似的动态识别和提前预测能力，不需要等待手势全部完整表达完就可以实时识别出用户试图表达的手势类型，效果理想。

【技术实现步骤摘要】
一种基于循环神经网络的手势前置实时识别方法
本专利技术属于人机交互
，尤其是涉及一种基于循环神经网络的手势前置实时识别方法。
技术介绍
手势是一种很自然且直观的交互手段，人类经常有意识或无意识地使用手势来表达和传递信息。在如今的信息时代，各种智能设备的出现和普及对人机交互技术提出了更高的要求，传统的键鼠交互很难适应越来越复杂的应用场景，手势交互正是在这样一种需求下为人们所重视。手势交互天生具有便捷、自然、表意丰富直接等优势，是人与机器交流的优秀接口。在手势识别的实现上，手势识别系统可分为基于接触的系统和基于视觉的系统。基于接触的系统通常利用物理交互获取人体的运动特征，比如数据手套、加速度传感器、多点触摸屏等等。它的优势在于可以快速直接地获得用户数据，在很多领域也得到了广泛的应用，比如智能手机、平板等智能设备都普遍使用多点触摸屏来获取用户手势输入，特别是当下全面屏手机的推广，手机越来越依赖手势交互。基于视觉的系统通常使用一个或多个摄像头捕获人体运动信息并进行分析以获得手势。早期的视觉系统经常使用标记物来定位手部，现在基本摆脱物理外设本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络的手势前置实时识别方法，其特征在于，包括离线建模阶段和在线手势前置识别阶段，具体步骤如下：/nA、离线建模阶段/n(1)采集手势数据，并对采集到的数据进行预处理；/n(2)选择B样条曲线拟合方程参数和角点信息作为手势特征进行提取，获得手势的特征序列；/n(3)构建长短时记忆神经网络LSTM，将手势特征序列和对应的手势类型输入长短时记忆神经网络LSTM进行训练，获得神经网络模型作为手势分类器；/nB、在线手势前置识别阶段/n(4)实时采集待识别的手势数据；/n(5)对待识别手势数据进行实时处理，计算当前时间节点的手势特征，得到当前时间节点的手势特征序列；/n(6)将当前时...

【技术特征摘要】
1.一种基于循环神经网络的手势前置实时识别方法，其特征在于，包括离线建模阶段和在线手势前置识别阶段，具体步骤如下：
A、离线建模阶段
(1)采集手势数据，并对采集到的数据进行预处理；
(2)选择B样条曲线拟合方程参数和角点信息作为手势特征进行提取，获得手势的特征序列；
(3)构建长短时记忆神经网络LSTM，将手势特征序列和对应的手势类型输入长短时记忆神经网络LSTM进行训练，获得神经网络模型作为手势分类器；
B、在线手势前置识别阶段
(4)实时采集待识别的手势数据；
(5)对待识别手势数据进行实时处理，计算当前时间节点的手势特征，得到当前时间节点的手势特征序列；
(6)将当前时间节点的手势特征序列输入至训练得到的手势分类器；若手势分类器输出预测概率大于95％，将此概率对应手势类型作为结果输出，完成手势的实时识别。


2.根据权利要求1所述的基于循环神经网络的手势前置实时识别方法，其特征在于，步骤(1)中，所述的预处理为：采用低通滤波对采集的手势坐标序列进行卷积核为[111]*1/3的一维卷积以消除一部分高频信息，从而消除徒手凌空手势因手臂疲劳造成的抖动。


3.根据权利要求1所述的基于循环神经网络的手势前置实时识别方法，其特征在于，步骤(2)中，选取的手势特征应满足连续性、整体性和实时性要求，选取B样条曲线拟合的曲线方程一次项系数a1、b1，a1、b1的比值g1，二次项系数a2、b2，a2、b2的比值g2以及手势曲线的角点特征g3共7个特征值作为手势特征。


4.根据权利要求3...

【专利技术属性】
技术研发人员：张弛，万华根，韩晓霞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33