手势数据采集手套及基于手势数据采集手套的手语手势识别方法技术

本发明专利技术公开手势数据采集手套及基于手势数据采集手套的手语手势识别方法，手套包括手套主体、指套、九轴传感器、弯曲传感器、主控模块、通信模块、连接带；方法步骤为：利用集成学习的方法考虑到机器学习里每一种算法的差异性，改善了单一识别算法不能达到对每一个原子手势最高识别准确率的问题。

【技术实现步骤摘要】
手势数据采集手套及基于手势数据采集手套的手语手势识别方法
本专利技术涉及智能穿戴、人机交互及机器学习
，具体是手势数据采集手套及基于手势数据采集手套的手语手势识别方法。
技术介绍
手势识别是人机交互一个重要的领域，手势的识别不仅可以提高人机之间的语言理解程度和认知水平，还可以通过计算机帮助拥有不同语言体系人群之间的交流，包括听损障碍人群与听力正常人群之间的交流、不同母语人群之间的交流。现有的手势识别设备包括智能手表、智能手环和智能手套等，手表和手环拥有体积小、轻便易携带等优点，但也因为体积较小，所配置的传感器也较少，导致手势识别准确率不高；而传统的智能手套解决了传感器少导致识别准确率低的问题，但却无法克服体积大、佩戴舒适性差以及手指运动不灵活等缺点。
技术实现思路
本专利技术的目的是提供手势数据采集手套，包括手套主体、指套、连接带、陀螺仪、弯曲传感器、主控模块、通信模块、稳压模块。所述手套主体包覆使用者手掌。所述手套主体内侧贴置有陀螺仪、主控模块和通信模块。所述陀螺仪采集使用者手部运动时的陀螺仪传感信号，并发送至主控模块。所述指套包覆使用者手指关节。所述指套内侧贴置有若干弯曲传感器。弯曲传感器和使用者手指关节一一对应。所述弯曲传感器采集使用者手指关节弯曲信号，并发送至主控模块。所述连接带连接手套主体和指套。所述连接带外侧贴置有用于连接弯曲传感器和主控模块的信号线。所述主控模块接收到陀螺仪传感信号、手指关节弯曲信号后，通过通信模块发送至上位机。稳压模块贴置在手套主体内侧。所述稳压模块用于稳定陀螺仪、弯曲传感器、主控模块和通信模块的电压。基于手势数据采集手套的手语手势识别方法，包括以下步骤：1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势。g为正整数。2)在使用者做手势过程中，所述陀螺仪和弯曲传感器分别将采集到的陀螺仪传感信号、手指关节弯曲信号发送至主控模块。主控模块通过通信模块将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机。3)上位机将接收到的陀螺仪传感信号、手指关节弯曲信号存储在传感信号数据集A＝中，并打上手势类别标签。手势类别集合记为G＝{y1,y2,...,yg}。上位机对传感信号数据集A进行预处理。对传感信号数据集A进行预处理的主要步骤如下：3.1)对传感信号进行丢包项删除、异常项删除和冗余数据删除。3.2)利用组均值补全法对传感信号数据集A进行缺失值补全，方法为：以缺失项前j项数据、后j项数据的平均值填充缺失项。j为正整数。3.3)利用滑动平均滤波方法对传感信号数据集A进行数据平滑。平滑后第n组传感信号a[n]如下所示：式中，as[*]表示滤波前的传感信号。M表示传感信号as[*]相邻M项数据。一组传感信号包括同一时间采集的陀螺仪传感信号和弯曲传感信号。4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X1，X2，…，XW]。Xi表示使用者做第i个手势时传感器采集的传感信号数据子集。i＝1,2，…，W。优选的，对预处理后的传感信号数据集A进行时序分割的方法为：利用单变量线性回归和动态规划算法对传感信号数据集A进行时序分割。分割后，每组时序信号的起始点为手势起始标记信号，终止点为手势结束标记信号。手势起始标记信号为使用者做出起始手势时陀螺仪和弯曲传感器采集到的传感信号。手势结束标记信号为使用者做出终止手势时陀螺仪和弯曲传感器采集到的传感信号。使用者在做出任一中文拼音对应的手势前，做出一组起始手势，在做出任一中文拼音对应的手势后，做出一组终止手势。优选的，对传感信号数据集A进行时序分割的方法为：计算t时刻和t-1时刻同类型传感信号的欧几里得距离d，当d>阈值dmax时，则以t时刻作为时序分割点，对传感信号数据集A进行时序分割。传感信号类型包括弯曲、3轴加速度、3轴陀螺仪、3轴磁力计。5)对传感信号数据集X进行特征提取，并建立手势训练数据集C。传感信号的特征包括均值E(X)、均方值E(X2)、方差S2和标准差S。其中，均值E(X)如下所示：均方值E(X2)如下所示：方差S2如下所示：标准差S如下所示：6)利用手势训练数据集C建立手势识别分类器。所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器。建立BP子分类器的主要步骤如下：6.1)初始化BP网络，随机给定隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。6.2)将手势训练数据集C输入到初始化的BP网络中，更新隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。6.3)重复步骤6.2)，直至BP网络参数满足误差要求，得到BP子分类器。7)利用手势识别分类器实时识别使用者当前做出的手势，主要步骤如下：7.1)在陀螺仪、弯曲传感器实时监测使用者当前做出的手势时产生的陀螺仪传感信号和弯曲传感信号，发送至主控模块。主控模块通过通信模块将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机。7.2)上位机对当前接收到的陀螺仪传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取，并将提取到的特征数据集x＝{x1,x2,...,xk}发送至手势识别分类器。7.3)将特征数据集x输入到KNN子分类器，输出待测手势的预测分类结果Q1，主要步骤为：7.3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离，并基于欧式距离对训练样本集元素进行升序排列，得到手势训练数据集C'。7.3.2)提取出手势训练数据集C'前K个元素，并确定K个元素对应的手势类别。7.3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q1。7.4)将特征数据集x输入到朴素贝叶斯子分类器，输出待测手势的预测分类结果Q2，主要方法为：利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x)。以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q2。7.5)将特征数据集x输入到BP子分类器，输出待测手势的预测分类结果Q3。7.6)所述手势识别分类器识别使用者当前手势类别，主要分为以下两种情况：I)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3至少有2个预测分类结果存在重复时，以重复的预测分类结果作为使用者当前手势类别Q。II)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3均不一致时，使用者当前手势类别Q＝Q1u1+Q2u2+Q3u3。其中，u1、u2、u3分别表示KNN子分类器输出的预测分类结果Q1的可信任度、朴素贝叶斯本文档来自技高网...

【技术保护点】
1.手势数据采集手套，其特征在于，包括手套主体、指套、陀螺仪(1)、所述弯曲传感器(2)、主控模块(3)、通信模块(4)、连接带(5)；/n所述手套主体包覆使用者手掌；/n所述手套主体内侧贴置有陀螺仪(1)、主控模块(3)和通信模块(4)；/n所述陀螺仪(1)采集使用者手部运动时的陀螺仪传感信号，并发送至主控模块(3)；/n所述指套包覆使用者手指关节；/n所述指套内侧贴置有若干弯曲传感器(2)；弯曲传感器(2)和使用者手指关节一一对应；/n所述弯曲传感器(2)采集使用者手指关节弯曲信号，并发送至主控模块(3)。/n所述连接带(5)连接手套主体和指套；/n所述连接带(5)外侧贴置有用于连接弯曲传感器(2)和主控模块(3)的信号线；/n所述主控模块(3)接收到陀螺仪传感信号、手指关节弯曲信号后，通过通信模块(4)发送至上位机。/n

【技术特征摘要】
1.手势数据采集手套，其特征在于，包括手套主体、指套、陀螺仪(1)、所述弯曲传感器(2)、主控模块(3)、通信模块(4)、连接带(5)；
所述手套主体包覆使用者手掌；
所述手套主体内侧贴置有陀螺仪(1)、主控模块(3)和通信模块(4)；
所述陀螺仪(1)采集使用者手部运动时的陀螺仪传感信号，并发送至主控模块(3)；
所述指套包覆使用者手指关节；
所述指套内侧贴置有若干弯曲传感器(2)；弯曲传感器(2)和使用者手指关节一一对应；
所述弯曲传感器(2)采集使用者手指关节弯曲信号，并发送至主控模块(3)。
所述连接带(5)连接手套主体和指套；
所述连接带(5)外侧贴置有用于连接弯曲传感器(2)和主控模块(3)的信号线；
所述主控模块(3)接收到陀螺仪传感信号、手指关节弯曲信号后，通过通信模块(4)发送至上位机。


2.根据权利要求1或2所述手势数据采集手套及基于手势数据采集手套的手语手势识别方法，其特征在于，所述陀螺仪(1)为六轴传感器或九轴传感器；
当陀螺仪(1)为六轴传感器时，所述陀螺仪传感信号包括3轴加速度传感信号、3轴陀螺仪传感信号；
当陀螺仪(1)为九轴传感器时，所述陀螺仪传感信号包括3轴加速度传感信号、3轴陀螺仪传感信号和3轴磁力计传感信号。


3.根据权利要求1所述手势数据采集手套及基于手势数据采集手套的手语手势识别方法，其特征在于，还包括贴置在手套主体内侧的稳压模块；所述稳压模块用于稳定陀螺仪(1)、弯曲传感器(2)、主控模块(3)和通信模块(4)的电压。


4.基于权利要求1至3任一项所述手势数据采集手套的手语手势识别方法，其特征在于，包括以下步骤：
1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势；g为正整数；
2)在使用者做手势过程中，所述陀螺仪(1)和弯曲传感器(2)分别将采集到的陀螺仪传感信号、手指关节弯曲信号发送至主控模块(3)；
主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机；
3)上位机将接收到的陀螺仪传感信号、手指关节弯曲信号存储在传感信号数据集A中，并打上手势类别标签；手势类别集合记为G＝{y1,y2,...,yg}；yg表示第g种中文拼音对应的手势；
上位机对传感信号数据集A进行预处理；
4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X1，X2，…，XW]；Xi表示使用者做第i个手势时传感器采集的传感信号数据子集；i＝1，2，…，W；
5)对传感信号数据集X进行特征提取，并建立手势训练数据集C；
6)利用手势训练数据集C建立手势识别分类器；所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器；
7)利用手势识别分类器实时识别使用者当前做出的手势。


5.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，使用者在做出任一中文拼音对应的手势前，做出一组起始手势，在做出任一中文拼音对应的手势后，做出一组终止手势。


6.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，对传感信号数据集A进行时序分割的方法为：计算t时刻和t-1时刻同类型传感信号的欧几里得距离d，当d>阈值dmax时，则以t时刻作为时序分割点，对传感信号数据集A进行时序分割；传感信号类型包括弯曲传感信号、陀螺仪传感信号；分割后，每组时序信号的起始点为手势起始标记信号，终止点为手势结束标记信号；手势起始标记信号为使用者做出起始手势时陀螺仪(1)和弯曲传感器(2)采集到的传感信号；手势结束标记信号为使用者做出终止手势时陀螺仪(1)和弯曲传感器(2)采集到的传感信号。


7.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，对传感信号数据集A进行预处理的主要步骤如下：
1)对传感信号进行丢包项删除、异常项删...

【专利技术属性】
技术研发人员：刘礼，王珊珊，冉孟元，廖军，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50