智能手语翻译手套及其手势识别方法技术

本发明专利技术公开了一种智能手语翻译手套及其手势识别方法，包括手套本体和手势识别装置，通过手势识别装置中的arduino控制板对弯曲度传感器和运动传感器传递的信息发送至微型计算机内进行手势识别，从而进行手势翻译，再通过语音播报装置进行手势解语的语音播报。本发明专利技术对手语中的标准手势进行数据采集得到标准数据信息，并与手势解语储存至手势数据库，通过弯曲度传感器和运动传感器对实际手势进行数据采集后发送至arduino控制板，arduino控制板再将实际数据信息发送至微型计算机内与手势数据库进行比对识别，输出手势解语，本发明专利技术不仅手势识别的速度快，识别率高，而且手语翻译的含义准确。

【技术实现步骤摘要】
智能手语翻译手套及其手势识别方法
本专利技术涉及一种智能手语翻译手套及其手势识别方法，属于手语识别领域。
技术介绍
据最新资料统计表明，我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首，为2057万人，约占中国人口总数的1.67％，其中7岁以下儿童就有80万人。在一些场合中，与聋哑人交流并不能直接通过语音实现，而是借助手语手势来实现。然而，大部分普通人通常只能以语音或文字的方式才能清楚的明白表达者的意思。现有的技术中，有基于计算机视觉的手语识别装置，但这种装置不能穿戴，只能在特定的场合内使用；也有一些手语翻译手套，但这些手语翻译手套的识别技术如基于表面肌电和加速度的手语识别技术容易受到周围环境因素的影响，需要处理的数据量巨大，识别的实时性和识别率都比较差，不能准确的表达手语含义。
技术实现思路
本专利技术的目的在于，提供一种智能手语翻译手套及其手势识别方法。本专利技术可以对手语手势进行翻译，不仅手势识别的速度快，而且识别率高，手语翻译的含义准确。本专利技术的技术方案：智能手语翻译手套，包括手套本体和手势识别装置，所述手势识别装置包括微型计算机和设置在手套本体上的控制电路板，所述微型计算机上设有语音播报装置；所述控制电路板上嵌设有arduino控制板和运动传感器；所述手套本体上设有多个指套，每个指套上均设有弯曲度传感器；所述arduino控制板分别与微型计算机、弯曲度传感器和运动传感器电连接。上述的智能手语翻译手套，所述手套本体为防静电棉布手套。前述的智能手语翻译手套，所述控制电路板与弯曲度传感器的连接处设有绝缘帽。前述的智能手语翻译手套，所述的微型计算机为树莓派。前述的智能手语翻译手套的手势识别方法，按下述步骤进行：a、通过运动传感器和弯曲度传感器对手语中的标准手势进行数据采集得到标准数据信息，将该标准数据信息以及该标准数据信息对应的手势解语储存至微型计算机的手势数据库中；b、使用者戴上手套对话时，弯曲度传感器和运动传感器对实际手势进行数据采集，并将采集到的实际数据信息发送至arduino控制板；c、arduino控制板将该实际数据信息发送至微型计算机，微型计算机将该实际数据信息与数据库中的标准数据信息进行对比识别，得到相匹配的标准数据信息及对应的手势解语，从而得到该实际手势的含义并输出该手势的解语。前述的智能手语翻译手套的手势识别方法，所述步骤a中，对手语中的标准手势进行数据采集以得到标准数据信息时，同一个手势需要重复采集得到多组标准数据信息。前述的智能手语翻译手套的手势识别方法，所述步骤c中，微型计算机接收到弯曲度传感器的实际数据信息后对该数据信息通过中值法、去极值平均法和多次取样法进行数据处理。前述的智能手语翻译手套的手势识别方法，所述步骤c中，微型计算机接收到运动传感器的实际数据信息后对该数据通过卡尔曼滤波算法进行滤波处理后再进行积分运算处理。前述的智能手语翻译手套的手势识别方法，所述步骤c中，微型计算机采用决策树算法将实际数据信息进行分类，将所有子类分为两个一级子类，每个一级子类又划分为两个二级子类，如此循环直至划分出最终所需类别，由此对于m类的实际数据信息，构造m-1个分类器。前述的智能手语翻译手套的手势识别方法，所述决策树算法为SVM决策树算法；所述SVM决策树算法是将微型计算机接收到的手势实际数据信息利用决策树的二叉分支结构和SVM的两类分类特性进行分类，构造多类分类器，再将分类后的数据信息与数据库中的标准数据信息进行匹配，从而实现实际手势的正确识别；所述的SVM决策树算法在计算时，对实际数据信息进行分析，若实际数据信息线性可分，则与手势数据库进行比对识别，输出手势解语；若实际数据信息线性不可分则对其进行升维，用非线性映射算法将二维输入空间线性不可分的实际数据信息进行特征提取，将提取的特征升到三维特征空间进行区分，使其线性可分，再将区分后的特征数据与手势数据库进行比对识别，输出优选手势解语。与现有技术比较，本专利技术具有以下有益效果：1、本专利技术通过设置手套本体和手势识别装置，所述的手势识别装置包括微型计算机和设置在手套本体上的控制电路板，微型计算机上设置有语音播报装置；在控制电路板上嵌设有arduino控制板和运动传感器；在手套本体的5个指套上均设有弯曲度传感器；所述arduino控制板分别与微型计算机、弯曲度传感器和运动传感器电连接。本专利技术首先对手语中的标准手势进行数据采集得到标准数据信息，并与手势解语储存至微型计算机的手势数据库，其次通过手势识别装置中的arduino控制板将弯曲度传感器和运动传感器传递的数据信息发送至微型计算机中，微型计算机将该数据信息与数据库进行对比，得到相匹配的标准数据信息及对应的手势解语，从而得到该实际手势的含义并输出该手势的解语，再通过微型计算机的语音播报装置进行手势解语的语音播报。本专利技术不仅手势识别的速度快，而且识别率高，手语翻译的含义准确。2、本专利技术采用防静电棉布手套,在控制电路板与弯曲度传感器的连接处设有绝缘帽，避免了因手心出汗影响识别率的问题，而且有效防止漏电、触电现象，给使用者以安全保障。3、本专利技术对同一个手势进行重复采集得到多组标准数据信息，使得同一手势在不同的手语动作中的含义进行有效区分，减少手势识别的错误率；通过arduino控制板将弯曲度传感器和运动传感器传递的数据信息发送至微型计算机中，微型计算机接收到弯曲度传感器的实际数据信息后对该数据信息通过中值法、去极值平均法和多次取样法进行数据处理；对接收到运动传感器的实际数据信息后对该数据通过卡尔曼滤波算法进行滤波处理后再进行积分运算处理，将处理后得到的数据组成特征值，选择出最为符合的特征值再与手势数据库进行比对识别，提高手势解语的识别率和识别速率。本专利技术利用中值法、去极值平均法和多次取样法对弯曲度数据进行处理，减小偶然误差；手的空间位移是通过对加速度数据进行积分运算得到的，而积分运算容易受细微变化影响，外界磁场的影响、手的抖动等对加速度的影响都会造成最终积分结果的误差，通过卡尔曼滤波对加速度数据进行滤波处理，去除抖动、地磁场等因素的干扰，最大程度减小运算结果与真实值的偏差，提高识别准确度。4、本专利技术通过采用决策树算法将实际数据信息进行分类，将所有子类分为两个一级子类，每个一级子类又划分为两个二级子类，如此循环直至划分出最终所需类别，由此对于m类的实际数据信息，构造m-1个分类器；在每个决策点设有SVM，通过SVM将实际数据信息进行分析，若实际数据信息线性可分，则输出手势解语；若实际数据信息线性不可分则对其进行升维，用非线性映射算法将二维输入空间线性不可分的实际数据信息进行特征提取，将提取的特征升到三维特征空间进行区分，使其线性可分，再将区分后的特征数据与手势数据库进行比对识别，输出优选手势解语，由此提高识别率和识别速率。附图说明：图1：本专利技术智能翻译手套结构示意图；图2：本专利技术的系统框架示意图；图3：本专利技术的系统电路图；图4：本专利技术手语手势的数据部分采集实例；图5：本专利技术手势数据库部分数据实例；图6：本专利技术svm决策树算法结构模型；图7：本专利技术的数据线性可分情况的模拟图A；图8：本专利技术的数据线性可分情况的模拟图B；图9：本专利技术的数据线性不可分情况的模拟图；图10：本专利技术的数据线性不可分到可分的过程本文档来自技高网...

【技术保护点】
1.智能手语翻译手套，其特征在于：包括手套本体和手势识别装置，所述手势识别装置包括微型计算机和设置在手套本体上的控制电路板，所述微型计算机上设有语音播报装置；所述控制电路板上嵌设有arduino控制板和运动传感器；所述手套本体上设有多个指套，每个指套上均设有弯曲度传感器；所述arduino控制板分别与微型计算机、弯曲度传感器和运动传感器电连接。

【技术特征摘要】
1.智能手语翻译手套，其特征在于：包括手套本体和手势识别装置，所述手势识别装置包括微型计算机和设置在手套本体上的控制电路板，所述微型计算机上设有语音播报装置；所述控制电路板上嵌设有arduino控制板和运动传感器；所述手套本体上设有多个指套，每个指套上均设有弯曲度传感器；所述arduino控制板分别与微型计算机、弯曲度传感器和运动传感器电连接。2.根据权利要求1所述的智能手语翻译手套，其特征在于：所述手套本体为防静电棉布手套。3.根据权利要求1所述的智能手语翻译手套，其特征在于：所述控制电路板与弯曲度传感器的连接处设有绝缘帽。4.根据权利要求1所述的智能手语翻译手套，其特征在于：所述的微型计算机为树莓派。5.根据权利要求1-4任一项所述的智能手语翻译手套的手势识别方法，其特征在于：按下述步骤进行：a、通过运动传感器和弯曲度传感器对手语中的标准手势进行数据采集得到标准数据信息，将该标准数据信息以及该标准数据信息对应的手势解语储存至微型计算机的手势数据库中；b、使用者戴上手套对话时，弯曲度传感器和运动传感器对实际手势进行数据采集，并将采集到的实际数据信息发送至arduino控制板；c、arduino控制板将该实际数据信息发送至微型计算机，微型计算机将该实际数据信息与数据库中的标准数据信息进行对比识别，得到相匹配的标准数据信息及对应的手势解语，从而得到该实际手势的含义并输出该手势的解语。6.根据权利要求5所述的智能手语翻译手套的手势识别方法，其特征在于：所述步骤a中，对手语中的标准手势进行数据采集以得到标准数据信息时，同一个手...

【专利技术属性】
技术研发人员：蒋丽珍，郭豆豆，白旭，银栋，王杰，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：浙江,33