手语翻译器制造技术

本发明专利技术公开了一种手语翻译器，包括主控装置、手势识别装置、文本显示装置，所述手势识别装置为Leap Motion体感设备，所述主控装置接收手势识别装置捕捉到的手势数据并进行分析，将所述手势数据识别为文本信息并通过所述文本显示装置输出。本发明专利技术手语翻译器的Leap Motion体感设备对手部识别精度高、体积小巧，不仅支持静态手语的识别，同时也能识别出动态的手语，而且该设备还内置有光感调节，红外线打的摄像头对环境的兼容性很高，即使在强光弱光的情况下均能使用，基本实现了聋哑人与正常人之间简单的交流。

【技术实现步骤摘要】

本专利技术涉及动作捕捉识别技术，更具体地说，涉及一种手语翻译装置。
技术介绍
目前全球大概有1个亿的聋哑人，而我国就有超过2000万的聋哑人，而且每年还在以2万～3万名的速度递增。听力正常人之间主要采用口语和书面语进行交流，并辅之以一定的体势和表情。在聋人之间的交流中，手语如同正常人的口语一样，起着非常重要的作用。由于正常人懂手语的较少，所以正常人与聋哑人之间的沟通存在较大的障碍。随着社会的发展，聋哑人的地位不断提高，手语翻译工作应用的范围也越来越广泛，也将越来越引起社会各界的关注和重视。我国目前手语翻译职业化道路刚刚起步，各方面还很不完善，缺少专业的手语翻译，尤其分科明确专业程度很高的手语翻译人员。目前手语翻译工作大多是由聋校教师和残疾人工厂的手语翻译人员，这些人不仅缺乏手语翻译技能技巧等方面的专业培训，而且更缺乏某一专业领域的知识储备和训练，如法律、医疗、心理咨询等专业知识，手语翻译的水平极大地限制了聋人群体的发展和生存质量的提高。但是近年来互联网和计算机不断的发展，机器翻译变得随处可见。机器能有丰富的专业知识储备，能在不带任何私人感情和主观意识的情况下准确无漏地进行翻译，解决了手语翻译人员存在的一些翻译缺陷，而且其便携性也是一大优点。目前手语识别系统主要分为基于数据手套的识别和基于视觉(图像)的手语识别系统。基于数据手套的手语识别系统，是利用数据手套和位置跟踪器测量手势在空间运动轨迹和时序信息。这种方法的优点是系统的识别率高，缺点是打手语的人必须穿戴复杂的数据手套和位置跟踪器，并且输入设备比较昂贵。
技术实现思路
针对现有技术的缺点，本专利技术的目的在于提供一种精度高、体积小、价格比较低的手语翻译器。为了实现上述目的，本专利技术的技术方案为：一种手语翻译器，包括主控装置、手势识别装置、文本显示装置，所述手势识别装置为LeapMotion体感设备，所述主控装置接收手势识别装置捕捉到的手势数据并进行分析，将所述手势数据识别为文本信息并通过所述文本显示装置输出。作为本专利技术的一种改进，所述手势识别装置将捕捉到的手势数据按照时间片的单位封装成一帧使用，所述主控装置通过对手势识别装置进行轮询获得多帧。作为本专利技术的一种改进，在对动态手势的识别中，需要将当前帧的手势数据与前面的帧里对应的手势进行比较。作为本专利技术的一种改进，所述文本显示装置通过http协议发送get翻译请求至百度翻译API，发送的请求中包含字符编码为UTF-8的待翻译内容和百度翻译API已授权用户的身份证明的ApiKey，指定要翻译的源语言和目标语言种类，返回的响应是ISO-8859-1编码格式的标准JSON字符串，将其转换成日常使用的字符编码格式UTF-8格式，对一层层解析返回的嵌套JSON字符串进行处理，将翻译完成后的文字内容显示出来。作为本专利技术的一种改进，还包括语音播报装置，所述语音播报装置包括TTS引擎，所述语音播报装置接收所述文本显示装置的输出并通过语音播放出来。与现有技术相比，本专利技术手语翻译器的LeapMotion体感设备对手部识别精度高、体积小巧，不仅支持静态手语的识别，同时也能识别出动态的手语，而且该设备还内置有光感调节，红外线打的摄像头对环境的兼容性很高，即使在强光弱光的情况下均能使用，基本实现了聋哑人与正常人之间简单的交流。附图说明下面结合附图和具体实施方式，对本专利技术的结构及其有益技术效果进行详细说明。图1为本专利技术手语翻译器的组成框图。图2为手势识别算法流程图。图3为主控装置与语音装置流程图。具体实施方式为了使本专利技术的专利技术目的、技术方案及其有益技术效果更加清晰，以下结合附图和具体实施方式，对本专利技术进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本专利技术，并非为了限定本专利技术。请参阅图1，本专利技术手语翻译器包括主控装置、手势识别装置、文本显示装置和语音播放装置，手势识别装置为LeapMotion体感设备，主控装置接收手势识别装置捕捉到的手势数据并进行分析，将手势数据识别为文本信息并通过文本显示装置输出，语音播报装置可以接收文本显示装置的输出并通过语音播放出来。LeapMotion是一款微米级3D手动交互设备，可以追踪到小到0.01毫米的动作，拥有150度的视角，可跟踪一个人10个手指的动作，最大频率是每秒钟290帧。LeapMotion体感设备利用自身的两个红外摄像头进行手势的捕捉，通过捕捉人手的姿势和动作，将其转换成数据通过数据线发送到主控装置进行处理，主控装置对这些数据进行提取，把提取出来的有用的数据通过算法处理识别出手势动作，翻译成文本信息显示在文本显示装置的显示器上，语音播报装置可以根据需要转换成语音信息，最后还可以通过接入互联网的方式连接云翻译服务平台实现多语言翻译功能。在手势识别装置中，LeapMotion体感设备可捕捉到设备面前的一块半球型区域中的人手和一切棍棒状的工具，虚构出xyz三个轴，生成一个监听者，如手中各个手指的骨骼点之间的距离、手指的长度、数量、方向等，还可以识别出各种基础手势特征基元，如转圈，平移等，这些数据都将按照时间片的单位封装成帧使用。但手势动作具有以下三个特点:(1)时间可变性：完成同一个手势所用的时间不一致。(2)空间可变性：完成同一个手势的空间差异性。(3)完整可变性：缺少信息或出现重复信息。这些特点决定了动态手势的识别难度，无法抽样或将其作为一个整体来识别。一个动态手势可以细化成很多帧，每一帧都有其特定的ID与之区别开来，而LeapMotion设备一次捕获一帧，可以通过轮询获得帧，然后将其通过数据线发送到主控装置。于是使用了一种新的算法——“时间回溯算法”，将手势划分为若干状态并根据时间向前检测。请参阅图2,步骤如下：1.由于单个手势时间大约一致，首先我们维护一个长度大约为两秒的List。2.如果List长度不够两秒，继续添加。3.够两秒的长度之后，每次检测最新加入的数据是不是手势最后状态，比如说右手由下向上反转，最后状态就是右手掌心向上。如果是最后状态，转到4。4.根据List向前回溯，检测手势的倒数第二状态。如果符合，继续回溯。直至符合动作逻辑，就返回识别结果即可，然后清空List，防止与新加入的数据产生混合导致识别出错。文本显示装置主要是将手势手语翻译成文本并显示出来，能更方便聋哑人和正常人之间交流，实现实时交谈。为了更具实用性，还加入了多语翻译本文档来自技高网...

【技术保护点】
一种手语翻译器，包括主控装置、手势识别装置、文本显示装置，其特征在于，所述手势识别装置为Leap Motion体感设备，所述主控装置接收手势识别装置捕捉到的手势数据并进行分析，将所述手势数据识别为文本信息并通过所述文本显示装置输出。

【技术特征摘要】
1.一种手语翻译器，包括主控装置、手势识别装置、文本显示装置，其特
征在于，所述手势识别装置为LeapMotion体感设备，所述主控装置接收手势
识别装置捕捉到的手势数据并进行分析，将所述手势数据识别为文本信息并通
过所述文本显示装置输出。
2.根据权利要求1所述的手语翻译器，其特征在于，所述手势识别装置将
捕捉到的手势数据按照时间片的单位封装成一帧使用，所述主控装置通过对手
势识别装置进行轮询获得多帧。
3.根据权利要求2所述的手语翻译器，其特征在于，在对动态手势的识别
中，需要将当前帧的手势数据与前面的帧里对应的手势进行比较。
4.根据权利要求1所述的手语翻译器，其特...

【专利技术属性】
技术研发人员：罗回彬，吴方，黄哲，陈韦澔，陈匡林，
申请(专利权)人：北京理工大学珠海学院，
类型：发明
国别省市：广东;44