一种智能手语翻译的系统和方法技术方案

本发明专利技术属于手语翻译技术领域，公开一种智能手语翻译的系统及手语与文字和语音的相互翻译的方法。所述系统包括：输入模块包括能同时拍摄的多个摄像头；存储单元，用于存储标准手势3D模型及与标准手语的三维模型对应的文字信息；3D模型建立模块；匹配模块，用于匹配为对应的标准手势3D模型；手语翻译模块，用于标准手势3D模型转换与对应的文字信息之间的转换；语音识别模块，用于转换为对应的文字信息；图像识别模块，用于识别图像中的文字信息；语音转换模块，用于将文字信息转换为对应的语音信息；输出模块。为有语言和听力障碍的特殊人群与正常人之间提供一种有效便捷的沟通交流方法和阅读观看理解方式；翻译的准确性高，更贴合用户的使用习惯。

【技术实现步骤摘要】
一种智能手语翻译的系统和方法
本专利技术属于手语翻译
，尤其涉及一种智能手语翻译的系统及方法。
技术介绍
播放新闻联播的时候，屏幕右下方就会出现一个手语老师将主持人说的话翻译成手语的动画，以方便有语言和听力障碍的人能够无障碍了解新闻内容。在人们平时的沟通交流过程中，除了打电话，大多都是通过聊天软件如QQ、微信和亲人、朋友进行聊天交流，那么在没有第三人的帮助下，有语言和听力障碍的人如何与人进行交流和阅读观看相关资料？现在人们通常使用智能手机或平板电脑上的聊天软件进行交流，而目前使用的手语翻译设备通常是独立的设备，这就不方便在使用聊天软件时，使用手语翻译设备进行交流了。因为手语中的手势存在一些手指弯曲度等微小动作，有时通过普通摄像图获取的手势图像，很难区分这些微小动作。如果能够活着手势动作的3D图像信息，则就能够分辨这些微小动作，提高手语翻译的准确性。一般，智能手机或平板电脑都是私人持有的设备，不属于公共使用的电子产品，为了提高听力障碍人士使用的舒适性，还需要根据个人特点，贴合用户使用习惯。本专利技术提出了一种智能手语翻译的方法和系统，该系统可以安装在智能手机或平板电脑，并与聊天软本文档来自技高网...

【技术保护点】
1.一种智能手语翻译为语音或文字的方法，其特征在于，所述方法包括以下步骤：通过多个摄像头同时拍摄手势；对多个摄像头拍摄的图像信息进行处理，得到手势3D图像信息，并建立手势3D模型；将手势3D模型与预存的标准手势3D模型进行匹配识别，得到匹配的标准手势3D模型；将标准手势3D模型转换为对应的文字信息；将对应的文字信息转换为对应的语音信息；输出该文字信息；输出该语音信息。

【技术特征摘要】
1.一种智能手语翻译为语音或文字的方法，其特征在于，所述方法包括以下步骤：通过多个摄像头同时拍摄手势；对多个摄像头拍摄的图像信息进行处理，得到手势3D图像信息，并建立手势3D模型；将手势3D模型与预存的标准手势3D模型进行匹配识别，得到匹配的标准手势3D模型；将标准手势3D模型转换为对应的文字信息；将对应的文字信息转换为对应的语音信息；输出该文字信息；输出该语音信息。2.根据权利要求1所述的智能手语翻译为语音或文字的方法，其特征在于，所述方法还包括；将匹配得到的标准手势3D模型转换为标准手势图像信息；播放该标准手势图像信息，并提示用户确认是否正确；若用户确认不正确，执行重新拍摄手势操作。3.根据权利要求1所述的智能手语翻译为语音或文字的方法，其特征在于，所述方法还包括：在手势3D图像信息与对应的文字信息间建立关联关系；判断手势3D图像信息是否有关联信息，若判断为有关联信息，则直接转换为有关联关系的文字信息。4.根据权利要求1所述的智能手语翻译为语音或文字的方法，其特征在于，所述方法还包括；在APP上设置与手语翻译程序间的通信接口，并设置通信协议；将多个摄像头拍摄的图像信息通过通信接口传输到手语翻译程序；将对应的文字信息通过通信接口传输到APP。5.一种智能语音或文字翻译为手语的方法，其特征在于，所述方法包括以下步骤：通过摄像头扫描并识别获取文字信息，或通过输入法输入文字信息；录制语音信息，并识别语音信息，得到对应的文字信息；将文字信息转换为对应的标准手势3D模型；将标准手势3D模型转换为标准手势图像信息；输出该标准手势图像信息。6.根据权利要求5所述的智能语音或文字翻译为手语的方法，其特征在于，所述方法还包括：输出识别语音信息得到的文字信息，并提示用户确认是否正确；若用户确认不正确，执行重新录制语音信息操作。7.根据权利要求5所述的智能语音或文字翻译为手语的方法，其特征在于，所述方法还包括；在APP上设置与手语翻译程序间的通信接口，并设置通信协议；将文字信息或语音信息通过通信接口传输到手语翻译程序；将标准手势图像信息通过通信接口传输到APP。8.根据权利要求7所述的智能语音或文字翻译为手语的方法，其特征在...

【专利技术属性】
技术研发人员：杨萍，徐彭飞，张龙，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：广东,44