一种智能手语翻译的系统和方法技术方案

本发明专利技术属于手语翻译技术领域，公开一种智能手语翻译的系统及手语与文字和语音的相互翻译的方法。所述系统包括：输入模块包括能同时拍摄的多个摄像头；存储单元，用于存储标准手势3D模型及与标准手语的三维模型对应的文字信息；3D模型建立模块；匹配模块，用于匹配为对应的标准手势3D模型；手语翻译模块，用于标准手势3D模型转换与对应的文字信息之间的转换；语音识别模块，用于转换为对应的文字信息；图像识别模块，用于识别图像中的文字信息；语音转换模块，用于将文字信息转换为对应的语音信息；输出模块。为有语言和听力障碍的特殊人群与正常人之间提供一种有效便捷的沟通交流方法和阅读观看理解方式；翻译的准确性高，更贴合用户的使用习惯。

【技术实现步骤摘要】
一种智能手语翻译的系统和方法
本专利技术属于手语翻译
，尤其涉及一种智能手语翻译的系统及方法。
技术介绍
播放新闻联播的时候，屏幕右下方就会出现一个手语老师将主持人说的话翻译成手语的动画，以方便有语言和听力障碍的人能够无障碍了解新闻内容。在人们平时的沟通交流过程中，除了打电话，大多都是通过聊天软件如QQ、微信和亲人、朋友进行聊天交流，那么在没有第三人的帮助下，有语言和听力障碍的人如何与人进行交流和阅读观看相关资料？现在人们通常使用智能手机或平板电脑上的聊天软件进行交流，而目前使用的手语翻译设备通常是独立的设备，这就不方便在使用聊天软件时，使用手语翻译设备进行交流了。因为手语中的手势存在一些手指弯曲度等微小动作，有时通过普通摄像图获取的手势图像，很难区分这些微小动作。如果能够活着手势动作的3D图像信息，则就能够分辨这些微小动作，提高手语翻译的准确性。一般，智能手机或平板电脑都是私人持有的设备，不属于公共使用的电子产品，为了提高听力障碍人士使用的舒适性，还需要根据个人特点，贴合用户使用习惯。本专利技术提出了一种智能手语翻译的方法和系统，该系统可以安装在智能手机或平板电脑，并与聊天软件配合，通过前、后置摄像头获取手语，在线实时进行手语翻译交流，同时还贴合用户的使用习惯。
技术实现思路
鉴于现有技术中存在上述技术问题，本专利技术的目的之一就是提供一种智能手语翻译为语音或文字的方法，通过多摄像头获取手势图像，并将其处理为3D模型，经过与标准3D模型匹配及模型和文字信息之间的转换，获得文字信息。该方法可直接与聊天软件结合，实时翻译，手语翻译的准确性高，更贴合用户的使用习惯，具有个性化设置。本专利技术的目的之二就是提供一种智能语音或文字翻译为手语的方法，将语音转换为文字信息，经过文字和标准3D模型之间的转换，获得手势信息，以标准手势图像的形式输出。该方法也可直接与聊天软件结合，实时翻译，手语翻译的准确性高。本专利技术的目的之三是提供一种智能手语翻译的系统，所述系统能够执行上述两个翻译方法。本专利技术的目的之四是提供一种安装上述智能手语翻译系统的手机。本专利技术提供一种智能手语翻译为语音或文字的方法，包括以下步骤：通过多个摄像头同时拍摄手势；对多个摄像头拍摄的图像信息进行处理，得到手势3D图像信息，并建立手势3D模型；将手势3D模型与预存的标准手势3D模型进行匹配识别，得到匹配的标准手势3D模型；将标准手势3D模型转换为对应的文字信息；将对应的文字信息转换为对应的语音信息；输出该文字信息；输出该语音信息。进一步的，为了保证手语翻译的准确性，需要对手势3D模型进行校验，具体包括；将匹配得到的标准手势3D模型转换为标准手势图像信息；播放该标准手势图像信息，并提示用户确认是否正确；若用户确认不正确，执行重新拍摄手势操作。进一步的，为了更加贴合用户的使用习惯，对手语翻译进行了个性化设置，具体包括：在手势3D图像信息与对应的文字信息间建立关联关系；判断手势3D图像信息是否有关联信息，若判断为有关联信息，则直接转换为有关联关系的文字信息。进一步的，为了便于用户在使用聊天软件等APP时也可方便的进行手语翻译，需要在APP上设置通信接口，具体包括；在APP上设置与手语翻译程序间的通信接口，并设置通信协议；将多个摄像头拍摄的图像信息通过通信接口传输到手语翻译程序；将对应的文字信息通过通信接口传输到APP。本专利技术还提供一种智能语音或文字翻译为手语的方法，包括以下步骤：通过摄像头扫描并识别获取文字信息，或通过输入法输入文字信息；录制语音信息，并识别语音信息，得到对应的文字信息；将文字信息转换为对应的标准手势3D模型；将标准手势3D模型转换为标准手势图像信息；输出该标准手势图像信息。进一步的，为了保证手语翻译的准确性，需要对语音信息进行校验，具体包括；输出识别语音信息得到的文字信息，并提示用户确认是否正确；若用户确认不正确，执行重新录制语音信息操作。进一步的，为了便于用户在使用聊天软件等APP时也可方便的进行手语翻译，需要在APP上设置通信接口，具体包括；在APP上设置与手语翻译程序间的通信接口，并设置通信协议；将文字信息或语音信息通过通信接口传输到手语翻译程序；将标准手势图像信息通过通信接口传输到APP。进一步的，在使用一些音频视频相关软件时，歌词、字母、弹幕等都是以文字信息出现的，而对话是以语音信息出现的，需要进行文字信息的调取，具体包括：将APP中的用户显示和交流的文字信息或语音信息调取出来。本专利技术还提供一种智能手语翻译系统，所述系统包括：输入模块，用于输入拍摄得到的手势图像信息、语音信息或文字信息，包括能同时拍摄的多个摄像头；存储单元，用于存储标准手势3D模型及与标准手语的三维模型对应的文字信息；3D模型建立模块，用于根据由多个摄像头对手势进行拍摄得到的手势图像信息建立该手势3D模型，或将标准手势3D模型转换为标准手势图像信息；匹配模块，用于根据存储单元中的标准手势3D模型将得到的手势3D模型匹配为对应的标准手势3D模型；手语翻译模块，用于根据存储单元存储的信息将标准手势3D模型转换为对应的文字信息，或将文字信息转换为对应的标准手势3D模型；语音识别模块，用于识别输入的语音信息，转换为对应的文字信息；图像识别模块，用于识别图像中的文字信息，转换为对应的文字信息；语音转换模块，用于将文字信息转换为对应的语音信息；输出模块，用于输出图像信息、文字信息或语音信息。进一步的，所述智能手语翻译系统还包括：校验模块，用于提示用户确认播放该标准手势图像信息是否正确，若用户确认不正确，触发录入单元重新录入手势图像信息。进一步的，所述智能手语翻译系统还包括：通信模块，用于与聊天软件进行图像信息、文字信息、语音信息的传输。进一步的，所述智能手语翻译系统还包括：关联信息模块，用于在手势3D图像信息与对应的文字信息间建立关联关系，并判断手势3D图像信息是否有关联信息，若判断为有关联信息，则直接转换为关联关系的文字信息。进一步的，在使用一些音频视频相关软件时，歌词、字母、弹幕等都是以文字信息出现的，而对话是以语音信息出现的，需要进行文字信息的调取，所述系统包括：信息调取模块，用于将APP中的用户显示和交流的文字信息或语音信息调取出来。本专利技术还提供一种手机，所述手机安装有上述智能手语翻译系统，其CPU能够执行上述智能手语翻译为文字或语音的方法及智能文字或语音翻译为手语的方法。本专利技术能够将接收到的语音信号或者直接扫描到的文字通过软件处理，转换为手语并输出，或者通过前、后置摄像头获取手语，然后将手语转换为语音信号或者文字发出。实现了不懂手语的人与有语言和听力障碍的特殊人群之间进行沟通和正常阅读观看视频的可能性。本专利技术具有如下有益效果：1、本专利技术能够直接与聊天软件结合，也可独立使用，为有语言和听力障碍的特殊人群与正常人之间提供一种有效便捷的沟通交流方法和阅读观看理解方式；2、采用多摄像头拍摄和建立3D模型，并设立校验步骤，提高了翻译的准确性；3、可以进行个性化设置，更加贴合用户的使用习惯。附图说明图1为本专利技术实施例1中阅读文字和观看音视频资料进行手语翻译的流程图；图2为本专利技术实施例2中实现聊天工具手语翻译的流程图；图3为本专利技术实施例3中实现手语翻译为语音或者文字的流程图。具体实本文档来自技高网...

【技术保护点】
1.一种智能手语翻译为语音或文字的方法，其特征在于，所述方法包括以下步骤：通过多个摄像头同时拍摄手势；对多个摄像头拍摄的图像信息进行处理，得到手势3D图像信息，并建立手势3D模型；将手势3D模型与预存的标准手势3D模型进行匹配识别，得到匹配的标准手势3D模型；将标准手势3D模型转换为对应的文字信息；将对应的文字信息转换为对应的语音信息；输出该文字信息；输出该语音信息。

【技术特征摘要】
1.一种智能手语翻译为语音或文字的方法，其特征在于，所述方法包括以下步骤：通过多个摄像头同时拍摄手势；对多个摄像头拍摄的图像信息进行处理，得到手势3D图像信息，并建立手势3D模型；将手势3D模型与预存的标准手势3D模型进行匹配识别，得到匹配的标准手势3D模型；将标准手势3D模型转换为对应的文字信息；将对应的文字信息转换为对应的语音信息；输出该文字信息；输出该语音信息。2.根据权利要求1所述的智能手语翻译为语音或文字的方法，其特征在于，所述方法还包括；将匹配得到的标准手势3D模型转换为标准手势图像信息；播放该标准手势图像信息，并提示用户确认是否正确；若用户确认不正确，执行重新拍摄手势操作。3.根据权利要求1所述的智能手语翻译为语音或文字的方法，其特征在于，所述方法还包括：在手势3D图像信息与对应的文字信息间建立关联关系；判断手势3D图像信息是否有关联信息，若判断为有关联信息，则直接转换为有关联关系的文字信息。4.根据权利要求1所述的智能手语翻译为语音或文字的方法，其特征在于，所述方法还包括；在APP上设置与手语翻译程序间的通信接口，并设置通信协议；将多个摄像头拍摄的图像信息通过通信接口传输到手语翻译程序；将对应的文字信息通过通信接口传输到APP。5.一种智能语音或文字翻译为手语的方法，其特征在于，所述方法包括以下步骤：通过摄像头扫描并识别获取文字信息，或通过输入法输入文字信息；录制语音信息，并识别语音信息，得到对应的文字信息；将文字信息转换为对应的标准手势3D模型；将标准手势3D模型转换为标准手势图像信息；输出该标准手势图像信息。6.根据权利要求5所述的智能语音或文字翻译为手语的方法，其特征在于，所述方法还包括：输出识别语音信息得到的文字信息，并提示用户确认是否正确；若用户确认不正确，执行重新录制语音信息操作。7.根据权利要求5所述的智能语音或文字翻译为手语的方法，其特征在于，所述方法还包括；在APP上设置与手语翻译程序间的通信接口，并设置通信协议；将文字信息或语音信息通过通信接口传输到手语翻译程序；将标准手势图像信息通过通信接口传输到APP。8.根据权利要求7所述的智能语音或文字翻译为手语的方法，其特征在...

【专利技术属性】
技术研发人员：杨萍，徐彭飞，张龙，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：广东,44