一种基于手语识别的交互系统技术方案

本发明专利技术一种适用于基于手语识别的交互系统，包括：基于图像的手语识别子系统和语音识别模块子系统。基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成；语音识别模块子系统由语音采集模块、语音识别转换模块和图像输出模块组成。该系统可作为正常人和聋哑人进行正常交流的工具，基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字；语音识别模块子系统将正常人的语音信号转换为图像信号传递给聋哑人。本发明专利技术能进行手语和声音文字的双向转换，转换效率和识别程度高；使得正常人和聋哑人之间可以通过本设备进行高效无障碍的交流。

【技术实现步骤摘要】
一种基于手语识别的交互系统
本专利技术是涉及一种通讯机器人
，具体地说是涉及一种采用图像识别的基于手语识别的交互系统。
技术介绍
手语是聋哑残疾人使用的语言，是一种靠动作和视觉进行交际的特殊语言。然而让大多数正常人掌握并运用手语直接与聋哑残疾人进行交流显然是不现实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手段，在很大程度上限制了不懂手语的正常人对聋哑残疾人的理解，给聋哑残疾人的日常生活、学习和工作带来极大的不便。图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。一般工业使用中，采用工业相机拍摄图片，然后再利用软件根据图片灰阶差做进一步识别处理。图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖，P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。一种基于手语识别的交互系统建立实时视频采集识别模块，可实时对动作识别设备中的摄像头采集图像进行识别，通过计算机算法芯片对动作进行语义分析，进行语音文字等转换，同时也可进行逆向转换，将文字语音转换为手语动作，进行双向交流。
技术实现思路
本专利技术的目的是克服了现有技术中的不足，提供了一种基于手语识别的交互系统，该系统可作为正常人和聋哑人进行正常交流的工具，基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字，语音识别模块子系统将正常人的语音信号转换为图像信号。为了解决上述技术问题，本专利技术是通过以下技术方案实现：一种基于手语识别的交互系统包括基于图像的手语识别子系统和语音识别模块子系统。基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成。图像采集模块实时采集图像数据传入图像识别模块，采取TLD等高精度算法模块进行识别分析后将数据传入语义转换模块转换为数字形式文本，而后按照要求传入语义输出模块进行输出。语音识别模块子系统有语音采集模块、语音识别转换模块和图像输出模块组成。语音采集模块实时采集声音数据传入语音识别转换模块进行语义转换，依托手语信息数据库通过图像输出模块进行手语图像输出。与现有技术相比，本专利技术的有益效果是：能进行手语和声音文字的双向转换，转换效率和识别程度高；使得正常人和聋哑人之间可以通过本设备进行高效无障碍的交流；特别是针对不识字的聋哑人仍然有效。可以进行推广使用，对聋哑人配备以及在公共场所安装等。附图说明图1是本专利技术一种基于手语识别的交互系统的工作流程图图2是本专利技术一种基于手语识别的交互系统的基于图像的手语识别子系统的原理框图图3是本专利技术一种基于手语识别的交互系统的基于图像的语音识别模块子系统的原理框图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：一种基于手语识别的交互系统包括基于图像的手语识别子系统和语音识别模块子系统。所述基于图像的手语识别子系统由图像采集模块、图像识别模块、语义转换模块和语义输出模块组成。所述语音识别模块子系统有语音采集模块、语音识别转换模块和图像输出模块组成。一种基于手语识别的交互系统的工作流程：所述手语动画有专门对应数据库模块，一个语义对应关系分为精确对应和模糊对应两种。所述语音视频输入设备设置相关参数。所述操作者使设备对向聋哑人，启动设备开始识别，协助聋哑人和正常人进行沟通交流。所述操作者进行手语交流时，视频采集模块实时分析，识别模块进行语义识别转换，实时输出。所述操作者进行语言交流时，语音输入模块实时采集，通过转换模块转换为视频动画，实时输出。所述对于可以识字的交流者可以在屏幕上实时以文字形式显示相关交流内容，可进行人工修正匹配，更准确进行辅助交流。本专利技术中涉及的未说明部份与现有技术相同或采用现有技术加以实现。本文档来自技高网...

【技术保护点】
一种基于手语识别的交互系统，包括：基于图像的手语识别子系统和语音识别模块子系统，其特征是：所述基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字；所述语音识别模块子系统将正常人的语音信号转换为图像信号传递给聋哑人。

【技术特征摘要】
1.一种基于手语识别的交互系统，包括：基于图像的手语识别子系统和语音识别模块子系统，其特征是：所述基于图像的手语识别子系统用来将聋哑人的手语转换为电信号，按照用户需要转换为声音或者文字；所述语音识别模块子系统将正常人的语音信号转换为图像信号...

【专利技术属性】
技术研发人员：娄保东，
申请(专利权)人：南京乐朋电子科技有限公司，
类型：发明
国别省市：江苏,32