一种基于体感技术的手语翻译系统及处理方法技术方案

本发明专利技术涉及一种基于体感技术的手语翻译系统，包括用于检测人体手势信息的体感设备、用于接收待翻译语音的声音输入设备、用于对人体手势信息或待翻译语音进行相互转译的手语翻译设备、用于已翻译的文字或已转换的手语手势动画的显示设备和用于播放已翻译的语音的声音输出设备，本发明专利技术还涉及一种基于体感技术的手语翻译的处理方法；本发明专利技术的有益效果是：能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上,帮助聋人和非聋人进行交流；体感设备采用深度景象CMOS传感器，能在复杂的背景和光照条件下准确的识别手势动作,且该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，降低了设计方案的成本。

【技术实现步骤摘要】

本专利技术涉及手语翻译
，尤其是。
技术介绍
中国有超过2000万人失聪或存在听力障碍，而放眼到全球，这一数字则扩大到大约3.6亿人，近些年来研宄人员花费了大量时间攻克手语识别领域所存在的挑战，他们曾研宄过诸如数据手套或特殊摄像头这样的输入传感器潜在的发展空间，虽然前者在识别方面表现很好，但因为难以穿戴和过于昂贵很难投入广泛使用。而网络摄像头或立体摄像头虽然能够保证追踪手部运动的精度和速度，却很难处理好复杂背景和光照。
技术实现思路
本专利技术提供，能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上，帮助聋人和非聋人进行交流。本专利技术解决上述技术问题的技术方案如下:一种基于体感技术的手语翻译系统，包括体感设备、声音输入设备、手语翻译设备、显示设备和声音输出设备；所述体感设备，用于检测人体手势信息，并将人体手势信息转换成3D数据的格式后发送至手语翻译设备；所述声音输入设备，用于接收待翻译语音，并将待翻译语音转换成语音数据的格式后发送至手语翻译设备；所述手语翻译设备，用于识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令；当发送来的是语音数据的格式类型时，将该语音数据转译成对应的手语手势动画，并发出第二执行指令；所述显示设备，用于根据第一执行指令从所述手语翻译设备上读取已翻译的文字后进行显示，还用于根据第二执行指令从所述手语翻译设备上读取已转换的手语手势动画后进行显示；所述声音输出设备，用于根据第一执行指令从所述手语翻译设备上读取已转译的语音后进行播放。本专利技术的有益效果是:能将手语实时转译成书面文字和语音，同时能把语音转译成手语显示在显示设备上，帮助聋人和非聋人进行交流；体感设备采用深度景象CMOS传感器，能在复杂的背景和光照条件下准确的识别手势动作，且该体感设备的光编码(lightcoding)技术使用的是连续的照明(而非脉冲)，降低了设计方案的成本。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述体感设备包括红外光发射器和深度景象CMOS传感器，所述红外光发射器，用于向目标人体发射红外结构光；所述深度景象CMOS传感器采用CMOS感光芯片，用于检测从目标人体反射回来的红外结构光，并将红外结构光转换成3D数据的格式后发送至手语翻译设备。红外光发射器发射红外结构光与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，该体感设备的光编码(light coding)技术使用的是连续的照明(而非脉冲)，红外光发射器的这种光源叫做激光散斑(laser speckle),是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点，这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。深度景象CMOS传感器对反射回来的红外结构光进行标定检测，每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来；假设人体手势是距离体感设备I米到4米的范围，每隔5cm取一个参考平面，那么标定下来我们就已经保存了 60幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的60幅参考图像依次做互相关运算，这样我们会得到60幅相关度图像，而人体手势存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到手势的三维形状了，从而将红外结构光转换成3D数据。采用上述进一步方案的有益效果是:不同于传统的ToF或者结构光测量技术，利用三维纵深的“体编码”的方法进行标记，就得到该物体在空间内的三维形状了，也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。进一步，所述手语翻译设备包括格式识别器、手语手势3D数据库、语音和文字数据库以及手语手势动画数据库，所述格式识别器，用于根据数据格式的不同识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将3D数据发送至所述手语手势3D数据库处理，当发送来的是语音数据的格式类型时，将语音数据发送至所述语音和文字数据库处理；所述手语手势3D数据库，用于存储手语手势3D数据和与其对应的名称；还用于当接收到3D数据时，将该3D数据与已存储的手语手势3D数据进行匹配，再将匹配到的手语手势3D数据的名称发送至语音和文字库中，当接收到语音和文字数据的名称时，将该语音和文字数据的名称与已存储的手语手势3D数据的名称进行匹配，并将匹配到的手语手势3D数据的名称发送至手语手势动画数据库中；所述语音和文字库，用于存储语音和文字数据和与其对应的名称；还用于当接收到语音数据时，将语音数据与已存储的语音和文字数据进行匹配，再将匹配到的语音和文字数据的名称发送至手语手势3D数据库中，当接收到的是手语手势3D数据的名称时，将该手语手势3D数据的名称与语音和文字数据的名称进行匹配，匹配成功后发出第一执行指令；所述手语手势动画数据库，用于存储手语手势的动画数据和与其对应的名称；还用于当接收到手语手势的3D数据的名称后，将手语手势的3D数据的名称与手语手势的动画数据的名称进行匹配，匹配成功后发出第二执行指令。进一步，所述的体感设备、声音输入设备、显示设备和声音输出设备均通过USB接口与手语翻译设备连接。本专利技术还提供了一种基于体感技术的手语翻译平板电脑，包括了基于体感技术的手语翻译系统。手语翻译平板电脑是一台基于Android系统的大屏幕平板电脑，为系统的核心，系统软件运行在该设备上，手势转译为文字信息时，文字会显示在显示设备上，已转译的语音通过声音输出设备进行播放；语音转译为手语时，手势动画会显示在显示设备上。本专利技术还提供了一种基于体感技术的手语翻译智能终端，包括了所述的基于体感技术的手语翻译系统。进一步，所述智能终端为平板电脑、智能手机、智能手环或智能手表。本专利技术还提供了一种基于体感技术的手语翻译的处理方法，包括以下步骤:步骤S1:检测人体手势的信息，并将人体手势的信息转换成3D数据的格式；步骤S2:接收待翻译语音，并将待翻译语音转换成语音数据的格式；步骤S3:对数据的格式类型进行识别，如果是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令，同步执行步骤S4和步骤S5 ;如果是语音数据的格式类型时，将该语音数据转译对应的手语手势动画，并发出第二执行指令，执行步骤S6 ；步骤S4:显示设备根据第一执行指令对已转译的文字进行显示；步骤S5:声音输出设备根据第一执行指令对已转译的语音进行播放；步骤S6:显示设备根据第二执行指令对已转换的手语手势动画后进行显示。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述步骤SI的具体实现如下:步骤S1.1:向目标人体发射红外结构光；步骤S1.2:检测反射回来的红外结构光，并将红外结构光转换成3D数据。进一步，当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种基于体感技术的手语翻译系统，其特征在于，包括体感设备(1)、声音输入设备(2)、手语翻译设备(3)、显示设备(4)和声音输出设备(5)；所述体感设备(1)，用于检测人体手势信息，并将人体手势信息转换成3D数据的格式后发送至手语翻译设备(3)；所述声音输入设备(2)，用于接收待翻译语音，并将待翻译语音转换成语音数据的格式后发送至手语翻译设备(3)；所述手语翻译设备(3)，用于识别发送来的数据的格式类型，当发送来的是3D数据的格式类型时，将该3D数据转译成对应的语音和文字，并发出第一执行指令；当发送来的是语音数据的格式类型时，将该语音数据转译成对应的手语手势动画，并发出第二执行指令；所述显示设备(4)，用于根据第一执行指令从所述手语翻译设备(3)上读取已翻译的文字后进行显示，还用于根据第二执行指令从所述手语翻译设备(3)上读取已转换的手语手势动画后进行显示；所述声音输出设备(5)，用于根据第一执行指令从所述手语翻译设备(3)上读取已转译的语音后进行播放。

【技术特征摘要】

【专利技术属性】
技术研发人员：蒋泰，黄华晋，秦志福，邓家明，
申请(专利权)人：广西瀚特信息产业股份有限公司，
类型：发明
国别省市：广西;45