一种哑语转换语音系统技术方案

本发明专利技术公开了一种哑语转换语音系统，包括3D扫描设备、数据储存处理系统、语音合成模块三部分，该哑语转换语音系统通过3D扫描设备扫描人体骨骼，得到一段时间内的骨骼动作的扫描数据；数据储存处理系统将扫描数据与数据库中预存的骨骼动作的存储数据进行对比，当扫描数据与存储数据吻合时，将数据库中预存的存储数据所对应的含义发送至语音合成模块生成语音并播放。该系统能够将哑语手势自动转换为语音输出，方便残疾人与正常人之间的交流；意思转换及表达准确率较高，速度较快，并具有语气模拟功能。

【技术实现步骤摘要】
一种哑语转换语音系统
本专利技术涉及一种将哑语手势动作转换为语音输出的系统。
技术介绍
哑语又叫手语：手语是由于聋人交际的需要而产生的，它已作为聋人的一种语言， 逐渐为人们所接受。手语包括手指语和手势语。手指语是用手指的指式变化和动作代表字 母，并按照拼音顺序依次拼出词语；在远古时代，全人类都处在简单的有声语言阶段，常常 用手做各种姿势来表示意思，这样的手势大多数是指示性和形象性的动作，叫作自然手势， 此后，随着社会的进步，特别是聋教育的产生与发展，开始创造出具有语言性质的手势，这 种在有声语言和文字基础上产生的，与有声语言密切结合的手语，称之为人为手势。自然手 势和人为手势结合成为手势语。 哑语虽然能够完成掌握哑语的交流者之间的交流需要，但是在交流双方只有一方 掌握哑语的情况下，如残疾人和正常人之间进行交流时，哑语难以被正常人了解，还是存在 交流障碍。 3D扫描最早出现的是接触式测量方法，代表是三维坐标测量机，虽然精度达到微 米量级（0.5mm)，但是由于体积巨大、造价高以及不能测量柔软的物体等缺点，使其应用领 域受到限制。于是出现了非接触式测量方法，主要分两类。 -类是被动方式，就是不需要特定的光源，完全依靠物体所处的自然光条件进行 扫描，常采用双目技术，但是精度低，只能扫描出有几何特征的物体，不能满足很多领域的 要求。 另一类是主动方式，就是像物体投射特定的光，其中代表技术激光线式的扫描，精 度比较高，但是由于每次只能投射一条光线，所以扫描速度慢。另外，由于激光会对生物体 以及比较珍贵的物体造成伤害，所以不能应用于某些特定领域。 新兴的技术是结构光式的扫描，结构光也属于主动方式，通过投影或者光栅投射 同时多条光线，就可以采取物体的一个表面，只需要几个面的信息就可以完成扫描，最大的 特点是3D扫描仪扫描速度快，而且可编程实现。 还有一种是低频脉冲波（低频声波）式原理，主要应用于物位测量方面。基于二 维数组波束形成器传送低频脉冲，3D物位扫描仪接收来自筒仓、仓室或其他容室内物料的 回波。设备的数字信号处理器对接收到的信号进行取样和分析，通过估算回波到达的时间 和方向，处理器形成一个物料表面的三维图，这个图像通过一种专有的计算方法对信息进 行处理并生成3D图象，可以在远端屏幕上显示出来。 语音合成，又称文语转换（Text to Speech)技术，能将任意文字信息实时转化为标 准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。它涉及声学、语言学、数字信号处 理、计算机科学等多个学科技术，是中文信息处理领域的一项前沿技术，解决的主要问题就 是如何将文字信息转化为可听的声音信息，也即让机器像人一样开口说话。我们所说的让 机器像人一样开口说话与传统的声音回放设备有着本质的区别。传统的声音回放设备如 磁带录音机，是通过预先录制声音然后回放来实现让机器说话的。这种方式无论是在内 容、存储、传输或者方便性、及时性等方面都存在很大的限制。而通过计算机语音合成则可 以在任何时候将任意文本转换成具有高自然度的语音，从而真正实现让机器像人一样开 口说话。 文语转换系统实际上可以看作是一个人工智能系统。为了合成出高质量的语言， 除了依赖于各种规则，包括语义学规则、词汇规则、语音学规则外，还必须对文字的内容有 很好的理解，这也涉及到自然语言理解的问题。文语转换过程是先将文字序列转换成音韵 序列，再由系统根据音韵序列生成语音波形。其中第一步涉及语言学处理，例如分词、字音 转换等，以及一整套有效的韵律控制规则；第二步需要先进的语音合成技术，能按要求实时 合成出高质量的语音流。因此一般说来，文语转换系统都需要一套复杂的文字序列到音素 序列的转换程序，也就是说，文语转换系统不仅要应用数字信号处理技术，而且必须有大量 的语言学知识的支持。
技术实现思路
本专利技术的目的在于提供一种哑语转换语音系统，能够将哑语手势自动转换为语音 输出，方便残疾人与正常人之间的交流。为此本专利技术采用的技术方案是，一种哑语转换语音 系统，其特征在于，包括3D扫描设备、数据储存处理系统、语音合成模块三部分，该哑语转 换语音系统通过3D扫描设备扫描人体骨骼，得到一段时间内的骨骼动作的扫描数据；数据 储存处理系统将扫描数据与数据库中预存的骨骼动作的存储数据进行对比，当扫描数据与 存储数据吻合时，将数据库中预存的存储数据所对应的含义发送至语音合成模块生成语音 并播放。 优选地，所述哑语转换语音系统对扫描数据和储存数据的完成相应骨骼动作的时 间进行对比，根据时间差异调整合成语音的语速快慢和/或音量大小。比如：数据库中的存 储数据中，完成一个骨骼动作的时间是2秒；当扫描数据中完成同一个骨骼动作的时间是 1. 8秒，则合成的语音的语速较为急促、音量较大；反之，则合成的语音的语速较为舒缓，音 量较小。以实现对哑语者的语气的模拟。语速和音量可以同时调整，也可以分别单独调整。 优选地，根据使用者的实际骨骼动作的扫描数据，对所述数据库中预存的骨骼动 作的储存数据进行录入更新。以提高识别速度和识别的准确性。 优选地，所述数据储存处理系统通过修改数据允许误差值（即灵敏度），提高扫描 数据与存储数据对比的精准度。 本专利技术的有益效果在于，能够将哑语手势自动转换为语音输出，方便残疾人与正 常人之间的交流；意思转换及表达准确率较高，识别率可以达到99%以上；意思转换及表 达速度较快，使用现有普通合格处理器，即可达到感觉不到哑语和语音之间的延时的效果。 该系统填补了市场空白，真正实现了聋哑人与正常人的无障碍交流，设备所用的技术都是 经过多年投入市场经过检验的成熟技术，3D扫描可靠性极高，能够精准识别，每秒30帧的 识别速度可快速分辨出〇. 03秒一个的动作，并有录入更新数据功能使设备能更加适合个 体使用，首创根据动作速度合成相对应带有语气的合成语音，使设备更符合人体语音。能够 应用到各种聋哑人需要用到语音表达的场合。 下面将结合附图和【具体实施方式】对本专利技术做进一步说明。 【附图说明】 附图为系统整体构成及流程示意框图。 【具体实施方式】 所述哑语转换语音系统包括3D扫描设备、数据储存处理系统、语音合成模块三部 分，所述3D扫描设备采用微软成熟投入市场多年的KINECT设备，KINECT设备一共有三个镜 头，其中中间的一个是RGB Camera，用来获取640x480的彩色图像，每秒钟最多获取30帧图 像；两侧是两个景深（3D D印th)传感器，用来检测人体的相对位置，原理和人眼立体成像是 一样的，这两个传感器使用的是红外线。Kinect两侧是麦克风，下边还有一个可移动底座， 用来调整Kinect的仰角。所述数据的储存处理和语音的合成在单片机内完成，然后把识别 出来的对应骨骼所指向的含义以及语气发送至语音合成模块进行合成语音，然后通过扬声 器进行播放。 下面将通过一次标准的哑语转换语音的流程对本专利技术做出详细说明：该哑语转换 语音系统通过3D扫描设备扫描人体骨骼，得到一段时间内的骨骼动作的扫描数据（见表 1)； (表1) 一段时间的右手掌的骨骼动作的扫描数据 本文档来自技高网...

【技术保护点】
一种哑语转换语音系统，其特征在于，包括3D扫描设备、数据储存处理系统、语音合成模块三部分，该哑语转换语音系统通过3D扫描设备扫描人体骨骼，得到一段时间内的骨骼动作的扫描数据；数据储存处理系统将扫描数据与数据库中预存的骨骼动作的存储数据进行对比，当扫描数据与存储数据吻合时，将数据库中预存的存储数据所对应的含义发送至语音合成模块生成语音并播放。

【技术特征摘要】
1. 一种哑语转换语音系统，其特征在于，包括3D扫描设备、数据储存处理系统、语音合 成模块三部分，该哑语转换语音系统通过3D扫描设备扫描人体骨骼，得到一段时间内的骨 骼动作的扫描数据；数据储存处理系统将扫描数据与数据库中预存的骨骼动作的存储数据 进行对比，当扫描数据与存储数据吻合时，将数据库中预存的存储数据所对应的含义发送 至语音合成模块生成语音并播放。2. 如权利要求1所述的一种哑语转换语音系统，其特征在...

【专利技术属性】
技术研发人员：张江杰，
申请(专利权)人：张江杰，
类型：发明
国别省市：湖南;43