聋哑人与正常人的辅助对话系统、方法及智能手机技术方案

本发明专利技术涉及一种聋哑人与正常人的辅助对话系统、方法及智能手机，该系统包括：场景感知模块，用于感知并确定聋哑人与正常人的对话场景；数据采集及预处理模块，用于采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据；语音识别模块，用于接收识别该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息；语音合成模块，用于将聋哑人输入对话的文本内容转换成语音信息，并发给正常人。本发明专利技术通过确定对话场景，进行针对性的语音检测和语音增强，提升了语音识别的准确性及聋哑人生活的便捷性。

Auxiliary dialogue system and method for deaf mute and normal person and intelligent mobile phone

The auxiliary system method and intelligent mobile phone conversation, the invention relates to a deaf mute and normal people, the system includes: scene perception module for sensing and determine the deaf and normal people dialogue scenes; data acquisition and pre-processing module, used to collect normal voice, a voice data, the voice data preprocessing, generating voice data; a voice recognition module for receiving the data and voice recognition, speech recognition model should be loaded on the scene, according to the speech recognition model of the speech recognition data and convert text information; speech synthesis module for text input content of deaf people dialogue into speech and information. To normal people. The invention improves the accuracy of the speech recognition and the convenience of the deaf mute by determining the dialogue scene and performing specific speech detection and speech enhancement.

【技术实现步骤摘要】
聋哑人与正常人的辅助对话系统、方法及智能手机
本专利技术涉及聋哑人与正常人的交互
，尤其涉及一种聋哑人与正常人的辅助对话系统、方法及智能手机。
技术介绍
聋哑人由于听觉功能的缺失，在与正常人交流中存在着较大的障碍，特别是在聋哑人就医、购物等必须进行交流的场景，这种障碍就显得更为突出。通常情况下，聋哑人会随身携带一个笔记本，需要交流时在本子上通过书写文字的方式，与正常人进行交流。这种方式虽然在一定程度上解决了聋人与正常人交流的问题，但还是不很方便，一是随时携带笔记本，二是交流时双方交互写字也不自然便捷。为了给聋哑人与正常人之间的对话提供便利，出现了一些技术方案，主要可分为两类：第一类是基于手语和语音(或文字)的双向转换，即通过手语采集和识别装置来获取聋哑人的手语输入，再转换成语音输出给正常人，而正常人通过语音或文字输入，再通过文字或转换成手语显示给聋哑人。这类方案涉及的专利申请有一种便携式聋哑人交流设备(申请号：201610538192.0)、聋哑人进行信息交流的方法、装置及智能终端(申请号：201610168501.X)、一种聋哑患者交流装置(申请号：201510706510.5)、实现聋哑人智能通讯的系统(申请号：201410783982.6)、一种聋哑人交流智能辅助系统及交流的方法(申请号：201610393525.5)、聋哑人与人的智能信息交流装置及其交流方法(申请号：201610324696.2)、聋哑人语言转换器(申请号：201320276478.8)、一种辅助聋哑人对话的智能眼镜(申请号：201510419346.X)。另一类是通过专门的装置获取聋哑人的脑电波进行转换，这类方案的专利申请有聋哑人交流帽(申请号：201220639893.0)。上述方案中，第一类方案虽然可以部分实现聋哑人与正常人的交互，但手语交互还是很不准确，采集设备在实际使用中很难操作；而语音识别由于涉及的应用场景很复杂，一般的语音识别方法也达不到实用的程度。第二类方法一方面造价很高，一般人用不起，携带也不方便，而且技术难度高，只能正确获取少量的词汇。
技术实现思路
为了解决上述问题，本专利技术的目的在于提出了一种聋哑人与正常人的辅助对话系统、方法及智能手机。系统重点面向医院、银行、购物、出行等聋人生活中必须进行交流沟通的场景，提供了一种基于语音识别/合成的与正常人进行对话的系统。该系统基于智能手机上的多种传感器进行智能场景感知，根据得到的场景信息进行针对性的语音端点检测、语音增强，并选择加载适合的语音识别模型，从而可提高语音识别的准确性至可实用级别。具体地说，本专利技术公开了一种基于智能手机的聋哑人与正常人的辅助对话系统，包括：对话交互模块、场景感知模块、数据采集及预处理模块、语音识别模块、语音合成模块，其中：场景感知模块，用于感知并确定聋哑人与正常人的对话场景；数据采集及预处理模块，用于采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据；语音识别模块，用于接收识别该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息；语音合成模块，用于将聋哑人输入对话的文本内容转换成语音信息，并发给正常人；对话交互模块，用于控制整个交互流程以及聋哑人与系统之间的交互。该聋哑人与正常人的辅助对话系统，其中该对话交互模块，包括：流程控制模块，用于控制整个交互流程；对话文本输入模块，用于聋哑人在触摸屏上输入对话的文本内容；对话信息显示模块，用于将该文字信息发送到智能终端触摸屏，显示给聋哑人看。该聋哑人与正常人的辅助对话系统，其中该数据采集及预处理模块，包括根据该对话场景进行对该声音数据的起始点和结束点检测、去除噪音。该聋哑人与正常人的辅助对话系统，其中该场景感知模块，包括：位置分析模块，根据GPS，获取聋哑人所处的位置数据，并根据该位置数据，通过调用地图软件确定聋哑人位置属性；运动分析模块,根据调用运动传感器，获取聋哑人的运动属性；语义分析模块，根据分析聋哑人首次输入的该文本内容，获取该文本内容的语义属性；场景确定模块，根据该位置属性、该运动属性以及该语义属性，通过加权融合的算法确定场景信息。该聋哑人与正常人的辅助对话系统，其中该数据采集及预处理模块，包括：数据采集子模块，用于持续实时采集该声音数据并存入缓冲池；数据预处理子模块，用于从该缓冲池中取出该声音数据，并从该声音数据中提取语音数据，对该语音数据进行语音增强处理后发送给该语音识别模块。本专利技术还提出了一种聋哑人与正常人的辅助对话方法，其中包括以下步骤：场景感知步骤，感知并确定聋哑人与正常人的对话场景；数据采集及预处理步骤，采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据，并将该语音数据发送给语音识别步骤；语音识别步骤，接收该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息，该语音识别模型包括声学模型和语言模型；语音合成步骤，将聋哑人输入对话的文本内容，转换成语音信息，并发给正常人听；对话交互步骤，控制整个交互流程。该聋哑人与正常人的辅助对话方法，其中该对话交互步骤，包括：流程控制步骤，控制整个交互流程；对话文本输入步骤，通过触摸屏，输入聋哑人对话的文本内容；对话信息显示步骤，发送该文字信息到智能终端触摸屏，显示给聋哑人看。该聋哑人与正常人的辅助对话方法，其中该数据采集及预处理步骤，包括：数据采集步骤，持续实时采集该声音数据并存入缓冲池；数据预处理步骤，从该缓冲池中取出该声音数据，并从该声音数据中提取语音数据，对该语音数据进行语音增强处理后发送给该语音识别步骤。该聋哑人与正常人的辅助对话方法，其中该数据预处理步骤，每次从缓冲池中取一段固定时长的该声音数据；判断该声音数据中是否包含有语音，采用的判断方法为基于预先训练的分类器的方法：预先为每种场景训练一个语音分类器，该分类器为混合高斯模型、支持向量机、人工神经网络模型中的一种；若判断包含有语音，则进行记录后，继续取后续该声音数据进行处理；若判断未包含有语音，则查询是否有语音记录，若没有，则继续取后续声音处理，若有，则计算累计间隔时间，若该累计间隔时间小于预先规定的阈值，则继续取后续该声音数据进行处理，若该累计间隔时间大于预先规定的该阈值，则根据语音记录，截取从第一次记录到最后一次记录时间内所包含的全部该声音数据作为该语音数据，对该语音数据进行语音增强处理后发送给该语音识别步骤。本专利技术还包括一种采用该辅助对话系统的智能手机，包括外置远讲拾音器，采用直接插入或者无线方式与智能手机连接。本专利技术技术效果在于基于智能手机上的多种传感器感知并确定对话场景，根据得到的对话场景信息进行针对性的语音检测、语音增强，并选择加载适合的语音识别模型，从而可提高语音识别的准确性至可实用级别。系统重点面向医院、银行、购物、出行等聋人生活中必须进行交流沟通的场景，提供了一种基于语音识别/合成的与正常人进行对话的系统，可大大提升聋哑人生活的便捷性，减少与正常人沟通时的障碍。附图说明图1为系统环境组成图；图2为系统框图组成图；图3为交互过程的流程图；图4为对话交互模块流程图；图5为场景感知模块流程图；图6为基于场景的声音采集及预处理模块流程图。具本文档来自技高网...

【技术保护点】
一种聋哑人与正常人的辅助对话系统，其特征在于，该辅助对话系统基于智能手机且包括对话交互模块、场景感知模块、数据采集及预处理模块、语音识别模块、语音合成模块，其中：场景感知模块，用于感知并确定聋哑人与正常人的对话场景；数据采集及预处理模块，用于采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据；语音识别模块，用于接收识别该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息；语音合成模块，用于将聋哑人输入对话的文本内容转换成语音信息，并发给正常人；对话交互模块，用于控制整个交互流程以及聋哑人与系统之间的交互。

【技术特征摘要】
1.一种聋哑人与正常人的辅助对话系统，其特征在于，该辅助对话系统基于智能手机且包括对话交互模块、场景感知模块、数据采集及预处理模块、语音识别模块、语音合成模块，其中：场景感知模块，用于感知并确定聋哑人与正常人的对话场景；数据采集及预处理模块，用于采集正常人话音，生成声音数据，对该声音数据进行预处理，生成语音数据；语音识别模块，用于接收识别该语音数据，并加载对应该对话场景的语音识别模型，根据该语音识别模型将该语音数据识别并转换成文字信息；语音合成模块，用于将聋哑人输入对话的文本内容转换成语音信息，并发给正常人；对话交互模块，用于控制整个交互流程以及聋哑人与系统之间的交互。2.如权利要求1所述的聋哑人与正常人的辅助对话系统，其特征在于，该对话交互模块，包括：流程控制模块，用于控制整个系统按照交互流程运行；对话文本输入模块，用于聋哑人在触摸屏上输入对话的文本内容；对话信息显示模块，用于将该文字信息发送到智能终端触摸屏，显示给聋哑人看。3.如权利要求1所述的聋哑人与正常人的辅助对话系统，其特征在于，该数据采集及预处理模块，包括根据该对话场景进行对该声音数据的起始点和结束点检测、去除噪音。4.如权利要求1所述的聋哑人与正常人的辅助对话系统，其特征在于，该场景感知模块，包括：位置分析模块，根据GPS，获取聋哑人所处的位置数据，并根据该位置数据，通过调用地图软件确定聋哑人位置属性；运动分析模块,根据调用运动传感器，获取聋哑人的运动属性；语义分析模块，根据分析聋哑人首次输入的该文本内容，获取该文本内容的语义属性；场景确定模块，根据该位置属性、该运动属性以及该语义属性，通过加权融合的算法确定对话场景。5.如权利要求1所述的聋哑人与正常人的辅助对话系统，其特征在于，该数据采集及预处理模块，包括：数据采集子模块，用于持续实时采集该声音数据并存入缓冲池；数据预处理子模块，用于从该缓冲池中取出该声音数据，并从该声音数据中提取语音数据，对该语音数据进行语音增强处理后发送给该语音识别模块。6.一种聋哑人与正常人的辅助对话方...

【专利技术属性】
技术研发人员：钱跃良，王向东，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11