一种基于体感交互技术的失聪人群人工智能训练系统技术方案

本发明专利技术公开了一种基于体感交互技术的失聪人群人工智能训练系统，包括体感传感器、计算机处理系统、存储器、人工智能语音识别系统、显示器、音箱及皮肤听声器；体感传感器用于将获取的感知信息输入至计算机处理系统；计算机处理系统将感知信息发送给显示器和音箱；存储器用于存放计算机控制程序、图像处理程序、数据库；人工智能语音识别系统进行语音识别，计算机处理系统进行功能选择或操作命令；皮肤听声器用于佩戴在失聪人的耳部，皮肤听声器接收音箱发出的声音信号，并将其转换为电刺激信号本发明专利技术通过合理地设计，系统的应用简化了聋哑人语音识别的培训过程，降低了专业指导老师的入门门槛，具有十分重要的现实意义。具有十分重要的现实意义。具有十分重要的现实意义。

An artificial intelligence training system for deaf people based on somatosensory interaction technology

【技术实现步骤摘要】
一种基于体感交互技术的失聪人群人工智能训练系统


[0001]本专利技术属于语音辨识
，具体涉及一种基于体感交互技术的失聪人群人工智能训练系统。

技术介绍

[0002]如今，由于疾病、遗传、毒性药物、噪声、意外事故以及人口老龄化的影响，听力障碍及说话障碍的人数不断上升。这些影响了人们的正常生活，给许多家庭带来了痛苦与贫困。聋哑失聪人群不仅成为全球性的问题，也日益成为严重的社会问题，关爱失聪人员，迫在眉睫。
[0003]目前，现有技术中也有一些解决这类问题的技术方案；
[0004]如现有的申请号200410026265.5，申请日2004.06.24的专利技术专利公开了一种变压式皮肤听声器,根据生物学的听觉原理，利用电子与声学技术模仿人体的听觉器官，提供了便于聋哑人使用的皮肤听声器。该专利技术是将外部声音信号转换成电流信号，并将电流震荡信号通过皮肤传给大脑，使得听障用户能够感觉到刺激信号。
[0005]申请号200910219078.1，申请日2009.11.20的专利技术专利公开了一种“多通道阵列式皮肤听声器”,提供了一种利用多通道带通滤波及功率放大电路连接升压阵列装置，驱动平面电极阵列刺激皮肤不同位置的方式，使皮肤具备语音分辨能力。该专利技术需将复杂的语音还原为多路相对单纯的音频信号，并通过不同频率信号刺激人体不同位置的方式实现语音辨析。该过程需要听障用户经过长期的语言条件反射，反复训练后才能完成各种语音信号所产生不同刺激的记忆。
[0006]申请号201110245914.0，申请日2011.08.25的专利技术专利公开一种听障人群的语音辨识方法，通过微处理器将所接收到的语音信息转换成汉字信息，并结合汉字区位码表转换成0～9的数字信息，依据区位码，根据特定的皮肤刺激方案，实现听障人群对语音的辨识。
[0007]以上的现有专利中，在具体实施时，都需要专业指导老师(如手语老师) 进行专门培训，且由于所需记忆的刺激种类众多，形成条件反射所需时间较长，使得语音辨识过程较为复杂和困难。
[0008]在科技迅猛发展的今天，交互技术为聋哑人群提供了强大的技术支持，如何合理利用交互技术，加快聋哑人群的语音辨识进程，合理分配专业指导老师，降低了专业指导老师的入门门槛，具有重要研究意义。

技术实现思路

[0009]本专利技术的目的是提供一种基于体感交互技术的失聪人群人工智能训练系统，解决了目前如何进一步地合理利用交互技术来加快聋哑人群的语音辨识进程，以及如何进一步地合理分配专业指导老师来降低了专业指导老师的入门门槛的问题。
[0010]本专利技术所采用的技术方案是，
[0011]一种基于体感交互技术的失聪人群人工智能训练系统，包括体感传感器、计算机处理系统、存储器、人工智能语音识别系统、显示器、音箱及皮肤听声器，其中：
[0012]体感传感器包括有麦克风和摄像头，用于感知跟踪人体的骨骼和关节位置、以及捕捉声源位置和音频波方向以及面部表情的感知信息，进而将感知信息输入至计算机处理系统；
[0013]计算机处理系统用于接收感知信息：
[0014]将感知信息或相关处理结果信息中的视频信号发送给显示器，显示器接收并显示视频信号；
[0015]将感知信息或相关处理结果信息中的音频信号发送给音箱，音箱用于接收并播放音频信号；
[0016]存储器，用于存放计算机控制程序、图像处理程序、数据库，其中：
[0017]计算机控制程序用于控制失聪人群人工智能训练系统；图像处理程序，用于将感知信息中聋哑人的手语或唇语图像进行处理，分析并翻译聋哑人表达的内容；
[0018]数据库用于存放库存失聪人群日常训练的节目，每个节目包括相应的问候应答字句文字、文字读音、手语录像以及唇语录像；
[0019]数据库，用于存放库存失聪人群手语、唇语智能匹配的数据；
[0020]人工智能语音识别系统，用于将体感传感器感知的语音信号进行语音识别，并判断指导者的说话内容，计算机处理系统依据说话内容进行相应功能的选择或执行相应操作的命令；或将说话内容通过显示器显示、通过音箱播放；
[0021]皮肤听声器也设置有麦克风，皮肤听声器用于佩戴在失聪人的耳部，皮肤听声器接收音箱发出的声音信号，并将其转换为电刺激信号。
[0022]本专利技术的特点还在于；
[0023]存储器在程序运行时先进行初始化工作，用于设置系统参数、调整体感传感器与失聪人的位置。
[0024]包括自助训练和对话训练，其中：
[0025]自助训练：显示屏上默认画面分布包括：文字显示区、唇语显示区、手语显示区、上一节手势感应区、下一节手势感应区、参数设置手势区、退出手势区以及重复手势区。
[0026]文字显示区用于显示汉语、英语以及盲文；唇语显示区用于显示与文字显示对应的唇语录像；手语显示区用于显示与文字显示对应的手语动作录像；上一节手势感应区用于失聪人选择上一节的内容；下一节手势感应区用于失聪人选择下一节的内容；
[0027]参数设置手势区设置有两次感应功能，其中第一功能为通过设置参数规划系统显示格式、画面组合、对话训练中人机对话的延时时间及调整感传感器与聋哑人的位置；第二功能为进入对话训练；
[0028]退出手势区用于退出系统；重复手势区用于重复本节的内容。
[0029]对话训练包括人机对话训练和实战对话训练，人机对话训练为计算机与聋哑人的对话训练，实战对话训练为指导人与聋哑人的对话训练，其中：
[0030]计算机处理系统或指导人通过音箱发声向聋哑人问话，聋哑人佩戴的皮肤听声器将音箱的声音信号转换成“电刺激信号”刺激聋哑人耳部，聋哑人感知到问话；同时：
[0031]计算机处理系统将问话中相应的文字部分输出至显示器的文字显示区、将问话中
相应的唇语视频输出至显示器的唇语显示区、将问话中相应的手语视频输出至显示器的手语显示区。
[0032]参数设置手势区设置为：三秒内一次手势感应则进行第一功能，三秒内两次手势感应则进行第二功能。
[0033]本专利技术的有益效果是，本专利技术一种基于体感交互技术的失聪人群人工智能训练系统，系统依据体感传感器感知跟踪人体关节位置、捕捉声源位置和音频波方向、拍摄手语(唇语)图像等，通过人工智能图像处理技术、图像、声音、动画以及皮肤听声刺激等方式，将现实生活中的聋哑人听声训练过程通过体感交互技术进行展现，简化了聋哑人语音识别的培训过程，降低了专业指导老师的入门门槛，具有十分重要的现实意义。
[0034]系统设置自助训练和对话训练两种模式，自助训练可用于聋哑人自己进行独立训练，节约了专业指导老师的资源；对话训练设置人机对话和实战对话，人机对话主要用于聋哑人与计算机之间的训练，实战对话主要用于指导人与聋哑人之间的训练，为聋哑人后期娴熟的语音识别提供了实际操作环境。
附图说明
[0035]图1是本专利技术一种基于体感交互技术的失聪人群人工智能训练系统的系统框架示意图；
[0036]图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于体感交互技术的失聪人群人工智能训练系统，其特征在于，包括体感传感器(1)、计算机处理系统(2)、存储器(3)、人工智能语音识别系统(4)、显示器(5)、音箱(6)及皮肤听声器(7)，其中：所述体感传感器(1)包括有麦克风和摄像头，用于感知跟踪人体的骨骼和关节位置、以及捕捉声源位置和音频波方向以及面部表情的感知信息，进而将感知信息输入至计算机处理系统(2)；所述计算机处理系统(2)用于接收感知信息：将所述感知信息或相关处理结果信息中的视频信号发送给显示器(5)，所述显示器(5)接收并显示视频信号；将感知信息或相关处理结果信息中的音频信号发送给音箱(6)，所述音箱(6)用于接收并播放音频信号；所述存储器(3)，用于存放计算机控制程序、图像处理程序、数据库，其中：所述计算机控制程序用于控制失聪人群人工智能训练系统；所述图像处理程序，用于将感知信息中聋哑人的手语或唇语图像进行处理，分析并翻译聋哑人表达的内容；所述数据库用于存放库存失聪人群日常训练的节目，每个节目包括相应的问候应答字句文字、文字读音、手语录像以及唇语录像；所述数据库，用于存放库存失聪人群手语、唇语智能匹配的数据；所述人工智能语音识别系统(4)，用于将体感传感器(1)感知的语音信号进行语音识别，并判断指导者的说话内容，所述计算机处理系统(2)依据说话内容进行相应功能的选择或执行相应操作的命令；或将说话内容通过显示器(5)显示、通过音箱(6)播放；所述皮肤听声器(7)也设置有麦克风，所述皮肤听声器(7)用于佩戴在失聪人的耳部，所述皮肤听声器(7)接收音箱(6)发出的声音信号，并将其转换为电刺激信号。2.根据权利要求1所述的一种基于体感交互技术的失聪人群人工智能训练系统，其特征在于，所述存储器(3)在程序运行时先进行初始化工作，用于设置系统参数、调整体感传感器(1)与失聪人的位置。3.根据权利要求1所述的一种基于体感交互技术的失聪人群人工智能训练系统，其特征在于，包括自助训练和对话训练，其中：所述自助训练：所述...

【专利技术属性】
技术研发人员：张开生，
申请(专利权)人：西安培华学院，
类型：发明
国别省市：