基于语音模式识别和振动反馈的助残装置及交互方法制造方法及图纸

本发明专利技术公开了一种基于语音模式识别和振动反馈的助残装置及交互方法，包括语音采集终端、模式识别处理器以及反馈终端三个部分；语音采集终端包括麦克风和语音预处理器；模式识别处理器包括特征提取器、特征存储器、模式特征数据库以及学习器；振动反馈终端包括反馈模式选择器、振动模块、图形输出模块以及声音输出模块；语音采集终端将采集到的语音数据经处理后传送到模式识别处理器，然后进行模式对比，转换成模式识别结果输送到反馈终端，经对比处理后以振动、图像、声音以及振动与图像组合的形式输出。该发明专利技术可将环境或被感知对象的含义模糊的语音信号转化为可感知的触觉和视觉信号，用于帮助听力障碍者识别特定环境的需求。

【技术实现步骤摘要】

本专利技术涉及一种基于语音模式识别和振动反馈的装置及交互方法。主要用于帮助听力障碍者识别特定环境需求，并以振动模式给出行为建议。
技术介绍
随着信息技术飞速发展，不同地区的人交流起来越来越便利，但某些特殊人群的沟通仍然存在着问题。近年来社会大众对弱势群体关注不断提升，针对残障人士的信息无障碍设计也逐渐丰富，并不断细分。信息主要通过五感来传达，五感之间的信息模式相互转化，是信息无障碍设计的主要手段。目前，针对听力障碍者，采用最多的就是佩戴助听器，通过助听器实现与外界世界的接触与交流。现代的电子助听器实际上是一放大器，它的功能是增加声能强度并尽可能不失真地传入耳内。因声音的声能不能直接放大，故有必要将其转换为电信号，放大后再转换为声能。输入换能器将输入声能转为电能传至放大器，放大器将输入电信号放大后，再传至输出换能器，输出换能器把放大的信号由电能再转为声能或动能输出。完成整个过程的放大功能。公开号为104717594A的中国专利公开了一种助听系统、助听手机及其助听方法，该助听方法主要是利用由语音输出模块、数据获取模块、验配模块以及语音处理芯片组成的助听手机和耳机实现的，具体的方法为；首先依次输出预设的不同的语音信号；然后获取用户对所述不同的语音信号的听力结果，并根据所述听力结果获取所述用户的听阈数据；接下来根据所述听阈数据获得分别对应所述不同的语音信号的控制参数；最后根据所述控制参数对输入的语音信号进行调整，以符合所述用户的听力需求。该方法通过手机实现助听测试，但是携带这样一个特殊的耳机会不方便，如果忘记携带了，将不能完成助听。公开号为105551224A的中国专利公开了一种基于无线传输的助听方法和系统，该系统由多功能音频处理、无线传输装置以及基于无线传输的可穿戴语音处理装置组成，通过在多功能音频处理和无线传输装置中集成语音采集，使用蓝牙等近距离无线技术传输送给基于无线传输的可穿戴语音处理装置，通过耳机将信号送至耳内，但是技术成本高，不适合大多数听力障碍者，面对完全没听力的人，这种系统就不适合了。
技术实现思路
基于以上描述的不足，本专利技术提供一种基于语音模式识别和振动反馈的装置及交互方法，可将环境或被感知对象的含义模糊的语音信号转化为可感知的触觉和视觉信号，用于帮助听力障碍者识别特定环境的需求，并以振动模式或图像的模式给出行为建议。一种基于语音模式识别和振动反馈的助残装置，包括语音采集终端、模式识别处理器以及反馈终端三个部分；所述的语音采集终端包括麦克风和语音预处理器；所述的模式识别处理器包括特征提取器、特征存储器、模式特征数据库以及学习器；所述的振动反馈终端包括反馈模式选择器、振动模块、图形输出模块以及声音输出模块；语音采集终端将麦克风采集到的语音数据经语音预处理器处理后传送到模式识别处理器的特征提取器，特征提取器提取语音数据中的语音特征数据，并存储于特征存储器，然后将特征存储器中的语音特征数据与模式特征数据库中的语音特征数据进行模式对比，转换成模式识别结果输送到反馈终端的反馈模式选择器，经对比处理后通过振动模块、图形输出模块以及声音输出模块以振动、图像、声音以及振动与图像组合的形式输出。所述的语音采集终端用于采集语音数据，并对语音数据进行强化和去噪；可佩戴或放置于对象附近。所述的麦克风用一定的采样频率接收声波并产生相应的电信号；所述的采样频率可以为10HZ-20HZ。所述的语音预处理器包括模数转换器(ADC)、增益校正器以及噪声消除器。所述的模数转换器(ADC)将采集到的模拟语音数据转换为数字语音数据，即模数转换器将声波振幅数据采样转换成一串数字语音数据，存储为数字格式，如WAV、AIFF、MIDI、MP3格式。所述的增益矫正器用来防止因高频语音数据的减弱而致使低频部分数据成为语音数据的主要成分，而对高频部分语音频谱进行提升；噪声消除器用来有效地去除目标语音数据以外的多余噪音数据，可以利用端点检测技术进行去噪，其方法步骤为：(1)按照分段交叠法将语音信号分为一帧一帧的声段；(2)以帧为单位，将语音划分为有效语音信号和噪音帧；(3)去除噪音帧。所述的目标语音数据为被感知的对象发出的语音数据。所述的模式识别处理器，用于有效地提取语音特征信息，减小数据计算量和存储量，并进行模式识别；该模式识别处理器内置于语音采集终端或反馈终端，或独立外置；所述的特征提取器，对预处理过的语音数据进行语音特征提取；所述的特征存储器用来存储需要进行识别的语音特征数据；所述的模式特征数据库存储了用作模式匹配的语音特征数据；它是研究人员对目标语音数据进行采集、预处理、特征提取，并按照观察到的行为类型进行分级或分类，得到的若干段目标语音数据。所述的行为类型根据目标来制定，如果该目标语音数据为婴儿语音数据，则行为类型为饥饿、困倦、便溺、开心等。模式识别处理器中的特征提取器对预处理过的语音数据进行语音特征数据提取，将语音特征数据存储于特征存储器中，然后与内置的模式特征数据库进行比对，得到一个模式识别结果，并输送到反馈终端。所述的学习器，可将新采集的语音特征数据存储起来，通过使用学习模型来生成针对个体用户的用户语音模式库；用户语音模式库可定期更新数据，从而能够随目标变化得到更加精准的语音识别结果。所述的反馈终端，通过振动或图像的方式传送模式识别处理器所识别到的语音模式，多佩戴于接收振动信息的对象身上；所述的反馈模式选择器中置有若干反馈模式，根据模式识别处理器所识别的结果，可控制振动模块输出不同强度和频率的振动信号，控制图像输出模块输出相应的视觉信号。所述的振动模块可包含振动器，可输出不同强度不同节奏的组合信号，用以表达不同的模式；所述的图像输出模块可包含显示器，可输出不同的图形图像，用以表达不同的模式。该装置中的语音采集终端、模式识别处理器以及振动反馈终端各带电源，且彼此之间通过无线方式通讯。一种基于语音模式识别和振动反馈的助残装置的交互方法，具体步骤如下：步骤1，语音采集端利用麦克风采集语音数据；步骤2，对语音数据进行处理，并将处理后的语音数据传送到模式识别处理器；步骤3，模式识别器对语音数据进行模式比对，得到模式识别结果，传送到反馈终端；步骤4，反馈终端进行对比处理，以振动、振动与图像组合、以及振动与语音组合的形式输出。步骤2的具体步骤为：步骤2-1，利用模数转换器将采集到的模拟语音数据转换为数字语音数据；步骤2-2，利用增益矫正器将数字语音数据中的高频语音频谱进行提升；步骤2-3，利用噪声消除器去除目标语音数据以外的多余噪音数据，得到处理过的数字语音数据。在步骤2-2中，可以利用MATLAB核心算法xx＝filter([1-0.9375],1,x)进行数字语音数据的矫正，其中x是待识别的数字语音数据，xx为经过增益矫正的数字语音数据。步骤3的具体步骤为：步骤3-1，利用特征提取器，对预处理过的数字语音数据进行语音特征提取；步骤3-2，将提取到的数字语音特征数据存储于特征存储器中；步骤3-3，将特征存储器中的数字语音特征数据与模式特征数据库中的数字语音特征数据进行模式比对匹配，得到一个模式识别结果，并输送到反馈终端。在步骤3-1中，可以根据特征参数线性预测系数(LPC)、线性预测倒谱系数(LPCC)以及Mel倒谱系数(MFCC)本文档来自技高网...

【技术保护点】
一种基于语音模式识别和振动反馈的助残装置，其特征在于：包括语音采集终端、模式识别处理器以及反馈终端三个部分；所述的语音采集终端包括麦克风和语音预处理器；所述的模式识别处理器包括特征提取器、特征存储器、模式特征数据库以及学习器；所述的振动反馈终端包括反馈模式选择器、振动模块、图形输出模块以及声音输出模块；语音采集终端将麦克风采集到的语音数据经语音预处理器处理后传送到模式识别处理器的特征提取器，特征提取器提取语音数据中的语音特征数据，并存储于特征存储器，然后将特征存储器中的语音特征数据与模式特征数据库中的语音特征数据进行模式对比，转换成模式识别结果输送到反馈终端的反馈模式选择器，经对比处理后通过振动模块、图形输出模块以及声音输出模块以振动、图像、声音以及振动与图像组合的形式输出。

【技术特征摘要】
1.一种基于语音模式识别和振动反馈的助残装置，其特征在于：包括语音采集终端、模式识别处理器以及反馈终端三个部分；所述的语音采集终端包括麦克风和语音预处理器；所述的模式识别处理器包括特征提取器、特征存储器、模式特征数据库以及学习器；所述的振动反馈终端包括反馈模式选择器、振动模块、图形输出模块以及声音输出模块；语音采集终端将麦克风采集到的语音数据经语音预处理器处理后传送到模式识别处理器的特征提取器，特征提取器提取语音数据中的语音特征数据，并存储于特征存储器，然后将特征存储器中的语音特征数据与模式特征数据库中的语音特征数据进行模式对比，转换成模式识别结果输送到反馈终端的反馈模式选择器，经对比处理后通过振动模块、图形输出模块以及声音输出模块以振动、图像、声音以及振动与图像组合的形式输出。2.根据权利要求1所述的基于语音模式识别和振动反馈的助残装置，其特征在于：所述的语音预处理器包括模数转换器、增益校正器以及噪声消除器。3.根据权利要求1所述的基于语音模式识别和振动反馈的助残装置的交互方法，其特征在于：具体步骤如下：步骤1，语音采集端利用麦克风采集语音数据；步骤2，对语音数据进行处理，并将处理后的语音数据传送到模式识别处理器；步骤3，模式识别器对语音数据进行模式比对，得到模式识别结果，传送到反馈终端；步骤4，反馈终端进行对比处理，以振动、振动与图像组合、以及振动与语音组合的形式输出。4.根据权利要求3所述的基于语音模式识别和振动反馈的交互方法，其特征在于：步骤2的具体步骤为：步骤2-1，利用模数转换器将采集到的模拟语音数据转换为数字语音数据；步骤2-2，利用增益矫正器将数字语音数据中的高...

【专利技术属性】
技术研发人员：李冰，姚琤，郑大巍，鲁雨佳，张小恋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33