自动识别语种的车载人机交互方法、车载终端及存储介质技术

本发明专利技术公开了一种自动识别语种的车载人机交互方法、车载终端及存储介质，其通过预设一个以上语种的语料库，所述语料库根据车辆的人机交互场景进行配置，且每个语种的语料库设有对应语种的模板语音；将接收的用户语音与所述模板语音进行匹配，根据匹配结果判断所述用户语音的语种类型；根据用户语音的语种类型调用对应语种的语料库，并利用该对应语种的语料库实现人机交互；从而实现无语言障碍的车载人机交互功能，满足国际化需求。

【技术实现步骤摘要】
自动识别语种的车载人机交互方法、车载终端及存储介质
本专利技术涉及智能汽车
，特别是一种自动识别语种的车载人机交互方法及其应用该方法的车载终端和存储介质。
技术介绍
如今的汽车功能已经不仅仅是传统的代步功能，随着时代的发展，新型技术的不断开发，汽车也越来越智能化，从出行工具转变为智能的生活平台。其中，车载语音交互技术成为智能汽车的发展主流。传统的车载人机交互主要是采用触控式或按键式，用户不仅需要手动操作，而且还需要频繁低头看屏幕来确认自己的操作是否正确，使得用户无法专心驾驶，导致极大的安全隐患。车载语音交互技术解放了人的手和眼睛，使人机交互能够以人类最熟悉的方式进行，只需用户发出语音指令就可以完成相关操作，不用低头、不用动手，确保驾驶员的注意力集中在驾驶上，提高安全性。特别是，车载语音交互技术不仅能够解放用户的双手，而且增加了用户与汽车之间的互动，更具有趣味性和新鲜感，能够以更加人性化的方式给予用户反馈，而不是冰冷的机械触感。在全球化日益显著的今天,语种差异一直是阻碍国际交流的鸿沟。随着国际化程度不断提高，国人不断走出国门，外国人不断的来中国旅游、经商，无论是中国的语音种类还是国外的语种都过于繁多，导致语音交互功能无法广泛使用。例如，熟悉英文等外文的外国人驾驶中国的汽车时，无法使用中文的车载语音交互系统。因此，跨语言应用场景的语音识别和语音交互成为急需解决的问题。
技术实现思路
本专利技术为解决上述问题，提供了一种自动识别语种的车载人机交互方法、车载终端及存储介质，其通过预设一个以上语种的语料库，并通过识别用户语音的语种类型调用对应语种的语料库，从而根据该对应语种的语料库实现无语言障碍的车载人机交互功能。为实现上述目的，本专利技术采用的技术方案为：一种自动识别语种的车载人机交互方法，其包括以下步骤：预设一个以上语种的语料库，所述语料库根据车辆的人机交互场景进行配置，且每个语种的语料库设有对应语种的模板语音；将接收的用户语音与所述模板语音进行匹配，根据匹配结果判断所述用户语音的语种类型；根据用户语音的语种类型调用对应语种的语料库，并利用该对应语种的语料库实现人机交互。优选的，所述用户语音和所述模板语音为车辆启动指令，所述用户语音与所述模板语音进行匹配时，根据匹配结果控制车辆启动，同时，根据匹配结果识别用户语音的语种类型；或者，所述用户语音和所述模板语音为程序启动指令，所述用户语音与所述模板语音进行匹配时，根据匹配结果控制程序启动，同时，根据匹配结果识别用户语音的语种类型。优选的，所述用户语音与所述模板语音进行匹配，是通过分别对所述用户语音和所述模板语音提取音频特征，根据所述音频特征进行匹配；所述音频特征包括短时功率谱密度、语谱图、共振峰，先根据语谱图进行特征匹配，满足匹配条件后再进一步根据短时功率谱密度和共振峰进行特征匹配；或者，同时根据短时功率谱密度、语谱图、共振峰进行特征匹配。所述语谱图的提取进一步包括以下步骤：对所述用户语音或所述模板语音进行语音分帧；对每个语音帧按照时序分别进行快速傅里叶变换；将变换后的频谱幅度值作为纵坐标，语音帧对应的时间作为横坐标，语音能量作为坐标点值，得到语谱图。所述短时功率谱密度的提取进一步包括以下步骤：对所述用户语音中的N个采样点的信号uN(n)进行傅里叶变换：并进一步对变换后信号求短时功率谱密度：所述共振峰的提取进一步包括以下步骤：首先对所述用户语音进行预加重处理；并进行希尔伯特变换，得到原实值信号的解析信号；接着采用四个自适应共振峰滤波器进行动态滤波处理，每个滤波器由一个全零点滤波器和一个单极点的动态追踪滤波器组成；然后进行清浊音检测、性别检测、能量检测；最后通过移动平均值作决策，符合预设条件的值作为共振峰估计值保留，不符合预设条件的值用其移动平均值代替。优选的，所述用户语音与所述模板语音进行匹配，进一步包括以下步骤：通过codec芯片采集用户语音的模拟信号；通过PCM将模拟信号转换为数字信号，并将所述数字信号经I2S总线传送至CPU；通过CPU对语音信号进行预处理；所述预处理包括：消除回音、噪声抑制、自动增益，并将预处理后的语音信号编码成码流；通过CPU对码流进行音频特征的提取，得到用户语音的音频特征；将用户语音的音频特征与模板语音的音频特征进行匹配。优选的，所述人机交互为语音交互和/或界面交互；所述语音交互是根据所述对应语种的语料库进行语音输出，实现人机的语音交流；所述界面交互是根据所述对应语种的语料库在车载界面展示对应语种的菜单，实现人机的界面交互。本专利技术之另一目的在于，提供一种车载终端，包括存储器和处理器，所述存储器中存储有指令，所述处理器通过执行所述存储器中存储的指令使得车载终端实现如上述任一项所述的车载人机交互方法。本专利技术之再一目的在于，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，车载终端执行所述指令使得车载终端实现上述任一项所述的车载人机交互方法。本专利技术的有益效果是：(1)本专利技术通过预设一个以上语种的语料库，并通过识别用户语音的语种类型调用对应语种的语料库，从而根据该对应语种的语料库实现无语言障碍的车载人机交互功能，满足国际化需求；(2)本专利技术用于语种识别的模板语音采用启动指令的语音，包括车辆启动指令或程序启动指令，一方面，车辆可根据该启动指令控制车辆或程序启动，操作便捷；另一方面，在启动的同时还可进行语种分析和识别，无需用户进行语种切换的操作，用户体验更好；(3)本专利技术通过提取语音的音频特征进行特征匹配和语种识别，该音频特征首先对语谱图进行匹配，匹配成功后再进一步通过短时功率谱密度和共振峰进行验证，在保证识别准确性的基础上能够提高算法效率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术一种自动识别语种的车载人机交互方法的流程简图；图2为本专利技术的用户音频处理和分析过程的流程简图；图3为本专利技术一种车载终端的人机交互系统框架结构示意图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。人体的语音是由人体的发音器官在大脑的控制下做生理运动产生的。人体发音器官由三部分组成：肺和气管、喉、声道。肺是语音产生的能源所在。气管连接着肺和喉，是肺与声道的联系通道。喉是由一个软骨和肌肉组成的复杂系统，其中包含着重要的发音器官——声带。声带为产生语音提供主要的激励源。声道是指声门(喉)至嘴唇的所有发音器官，包括咽喉、口腔和鼻腔。语音是声音本文档来自技高网...

【技术保护点】
1.一种自动识别语种的车载人机交互方法，其特征在于，包括以下步骤：/n预设一个以上语种的语料库，所述语料库根据车辆的人机交互场景进行配置，且每个语种的语料库设有对应语种的模板语音；/n将接收的用户语音与所述模板语音进行匹配，根据匹配结果判断所述用户语音的语种类型；/n根据用户语音的语种类型调用对应语种的语料库，并利用该对应语种的语料库实现人机交互。/n

【技术特征摘要】
1.一种自动识别语种的车载人机交互方法，其特征在于，包括以下步骤：
预设一个以上语种的语料库，所述语料库根据车辆的人机交互场景进行配置，且每个语种的语料库设有对应语种的模板语音；
将接收的用户语音与所述模板语音进行匹配，根据匹配结果判断所述用户语音的语种类型；
根据用户语音的语种类型调用对应语种的语料库，并利用该对应语种的语料库实现人机交互。


2.根据权利要求1所述的自动识别语种的车载人机交互方法，其特征在于，所述用户语音和所述模板语音为车辆启动指令，所述用户语音与所述模板语音进行匹配时，根据匹配结果控制车辆启动，同时，根据匹配结果识别用户语音的语种类型；或者，所述用户语音和所述模板语音为程序启动指令，所述用户语音与所述模板语音进行匹配时，根据匹配结果控制程序启动，同时，根据匹配结果识别用户语音的语种类型。


3.根据权利要求1所述的自动识别语种的车载人机交互方法，其特征在于，所述用户语音与所述模板语音进行匹配，是通过分别对所述用户语音和所述模板语音提取音频特征，根据所述音频特征进行匹配；所述音频特征包括短时功率谱密度、语谱图、共振峰，先根据语谱图进行特征匹配，满足匹配条件后再进一步根据短时功率谱密度和共振峰进行特征匹配；或者，同时根据短时功率谱密度、语谱图、共振峰进行特征匹配。


4.根据权利要求3所述的自动识别语种的车载人机交互方法，其特征在于，所述语谱图的提取进一步包括以下步骤：
对所述用户语音或所述模板语音进行语音分帧；
对每个语音帧按照时序分别进行快速傅里叶变换；
将变换后的频谱幅度值作为纵坐标，语音帧对应的时间作为横坐标，语音能量作为坐标点值，得到语谱图。


5.根据权利要求3所述的自动识别语种的车载人机交互方法，其特征在于，所述短时功率谱密度的提取进一步包括以下步骤：
对所述用户语音中的N个采样点的信号uN(n)进行傅里叶变换：



并进一步对变换后信号求短时功率...

【专利技术属性】
技术研发人员：杨冰冰，
申请(专利权)人：厦门中云创电子科技有限公司，
类型：发明
国别省市：福建;35