口音语音识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种口音语音识别方法、装置、设备及存储介质。该方法包括：获取多种口音语音样本，并分别对所述各口音语音样本进行口音标注和音素标注，对应得到多种口音标签和音素状态序列；分别提取所述各口音语音样本对应的第一声学特征；将所述第一声学特征、所述口音标签和所述音素状态序列输入预置训练模型进行训练，得到口音语音识别模型；获取待识别的口音语音，并提取所述口音语音的第二声学特征；将所述第二声学特征输入所述口音语音识别模型进行识别，输出所述口音语音对应的口音类别和音素状态序列。本发明专利技术通过引入门机制和口音识别分支，实现了多种口音语音的准确识别。

【技术实现步骤摘要】
口音语音识别方法、装置、设备及存储介质
本专利技术涉及人工智能领域，尤其涉及一种口音语音识别方法、装置、设备及存储介质。
技术介绍
语音识别作为人机交互的重要技术，在工业生产和日常生活中越来越重要，比如智能家居场景和智能车载系统等。标准普通话作为中国官方语言，但当粤、湘、客家、闽以及赣等方言地区的人将普通话作为第二语言时，普通话会携带很明显的口音。如何有效的对口音普通话的识别，提高识别率成为当前研究的热门。但是传统的语音识别方法，在识别带有明显口音的普通话时，识别率很低，导致识别的结果错误很多。
技术实现思路
本专利技术的主要目的在于解决现有口音语音的识别准确率低的技术问题。本专利技术第一方面提供了一种口音语音识别方法，所述口音语音识别方法包括：获取多种口音语音样本，并分别对所述各口音语音样本进行口音标注和音素标注，对应得到多种口音标签和音素状态序列；分别提取所述各口音语音样本对应的第一声学特征；将所述第一声学特征、所述口音标签和所述音素状态序列输入预置训练模型进行训练，得到口音语音识本文档来自技高网...

【技术保护点】
1.一种口音语音识别方法，其特征在于，所述口音语音识别方法包括：/n获取多种口音语音样本，并分别对所述各口音语音样本进行口音标注和音素标注，对应得到多种口音标签和音素状态序列；/n分别提取所述各口音语音样本对应的第一声学特征；/n将所述第一声学特征、所述口音标签和所述音素状态序列输入预置训练模型进行训练，得到口音语音识别模型；/n获取待识别的口音语音，并提取所述口音语音的第二声学特征；/n将所述第二声学特征输入所述口音语音识别模型进行识别，输出所述口音语音对应的口音类别和音素状态序列。/n

【技术特征摘要】
1.一种口音语音识别方法，其特征在于，所述口音语音识别方法包括：
获取多种口音语音样本，并分别对所述各口音语音样本进行口音标注和音素标注，对应得到多种口音标签和音素状态序列；
分别提取所述各口音语音样本对应的第一声学特征；
将所述第一声学特征、所述口音标签和所述音素状态序列输入预置训练模型进行训练，得到口音语音识别模型；
获取待识别的口音语音，并提取所述口音语音的第二声学特征；
将所述第二声学特征输入所述口音语音识别模型进行识别，输出所述口音语音对应的口音类别和音素状态序列。


2.根据权利要求1所述的口音语音识别方法，其特征在于，所述训练模型包括：Baseline模型和Xvector模型，所述Baseline模型包括第一TDNN网络、门机制层、第二TDNN网络和Softmax层，所述将所述第一声学特征、所述口音标签和所述音素状态序列输入预置训练模型进行训练，得到口音语音识别模型包括：
将所述第一声学特征输入所述第一TDNN网络进行声学信息提取，得到第一有效信息；
将所述第一有效信息输入所述Xvector模型进行口音类别识别，得到所述口音语音样本对应的口音类别；
将所述第一有效信息和所述第一口音类别输入所述门机制层进行口音信息融合，得到第一口音融合信息；
将所述第一口音融合信息输入所述第二TDNN网络进行口音信息调整，得到第一口音调整信息；
将所述第一口音调整信息输入所述Baseline模型中的Softmax层进行特征运算，输出所述口音语音样本对应的音素状态序列；
根据所述口音标签和所述音素状态序列，调用预置损失函数，计算所述口音语音样本对应的口音类别和音素状态序列的误差值；
根据所述误差值，对所述Baseline模型和所述Xvector模型进行参数调优，直至所述Baseline模型和所述Xvector模型收敛，得到口音语音识别模型。


3.根据权利要求2所述的口音语音识别方法，其特征在于，所述Xvector模型包括第三TDNN网络、Statisticspooling层、第四TDNN网络和Softmax层，所述将所述第一有效信息输入所述Xvector模型进行类别识别，得到所述口音语音样本对应的口音类别包括：
将所述第一有效信息输入所述第三TDNN网络进行声学特征分割，得到第一帧级特征信息；
将所述第一帧级特征信息输入所述Statisticspooling层进行均值方差计算，得到第一平均特征信息；
将所述第一平均特征信息输入所述第四TDNN网络进行声学特征信息提取，得到第一平均有效信息；
将所述第一平均有效信息输入所述Xvector模型中的Softmax层进行口音分类概率运算，得到所述口音语音样本对应的口音类别。


4.根据权利要求1所述的口音语音识别方法，其特征在于，所述分别提取所述各口音语音样本对应的第一声学特征包括：
分别对所述各口音语音样本进行分帧，得到多个语音帧；
对所述各语音帧进行预增强和加窗，得到第一声学特征。


5.根据权利要求3所述的口音语音识别方法，其特...

【专利技术属性】
技术研发人员：周亚云，马骏，王少军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44