一种针对低资源土家语的跨语言端到端语音识别方法技术

本发明专利技术公开了一种针对低资源土家语的跨语言端到端语音识别方法，包括：土家语语料预处理；构建跨语言的土家语语料库；建立中文国际音标和民族国际音标的统一编码字典；建立跨语言的端到端土家语语音识别模型；利用连接时序分类模型并在编码字典的作用下解码得到识别结果。本发明专利技术借助大语种语料充足的优势，结合迁移学习的思想，构造泛化性更强的识别模型，能够提高土家语语音识别的准确率。

【技术实现步骤摘要】
一种针对低资源土家语的跨语言端到端语音识别方法
本专利技术属于语音识别领域，涉及一种针对低资源土家语的跨语言端到端语音识别方法。
技术介绍
随着互联网技术的发展和计算机运算能力和硬件的提升,语音识别技术又一次迎来了新的热潮,尤其近年来,深度学习又一次点燃了科学家们语音识别技术的热情。语音识别技术的应用范围很广,伴随着人工智能的发展,语音识别技术不仅仅包括语音拨号,语音导航,语音文档检索,简单的听写数据录入等功能,还包括了智能交通控制,室内设备控制,智慧城市等方面的应用。若是语音识别技术能得到很好的发展,相信可以给人类衣食住行等方面带来极大的便利和影响,可以推动人类未来智能化生活和工作的进步。语音信号是一种非平稳时序信号，其形成和感知的过程就是一个复杂信号的处理过程，而语音识别可视为一个序列到序列的分类问题，即声学观测序列X＝(x1,x2,…,xT)被映射到字符序列W＝(w1,w2,…,wN)上,其中T为时间，N为字符个数，解决概率P(W|X)的问题。在时序分类任务中，常用的方法是输入数据与给定标签必须要在时间上达到帧级别的对齐，只有这样才能使用隐马尔科夫模型(HiddenMarkov本文档来自技高网...

【技术保护点】
1.一种针对低资源土家语的跨语言端到端语音识别方法，其特征在于，包括以下步骤：1)对土家语语料进行预处理：对土家语长篇原始语料的句子进行切分，得到每个句子的声音与其对应的国际音标文本，完成句子的声音与文本的校对，使得句子的声音与文本一一对应，由此得到预处理后的土家语数据；2)构建跨语言的土家语语料库：以汉语语音数据集作为土家语的扩展数据，将汉语拼音转换成国际音标，使其与步骤1)中的土家语数据格式一致；建立汉语和土家语的跨语言语料库；汉语和土家语的跨语言语料库包括步骤1)预处理后的土家语数据和将汉语语音数据集中的汉语拼音转换成国际音标后得到的汉语数据；3)建立中文国际音标和民族国际音标的统一编码...

【技术特征摘要】
1.一种针对低资源土家语的跨语言端到端语音识别方法，其特征在于，包括以下步骤：1)对土家语语料进行预处理：对土家语长篇原始语料的句子进行切分，得到每个句子的声音与其对应的国际音标文本，完成句子的声音与文本的校对，使得句子的声音与文本一一对应，由此得到预处理后的土家语数据；2)构建跨语言的土家语语料库：以汉语语音数据集作为土家语的扩展数据，将汉语拼音转换成国际音标，使其与步骤1)中的土家语数据格式一致；建立汉语和土家语的跨语言语料库；汉语和土家语的跨语言语料库包括步骤1)预处理后的土家语数据和将汉语语音数据集中的汉语拼音转换成国际音标后得到的汉语数据；3)建立中文国际音标和民族国际音标的统一编码字典：分别建立土家语和汉语的国际音标字典；并将汉语的国际音标转为民族国际音标；统一编码字典包括土家语的国际音标和汉语的国际音标；4)建立跨语言的端到端土家语语音识别模型：首先使用多语言语音识别方法，由步骤2)构建的土家语语料库中的语音得到语谱图；将其输入到卷积神经网络完成特征提取；接着采用双向长短时记忆网络对长序列进行建模，完成共享声学特征提取；最后利用连接时序分类模型并在统一编码字典的作用下进行解码得到识别结果，输出土家语的国际音标；5)采用跨语言和迁移学习的方法，使用土家语和汉语的跨语言语料库作为训练数据，对步骤4)建立的跨语言的端到端土家语语音识别模型进行训练，得到初始模型；继续使用土家语语料库作为训练数据进行训练，得到训练好的跨语言的端到端土家语语音识别模型；利用训练好的跨语言的端到端土家语语音识别模型，即可实现对待识别的土家语进行跨语言端到端的语音识别。2.如权利要求1所述针对低资源土家语的跨语言端到端语音识别方法，其特征是，步骤1)具体利用Praat脚本完成土家语长篇原始语料的句子切分。3.如权利要求1所述针对低资源土家语的跨语言端到端语音识别方法，其特征是，步骤2)中，所述汉语语音数据集具体采用清华大学30小时汉语语音数据集thchs30作为土家语的扩展数据，用于解决土家语语音数据不足的问题。4.如权利要求1所述针对低资源土家语的跨语言端到端语音识别方法，其特征是，步骤3)中，土家语的国际音标字典和汉语的国际音标字典的相似度为70％以上。5.如权利要求1所述针对低资源土家语的跨语言端到端语音识别方法，其特征是，步骤4)建立跨语言的端到端土家语语音识别模型，具体执行如下操作：41)将土家语和汉语语音的语谱图输入到卷积神经网络，首先经过第一层卷积层和一层最大池化层，再经过第二层卷积层，提取得到高维特征；42)将高维特征输入3层双向长短期记忆网络BiLSTM，提取共享声学特征；43)利用连接时序分类CTC模型及步骤3)所述统一编码字典进行解码，得到识别结果，模型输出为土家语国际音标。6.如权利要求5所述针对低资源土家语的跨语言端到端语音识别方法，其特征是，步骤41)中，第一层卷积层的滤波器的大小为11*41...

【专利技术属性】
技术研发人员：于重重，陈运兵，徐世璇，刘畅，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京,11