基于强制解码的语言相似性评估方法、语音识别方法及相关设备技术

技术编号:43945846 阅读:19 留言:0更新日期:2025-01-07 21:35
本发明专利技术提供了基于强制解码的语言相似性评估方法、语音识别方法及相关设备。其中,基于强制解码的语言相似性评估方法包括:S101:选择多语言语音模型,并指定所述多语言语音模型的目标语言;所述多语言语音模型用于将输入的源语言语音解码为目标语言文本;S102:将源语言语音输入至所述多语言语音模型以将其强制解码为目标语言文本,并得到所述目标语言文本的归一化后验概率;S103:基于所述归一化后验概率计算源语言和目标语言之间的语言相似性评分。基于此方法还提供了基于语言相似性的语音识别方法及相关设备。通过将源语言语音强制解码为目标语言文本,隐式的计算跨语言内在表征的相似性,并基于相似性评分进行语音识别进而提升识别性能。

【技术实现步骤摘要】

本专利技术涉及语音识别,尤其涉及基于强制解码的语言相似性评估方法、语音识别方法及相关设备


技术介绍

1、在语音识别领域,尽管不同语言在发音结构及表现形式上有所不同,但其高维特征具备相似的分布模式,即不同语言的相似语义具有相近的高维特征。多语言联合训练可以充分借助不同语言之间的内在关系,使多语言深度信息相互促进,互为增强,辅助目标语言语音识别性能提升。研究表明,提升模型对各语言的鉴别能力更有助于多语言语音识别性能的提升,而如何在模型多语言联合训练时引入有效的语言相关知识则是提升其语言鉴别能力的关键。

2、当前,语言信息引入的方法可分为基于先验知识的方法、基于数据驱动的方法以及基于预训练模型的方法。综合来看,基于先验知识的方法需要领域专家的经验和专业知识,虽然有效但成本昂贵,不能适应如今的智能化趋势。基于数据驱动的方法依赖于训练数据,只有具备足够数据量时映射网络才会展示出较好的性能,得到可信的相似性结果,这种数据依赖性导致其适用性不强。基于预训练模型的方法是近几年来的主流方法,但当前研究仅针对语音的语言种类这一被人类规定的显式信息评判语言相似性,本文档来自技高网...

【技术保护点】

1.一种基于强制解码的语言相似性评估方法,其特征在于,包括:

2.根据权利要求1所述的基于强制解码的语言相似性评估方法,其特征在于,所述语言相似性评分的计算公式如下:

3.一种基于语言相似性的语音识别方法,其特征在于,包括:

4.根据权利要求3所述的基于语言相似性的语音识别方法,其特征在于,所述多语言语音识别数据集包括语音数据和语言文本数据;其中,所述语言文本数据主要是由每条语音数据所对应的语言文本构成的。

5.根据权利要求3所述的基于语言相似性的语音识别方法,其特征在于,所述多语言语音模型采用MMS模型。

6.一种基于语言相似...

【技术特征摘要】

1.一种基于强制解码的语言相似性评估方法,其特征在于,包括:

2.根据权利要求1所述的基于强制解码的语言相似性评估方法,其特征在于,所述语言相似性评分的计算公式如下:

3.一种基于语言相似性的语音识别方法,其特征在于,包括:

4.根据权利要求3所述的基于语言相似性的语音识别方法,其特征在于,所述多语言语音识别数据集包括语音数据和语言文本数据;其中,所述语言文本数据主要是由每条语音数据所对应的语言文本构成的。

5.根据权利要求3...

【专利技术属性】
技术研发人员:屈丹刘云鹏高子涵郝朝龙杨绪魁牛铜
申请(专利权)人:中国人民解放军网络空间部队信息工程大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1