基于冷融合技术的端到端高效汉语-瑶语语音识别系统技术方案

技术编号:44326455 阅读:13 留言:0更新日期:2025-02-18 20:35
本发明专利技术公开了基于冷融合技术的端到端高效汉语‑瑶语语音识别系统,该系统通过分词器训练模块构建并更新汉语‑瑶语词典,数据整理模块对文本进行分词和正则化处理。核心在于语音模型训练模块,该模块利用注意力机制的端到端ASR模型,并通过冷融合技术集成大语言模型进行辅助训练,显著提升识别效率与准确性。模型评估模块则全面评估识别结果的质量,包括准确率、召回率和F1分数。本发明专利技术通过对预训练语言模型进行微调和集成语言模型解码,在仅需要少量语音数据的情况下就可以得到效果较好的语音识别模型,通过冷融合技术集成大语言模型解码方法能够综合不同模型的优点,进一步提高了模型的识别能力和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及语音识别,具体是基于冷融合技术的端到端高效汉语-瑶语语音识别系统


技术介绍

1、语音识别技术是一种自动语音转换技术,它结合了信号处理、机器学习和自然语言处理,实现了从口语语音到文本的转换,经历了基于模型、基于统计和神经网络的演变。目前,基于神经网络的语音识别技术因其高性能、高准确率以及高效性而广泛应用成为主流技术。传统语音识别需要包括特征提取、发音词典、声学模型、语言模型等多个模块,基于神经网络的语音识别技术由三个基础组件构成:

2、声学模型:典型系统多采用基于一阶隐马尔科夫模型进行建模。

3、语言模型:语言模型对系统所针对的语言进行建模。理论上,包括正则语言,上下文无关文法在内的各种语言模型都可以作为语言模型,但目前各种系统普遍采用的还是基于统计的n-gram模型及其变体。

4、发音词典:发音词典包含系统所能处理的词汇集及其发音。发音词典实际提供了声学模型建模单元与语言模型建模单元间的映射。

5、其中语言模型可以基于语法规则,也可以基于统计方法。

6、基于语法规则的语言模型使用实本文档来自技高网...

【技术保护点】

1.基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于,包括以下模块:

2.根据权利要求1所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于,所述分词器训练模块还包括:

3.根据权利要求1所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于:所述数据整理模块包括文本正则化子模块,所述文本正则化子模块用于对汉语-瑶语双语文本进行大小写转换、标点符号处理等操作。

4.根据权利要求1所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于,所述语音模型训练模块包括:

5.根据权利要求4所述的基于冷...

【技术特征摘要】

1.基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于,包括以下模块:

2.根据权利要求1所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于,所述分词器训练模块还包括:

3.根据权利要求1所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于:所述数据整理模块包括文本正则化子模块,所述文本正则化子模块用于对汉语-瑶语双语文本进行大小写转换、标点符号处理等操作。

4.根据权利要求1所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其特征在于,所述语音模型训练模块包括:

5.根据权利要求4所述的基于冷融合技术的端到端高效汉语-瑶语语音识别系统,其...

【专利技术属性】
技术研发人员:秦董洪王敬凯白凤波
申请(专利权)人:广西民族大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1