基于ASR引擎的语音文字转译方法和系统技术方案

本发明专利技术提供了一种基于ASR引擎的语音文字转译方法和系统，包括：在接收到客户的语音信息后，使用大型预训练模型进行特征提取，将提取后的特征信息传入小型热词捕捉预训练模型，最后将大型预训练模型和小型热词捕捉预训练模型输出的特征进行拼接，将拼接得到的特征进行转译，得到最终结果。本发明专利技术提升了ASR引擎针对指定领域专用词汇的转译准确率。对指定领域专用词汇的转译准确率。对指定领域专用词汇的转译准确率。

【技术实现步骤摘要】
基于ASR引擎的语音文字转译方法和系统


[0001]本专利技术涉及人工智能
，具体地，涉及一种基于ASR引擎的语音文字转译方法和系统。

技术介绍

[0002]近年来随着银行业务的复杂度提高和多样化发展，银行为客户提供的电话银行业务办理服务，正在经历一个从单纯的人工客服逐渐向人工客服+智能语音客服的高效组合转换的过程，其中在智能语音客服体系中实现语音文字转译的ASR引擎对语音信息转译的性能就显得尤为重要。在客户需求趋向多样化、个性化、定制化，以及客户服务针对性场景不断增加的情况下，利用更高效的ASR引擎提供更高质量的语音文字转译服务，能有效提高智能客服的服务质量，也能有效减少由于转译不准确造成的无法识别准确意图、未准确提供对应服务等情况的发生，进一步提升用户使用体验。
[0003]专利文献CN115039171A(申请号：CN202180011577.0)公开了一种方法(600)包括获得多个训练数据集(202)，每个训练数据集与相应原生语言相关联并且包括多个相应训练数据样本(204)。对于相应所述原生语言的每个所述训练数据集(202本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ASR引擎的语音文字转译方法，其特征在于，包括：步骤1：获取针对性热词的初始训练数据集；步骤2：基于初始训练数据集，通过预设大型预训练模型进行特征提取，得到大型预训练模型的输出特征；步骤3：基于大型预训练模型的输出特征，通过预设小型热词捕捉预训练模型进行特征增强，得到针对热词特征强化后的向量信息；步骤4：将大型预训练模型和小型热词捕捉预训练模型输出的特征进行加权连接；步骤5：将加权连接后的特征输入大型预训练模型，然后通过大型预训练模型和小型热词捕捉预训练模型进行解码融合，得到最终结果。2.根据权利要求1所述的基于ASR引擎的语音文字转译方法，其特征在于，所述步骤1包括：根据指定热词列表，从现有未进行优化的ASR引擎转译过程中出现错误的音频数据集合中，找到与热词列表中与热词有关的数据，并给出对应的热词标签和对应的文本信息，用于构建初始训练数据集，所述初始训练数据集包含的热词标签用于数据集分类、包含的音频文件对应的文本信息用于验证识别结果。3.根据权利要求1所述的基于ASR引擎的语音文字转译方法，其特征在于，所述步骤2包括：使用ASR引擎中的大型预训练模型，对获取的初始训练数据集中的语音数据进行特征提取，并通过预设声学模型将对应音频中包含的数据信息转变为对应的拼音特征向量信息并输出，得到大型预训练模型的输出特征；所述步骤3包括：将大型预训练模型的输出特征输入到小型热词捕捉预训练模型进行下一步特征提取，使用对应热词特征向量信息随机替换掉输入特征向量中至少一个词对应的特征向量，再将待填空数据输入到小型热词预训练模型进行语义识别，得到预测向量，从而完成针对热词的特征增强，得到小型热词预训练模型输出的针对热词特征强化后的向量信息。4.根据权利要求1所述的基于ASR引擎的语音文字转译方法，其特征在于，所述步骤4包括：根据具体业务场景需求，将大型预训练模型的输出特征和小型热词捕捉预训练模型的输出特征进行加权连接，设置权重，将大型预训练模型和小型热词捕捉预训练模型的预测向量进行拼接，得到复合增强后的特征向量信息，复合特征信息包含大型预训练模型提取的通用场景下的语音文本转译特征、小型热词捕捉预训练模型提取和增强后的针对热词的语音文本转译特征以及热词本身的语音文本转译特征。5.根据权利要求1所述的基于ASR引擎的语音文字转译方法，其特征在于，所述步骤5包括：将复合的增强后的特征向量信息重新传入大型预训练模型，同时通过大型预训练模型和小型热词捕捉预训练模型进行解码，把小型热词捕捉预训练模型解码后的结果和大型预训练模型解码后的结果，以小型热词捕捉预训练模型解码结果热词部分高权重、其余部分低权重，大型预训练模型解码结果热词部分低权重、其余部分高权重的方式进行进一步的融合，把融合后得到的输出结果作为最终结果进行输出。6.一种基于ASR引擎的...

【专利技术属性】
技术研发人员：张健，莫迪，陈佳蔚，何平，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：