本发明专利技术公开了一种实时转译文本的纠错方法、系统、存储介质和装置，涉及语音纠错领域。该方法包括：获取实时直播的ASR转译文本，通过训练后的BERT纠错模型对所述ASR转译文本进行解译，输出第一纠错文本；通过训练后的GPT纠错模型对所述ASR转译文本进行解译，输出第二纠错文本，结合所述第一纠错文本和所述第二纠错文本获得纠错目标文本，通过本方案实现对直播场景下的ASR转译文本内容进行端到端的纠错，可以有效的提升ASR对音频转译文本的字准确率，并可以快速应用到直播领域。并可以快速应用到直播领域。并可以快速应用到直播领域。
【技术实现步骤摘要】
一种实时转译文本的纠错方法、系统、存储介质和装置
[0001]本专利技术涉及语音纠错领域，尤其涉及一种实时转译文本的纠错方法、系统、存储介质和装置。
技术介绍
[0002]由于语音信息存储容量大、内容复杂，不易于直接存储、监管和分析，因而使用自动语音识别技术(简称ASR)进行语音
‑
文本转译，对文本进一步存储、监管和分析。
[0003]近年来随着网络直播行业的兴起，以语音信号为载体的信息在互联网中大量传播，而当使用ASR进行语音
‑
文本转译时，由于直播环境的良莠不齐和ASR模型容量不足，导致足以改变语义的错误转译信息，如将“我想去大理”的音频信息转译为“我想去打理”的文本信息，因此对ASR转译文本进行纠错成为了ASR识别技术的重要技术瓶颈。
[0004]基于传统语言模型的纠错方法是通过探测器探测错误位置，再使用纠错器对错误位置进行纠错。此类算法的缺陷一方面是探测器标识纠错位置有误时，会额外增加错误。另一方面是两段式的纠错方式维护繁琐，尤其是纠错器的候选集构建，直播场景下口语交互复杂，语料众多，ASR转译错误也更难以显式的统计。目前在直播场景下，传统语言模型的ASR纠错方式难以达到使用级别。
技术实现思路
[0005]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种实时转译文本的纠错方法、系统、存储介质和装置。
[0006]本专利技术解决上述技术问题的技术方案如下：
[0007]一种实时转译文本的纠错方法，包括：
[0008]S1，获取实时直播的ASR转译文本；
[0009]S2，通过训练后的BERT纠错模型对所述ASR转译文本进行解译，输出第一纠错文本；通过训练后的GPT纠错模型对所述ASR转译文本进行解译，输出第二纠错文本；
[0010]S3，结合所述第一纠错文本和所述第二纠错文本获得纠错目标文本。
[0011]本专利技术的有益效果是：通过训练后的BERT纠错模型对所述ASR转译文本进行解译，输出第一纠错文本，通过训练后的GPT纠错模型对所述ASR转译文本进行解译，输出第二纠错文本，结合第一纠错文本和第二纠错文本，实现转译文本的纠错，通过本方案实现对直播场景下的ASR转译文本内容进行端到端的纠错，不需要类似现有技术那样先检测错误位置，再进行纠错，有效减少探测器标识纠错位置有误时的出现额外错误。通过本方案可以有效的提升ASR对音频转译文本的字准确率，并可以快速应用到直播领域。
[0012]使用基于输入输出对齐的双向自编码预训练语言模型，即BERT模型，或输入输出非对齐的自回归的预训练语言模型，即GPT模型。BERT和GPT算法只需要进行端到端的微调，并且可以对ASR转译结果按照不同方式进行纠错，提升可纠正的错误范围和准确率。
[0013]进一步地，所述S2之前还包括：
[0014]收集历史直播场景下原始语音信息的ASR的转译文本和人工转译的标准文本；
[0015]通过所述转译文本和所述标准文本构成原始语料库；
[0016]通过所述原始语料库对所述BERT纠错模型和所述GPT纠错模型进行训练。
[0017]采用上述进一步方案的有益效果是：本方案通过构建原始语料库获得模型训练数据。
[0018]进一步地，还包括：
[0019]通过ASR采集所述原始语音信息的N
‑
best转译文本，结合所述N
‑
best转译文本对应的标准文本来扩充所述原始语料库。
[0020]采用上述进一步方案的有益效果是：本方案通过采集所述原始语音信息的N
‑
best转译文本来扩充语料库，实现训练数据增强。
[0021]进一步地，通过所述原始语料库对所述BERT纠错模型进行训练，具体包括：
[0022]通过对齐算法对所述原始语料库中的所述转译文本和所述标准文本进行对齐处理；
[0023]以所述标准文本为模板，通过纠错标识对对齐处理后的所述转译文本进行标记，获得带标记的转译文本序列，将所述带标记的转译文本序列作为所述BERT纠错模型的训练语料；
[0024]设置所述BERT纠错模型的训练参数，将所述训练语料作为所述BERT纠错模型的输入，将所述标准文本作为训练目标，对所述BERT纠错模型进行训练，获得训练后的所述BERT纠错模型。
[0025]采用上述进一步方案的有益效果是：本方案通过训练过程对BERT纠错模型进行调整，可以实现对ASR转译结果按照不同方式进行纠错，提升BERT纠错模型的可纠正的错误范围和准确率。
[0026]进一步地，通过所述原始语料库对所述BERT纠错模型进行训练之前，还包括：
[0027]在BERT纠错模型的输出层新增一层全连接网络层；
[0028]将所述BERT纠错模型每个token神经元的输出映射为所述BERT预训练模型的词向量维度值；
[0029]通过layer normalization对所述BERT纠错模型进行归一化约束处理，获取归一化处理后的所述BERT纠错模型的embedding参数矩阵；
[0030]通过所述embedding参数矩阵将每个token神经元位置的全连接网络层的输出映射为所述BERT纠错模型的词向量值；
[0031]通过softmax对所述词向量维度值和所述词向量值进行归一化处理，并通过交叉熵损失函数来计算在有效字符位置的微调所述BERT纠错模型的迭代损失；
[0032]最后通过Adam使用学习率衰减方式更新所述BERT纠错模型的embedding参数矩阵。
[0033]采用上述进一步方案的有益效果是：本方案通过新增一层全连接网络层、每个token神经元的输出映射为BERT词向量的维度大小，将每个token位置的全连接输出映射到BERT词表大小的向量，过交叉熵损失函数来计算在有效字符位置的微调BERT的迭代损失，最后使用Adam作为优化器和学习率衰减的方式更新模型参数，实现BERT纠错模型的参数优化。
[0034]进一步地，通过所述原始语料库对所述GPT纠错模型进行训练，具体包括：
[0035]根据所述原始语料库中的所述转译文本和所述标准文本构建GPT训练语料；
[0036]设置所述GPT纠错模型的训练参数；
[0037]将所述GPT训练语料作为所述GPT纠错模型的输入，所述标准文本作为训练目标，对所述GPT纠错模型进行训练，获得训练后的所述GPT纠错模型。
[0038]采用上述进一步方案的有益效果是：本方案通过训练过程对GPT纠错模型进行微调，可以实现对ASR转译结果按照不同方式进行纠错，提升可纠正的错误范围和准确率。
[0039]进一步地，所述S2之前还包括：使用n
‑
best50结果中的句子困惑度Perplexity最低值作为GPT
‑
1模型的最终的解码结果，并使用交叉熵作为最终的优化函数来构建GPT纠错模型。<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实时转译文本的纠错方法，其特征在于，包括：S1，获取实时直播的ASR转译文本；S2，通过训练后的BERT纠错模型对所述ASR转译文本进行解译，输出第一纠错文本；通过训练后的GPT纠错模型对所述ASR转译文本进行解译，输出第二纠错文本；S3，结合所述第一纠错文本和所述第二纠错文本获得纠错目标文本。2.根据权利要求1所述的一种实时转译文本的纠错方法，其特征在于，所述S2之前还包括：收集历史直播场景下原始语音信息的ASR的转译文本和人工转译的标准文本；通过所述转译文本和所述标准文本构成原始语料库；通过所述原始语料库对所述BERT纠错模型和所述GPT纠错模型进行训练。3.根据权利要求2所述的一种实时转译文本的纠错方法，其特征在于，还包括：通过ASR采集所述原始语音信息的N
‑
best转译文本，结合所述N
‑
best转译文本对应的标准文本来扩充所述原始语料库。4.根据权利要求2或3任一项所述的一种实时转译文本的纠错方法，其特征在于，通过所述原始语料库对所述BERT纠错模型进行训练，具体包括：通过对齐算法对所述原始语料库中的所述转译文本和所述标准文本进行对齐处理；以所述标准文本为模板，通过纠错标识对对齐处理后的所述转译文本进行标记，获得带标记的转译文本序列，将所述带标记的转译文本序列作为所述BERT纠错模型的训练语料；设置所述BERT纠错模型的训练参数，将所述训练语料作为所述BERT纠错模型的输入，将所述标准文本作为训练目标，对所述BERT纠错模型进行训练，获得训练后的所述BERT纠错模型。5.根据权利要求4所述的一种实时转译文本的纠错方法，其特征在于，通过所述原始语料库对所述BERT纠错模型进行训练之前，还包括：在BERT纠错模型的输出层新增一层全连接网络层；将所述BERT纠错模型每个token神经元的输出映射为所述BERT预训练模型的词向量维度值；通过layer normalization对所述BERT纠错模型进行归一化约束处理，获取归一化处理后的所述BERT纠错模型的...
【专利技术属性】
技术研发人员：孙晓兵，齐路，唐会军，刘栓林，
申请(专利权)人：北京数美时代科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。