用于预训练语言模型的处理方法和口语语言理解系统技术方案

公开了一种用于预训练语言模型的处理方法和口语语言理解系统。所述方法包括：获取对样本中的字进行掩码处理的掩码训练样本；将掩码训练样本输入所述预训练语言模型，获得所述预训练语言模型针对被掩码字输出的损失值；在所述预训练语言模型将被掩码字预测为所述被掩码字同音或近音字时，降低所述损失值；以及根据所述损失值，调整所述预训练语言模型中神经网络模型的参数。由此，通过在预训练期间在输入文本的某些部分被同音字或近音字替换时减少语言表示的波动来得到对自动语音识别错误具有鲁棒性的预训练模型，即，得到能够容忍自动语音识别模型错误的预训练模型。自动语音识别模型错误的预训练模型。自动语音识别模型错误的预训练模型。

【技术实现步骤摘要】
用于预训练语言模型的处理方法和口语语言理解系统


[0001]本公开涉及一种深度学习领域，尤其涉及一种用于预训练语言模型的处理方法和相应的口语语言理解系统。

技术介绍

[0002]口语语言理解（SLU）作为任务型对话系统的核心组件，目的是为了获取用户询问语句的框架语义表示信息，即理解和解释人类语音的含义。SLU任务通常包含以下两个任务：意图识别和槽位填充。在进行SLU任务之前，需要利用自动语音识别（ASR）将人类语音转录为文本。通过结合ASR系统和SLU模型，可以提取语音信号中文本内容的含义，并将其用于具有丰富的人机交互的环境中。
[0003]在现有技术中，已经存在利用神经网络结果实现的高性能ASR系统。但上述ASR系统在生成文本时通常不可避免的包含正确识别结果被同音或近音字替换的错误，例如，将用户语音输入“我说的是拖鞋”识别为文字“我说的是妥协”。ASR系统产生的上述错误极易传播至下游的SLU模型，从而降低SLU模型的鲁棒性。虽然现有技术中公开了ASR错误检测方案来识别转录文本中的ASR错误，但上述方案涉及对ASR系统的实质性修改，从而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于预训练语言模型的处理方法，包括：获取对样本中的字进行掩码处理的掩码训练样本；将所述掩码训练样本输入所述预训练语言模型，获得所述预训练语言模型针对被掩码字输出的损失值；在所述预训练语言模型将所述被掩码字预测为所述被掩码字的同音或近音字时，降低所述损失值；以及根据所述损失值，调整所述预训练语言模型中的参数。2.如权利要求1所述的方法，其中，在所述预训练语言模型将所述被掩码字预测为所述被掩码字的同音或近音字时，降低所述损失值包括：将用于计算所述损失值的损失函数规定为预测目标向量与模型预测概率分布之间的交叉熵并据此求取所述损失值，其中，所述预测目标向量中与所述被掩码字同音或近音字对应的项的系数不为零。3.如权利要求2所述的方法，其中，所述预测目标向量包括：对应于被掩码字的第一预测目标系数；分别对应于与所述被掩码字同音或近音的前k个字中每一个字的k个第二预测目标系数；对应于字表中其他字的0，其中，所述第一预测目标系数和所述k个第二预测目标系数都大于零，所述第一预测目标系数大于所述k个第二预测目标系数中的每一个系数，并且所述第一预测目标系数和所述k个第二预测目标系数之和为1。4.如权利要求3所述的方法，其中，前k个字中每一个字各自的第二预测目标系数基于与所述被掩码字的声母、韵母和声调的近似程度确定。5.如权利要求3所述的方法，还包括：获得所述预训练语言模型针对被掩码字输出的第二损失值；以及根据所述第二损失值，调整所述预训练语言模型中的参数，其中，将第二损失函数规定为第二预测目标向量与模型预测概率分布之间的交...

【专利技术属性】
技术研发人员：汪诚愚，邱明辉，黄俊，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：