【技术实现步骤摘要】
一种语句生成模型的训练方法、语句生成方法、装置、设备及介质
[0001]本专利技术实施例涉及自然语言处理
，尤其涉及一种语句生成模型的训练方法、语句生成方法、装置、设备及介质。
技术介绍
[0002]自然语言处理(Natural Language Processing，NLP)是人工智能研究中一个非常重要的分支，研究能实现人与计算机之间利用自然语言进行有效通信的各种理论和方法。语句生成，即自然语言生成，是自然语言处理领域一个非常重要的研究方向，可以利用各种不同类型的信息，如文本、结构化信息、图像等，自动生成流畅、通顺、语义清晰的高质量自然语言文本。
[0003]常见的语句生成任务包括机器翻译和机器造句任务。机器翻译是通过预先训练好的模型将一种自然语言的句子翻译成另一种自然语言的句子的翻译方式。造句任务是通过预先训练好的模型基于给定的几个单词生成一句序列级别的语句的任务。
[0004]目前机器翻译和机器造句任务常用的模型为非自回归(Non
‑
autoregressive，NAR)模型，非...
【技术保护点】
【技术特征摘要】
1.一种语句生成模型的训练方法，其特征在于，包括：获取训练集，所述训练集包括多条语句样本，所述语句样本标注有参考语句；将所述语句样本输入待训练的第一语句生成模型中进行处理，得到待生成的语句中各符号在词表中的第一概率分布，所述第一语句生成模型为非自回归模型；计算高概率矩阵中K列数值对应的K条语句与所述参考语句的交叉熵损失之和作为第一损失值，所述高概率矩阵为各所述第一概率分布中概率值最大的前K个概率值形成的矩阵；计算低概率矩阵对应的多条语句中任意一条语句与所述参考语句的交叉熵损失作为第二损失值，所述低概率矩阵为各所述第一概率分布中概率值最大的前K个以外的概率值形成的矩阵；基于多条语句样本的所述第一损失值和所述第二损失值之和更新所述第一语句生成模型的参数。2.根据权利要求1所述的语句生成模型的训练方法，其特征在于，计算高概率矩阵中K列数值对应的K条语句与所述参考语句的交叉熵损失之和作为第一损失值，包括：计算所述高概率矩阵对应的K列数值对应的K条语句中每条语句的困惑度作为第一困惑度；基于所述第一困惑度确定所述高概率矩阵中每一列数值的惩罚因子作为第一惩罚因子；计算所述高概率矩阵中每一列数值与所述第一惩罚因子的乘积得到第一矩阵；基于所述第一矩阵以及所述参考语句计算高概率矩阵中K列数值对应的K条语句与所述参考语句的交叉熵损失之和作为第一损失值。3.根据权利要求2所述的语句生成模型的训练方法，其特征在于，计算所述高概率矩阵对应的K列数值对应的K条语句中每条语句的困惑度作为第一困惑度，包括：取各所述第一概率分布中概率值最大的K个概率值形成高概率矩阵；将高概率矩阵对应的K条语句分别输入第二语句生成模型中进行处理，得到待生成的语句中各符号在上下文语义环境下的第二概率分布，其中，所述第二语句生成模型为自回归模型；基于第二概率分布计算第一困惑度。4.根据权利要求3所述的语句生成模型的训练方法，其特征在于，基于第二概率分布计算第一困惑度，包括：计算第二概率分布中所有概率值的积得到第一数值；计算所述第一数值的倒数得到第二数值；计算所述第二数值的N次方根作为第一困惑度，其中，N为所述词表中字符的数目。5.根据权利要求2所述的语句生成模型的训练方法，其特征在于，基于所述第一困惑度确定所述高概率矩阵中每一列数值的惩罚因子作为第一惩罚因子，包括：设定至少两个困惑度区间，每一所述困惑度区间具有对应的惩罚因子；当所述第一困惑度位于所述困惑度区间时，将所述困惑度区间对应的惩罚因子作为第一惩罚因子。6.根据权利要求1
‑
5任一所述的语句生成模型的训练方法，其特征在于，计算低概率矩
阵对应的多条语句中任意一条语句与所述参考语句的交叉熵损失作为第二损失值，包括：计算所述低概率矩阵对应的多条语句中任意一条语句的困惑度作为第二困惑度；基于所述第二困惑度确定所述低概率矩阵中任意一列数值的惩罚因子作为第二惩罚因子；计算所述低概率矩阵中任意一列数值与所述第二惩罚因子的乘积得到第二矩阵；基于所述第二矩阵以及所述参考语句计算低概率矩阵对应的多条语句中任意一条语句与所述参考语句的交叉熵损失作为第二损失值。7.根据权利要求6所述的语句生成模型的训练方法，其特征在于，计算所述低概率矩阵对应的多...
【专利技术属性】
技术研发人员：陈松灿，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。