对话生成模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种对话生成模型的训练方法、装置、电子设备及存储介质，所述方法包括：获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；根据所述问题回复的预测结果对所述对话生成模型进行训练。该技术方案能够避免由于问题所针对的目标对象的属性值缺失而导致对话生成模型无法给出准确回复的情况，从而能够提高对话生成模型的预测准确率，提高用户的使用体验。使用体验。使用体验。

【技术实现步骤摘要】
对话生成模型的训练方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及一种对话生成模型的训练方法、装置、电子设备及存储介质。

技术介绍

[0002]随着技术的发展，任务型对话系统在工业界和学术界得到了广泛的关注，例如在电商领域，任务型对话系统可以帮助用户自助得到问题的回复。然而，目前的任务型对话系统中的对话生成方法基于结构化的属性库，通过关键词从结构化属性库中匹配得到问题的回复。但是，在一些应用场景下，结构化属性库中的结构化数据往往是不可获知的。例如，在二手交易平台上，发布二手信息的均是普通用户，大多数发布二手信息的用户不会按照结构化属性库的定义输入二手信息的相关属性值；此外，还存在一些二手信息，其属性值并不是标准的属性值。因此，利用目前已有的任务型对话系统很难自动输出与问题相匹配的回复。

技术实现思路

[0003]本公开实施例提供一种对话生成模型的训练方法、装置、电子设备及计算机可读存储介质。
[0004]第一方面，本公开实施例中提供了一种对话生成模型的训练方法，其中，包括：
[0005]获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；
[0006]将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；
[0007]将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；
[0008]根据所述问题回复的预测结果对所述对话生成模型进行训练。
[0009]进一步地，所述编码层通过如下方式获得所述问题感知的多模态特征表示：
[0010]利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；
[0011]根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。
[0012]进一步地，所述解码层通过如下方式得到所述问题的回复的预测结果：
[0013]利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。
[0014]进一步地，所述编码层包括一组第一编码模块和至少一组第二编码模块；
[0015]一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个所述第一编码模块的输出包括所述问题对应的问题特征表示；
[0016]每个所述第一编码模块包括第一编码子模块，所述第一编码子模块对输入进行注意力机制的处理；
[0017]所述至少一组第二编码模块中，其中一组所述第二编码模块对应处理所述多模态数据中的其中一种模态数据，且每组所述第二编码模块包括依次连接的多个第二编码模块；一组所述第二编码模块中，上一所述第二编码模块的处理结果输出至下一所述第二编码模块，第一个所述第二编码模块的输入为所述多模态数据中对应的其中一种模态数据，最后一个所述第二编码模块的输出包括感知所述问题的多模态特征表示；
[0018]所述第二编码模块包括第二编码子模块和双向注意力机制模块，所述第二编码子模块对输入进行注意力机制的处理，所述双向注意力机制模块对所述问题特征表示和所述第二编码子模块的处理结果进行双向注意力机制的处理。
[0019]进一步地，所述解码层包括一组解码模块，且一组所述解码模块包括依次连接的多个解码模块，上一所述解码模块的输出作为下一所述解码模块的输入，第一个所述解码模块的输入包括所述回复，最后一个所述解码模块的输出包括所述回复对应的预测结果；
[0020]所述解码模块包括依次连接的第一解码子模块和至少一个第二解码子模块，所述第一解码子模块利用注意力机制对输入进行处理，第一个解码模块的所述第一解码子模块获取所述回复中已知部分以及待预测部分对应的回复特征表示，所述第二解码子模块的输入包括第一解码子模块或者上一第二解码子模块的输出以及对应的所述多模态特征表示，所述第二解码子模块用于对输入进行注意力机制的处理，最后一个解码模块的所述第二解码子模块的输出包括所述待预测部分的所述预测结果。
[0021]第二方面，本专利技术实施例中提供了一种对话生成方法，其中，包括：
[0022]获取问题以及所述问题对应的目标对象的多模态数据；
[0023]将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回复；所述对话生成模型利用权利要求1
‑
6任一项所述的方法进行训练。
[0024]第三方面，本专利技术实施例中提供了一种对话生成方法，其中，包括：
[0025]获取问题；
[0026]确定所述问题对应的目标对象；
[0027]获取所述目标对象的多模态数据；
[0028]将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回复；所述对话生成模型利用权利要求1
‑
6任一项所述的方法进行训练；
[0029]输出所述目标回复。
[0030]第四方面，本专利技术实施例中提供了一种对话生成方法，其中，包括：
[0031]获取问题以及所述问题对应的目标对象的多模态数据；
[0032]将所述问题和所述多模态数据输入至对话生成模型的编码层，得到所述问题感知的多模态特征表示；
[0033]将候选回复以及所述问题感知的多模态特征表示输入至所述对话生成模型的解码层，得到候选回复是否为所述问题的目标回复的预测结果。
[0034]进一步地，所述编码层通过如下方式获得所述问题感知的多模态特征表示：
[0035]利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；
[0036]根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。
[0037]进一步地，所述解码层通过如下方式得到所述问题的回复的预测结果：
[0038]利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。
[0039]进一步地，所述编码层包括一组第一编码模块和至少一组第二编码模块；
[0040]一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个所述第一编码模块的输出包括所述问题对应的问题特征表示；
[0041]每个所述第一编码模块包括第一编码子模块，所述第一编码子模块对输入进行注意力机制的处理；
[0042]所述至少一组第二编码模块中，其中一组所述第二编码模块对应处理所述多模态数据中的其中一种模态数据，且每组所述第二编码模块包括依次连接的多个第二编码模块；一组所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话生成模型的训练方法，其中，包括：获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；根据所述问题回复的预测结果对所述对话生成模型进行训练。2.根据权利要求1所述的方法，其中，所述编码层通过如下方式获得所述问题感知的多模态特征表示：利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。3.根据权利要求1所述的方法，其中，所述解码层通过如下方式得到所述问题的回复的预测结果：利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。4.根据权利要求1
‑
3任一项所述的方法，其中，所述编码层包括一组第一编码模块和至少一组第二编码模块；一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个所述第一编码模块的输出包括所述问题对应的问题特征表示；每个所述第一编码模块包括第一编码子模块，所述第一编码子模块对输入进行注意力机制的处理；所述至少一组第二编码模块中，其中一组所述第二编码模块对应处理所述多模态数据中的其中一种模态数据，且每组所述第二编码模块包括依次连接的多个第二编码模块；一组所述第二编码模块中，上一所述第二编码模块的处理结果输出至下一所述第二编码模块，第一个所述第二编码模块的输入为所述多模态数据中对应的其中一种模态数据，最后一个所述第二编码模块的输出包括感知所述问题的多模态特征表示；所述第二编码模块包括第二编码子模块和双向注意力机制模块，所述第二编码子模块对输入进行注意力机制的处理，所述双向注意力机制模块对所述问题特征表示和所述第二编码子模块的处理结果进行双向注意力机制的处理。5.根据权利要求4所述的方法，其中，所述解码层包括一组解码模块，且一组所述解码模块包括依次连接的多个解码模块，上一所述解码模块的输出作为下一所述解码模块的输入，第一个所述解码模块的输入包括所述回复，最后一个所述解码模块的输出包括所述回复对应的预测结果；所述解码模块包括依次连接的第一解码子模块和至少一个第二解码子模块，所述第一解码子模块利用注意力机制对输入进行处理，第一个解码模块的所述第一解码子模块获取所述回复中已知部分以及待预测部分对应的回复特征表示，所述第二解码子模块的输入包
括第一解码子模块或者上一第二解码子模块的输出以及对应的所述多模态特征表示，所述第二解码子模块用于对输入进行注意力机制的处理，最后一个解码模块的所述第二解码子模块的输出包括所述待预测部分的所述预测结果。6.一种对话生成方法，其中，包括：获取问题以及所述问题对应的目标对象的多模态数据；将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回复；所述对话生成模型利用权利要求1
‑
5任一项所述的方法进行训练。7.一种对话生成方法，其中，包括：获取问题；确定所述问题对应的目标对象；获取所述目标对象的多模态数据；将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回复；所述对话生成模型利用权利要求1
‑
5任一项所述的方法进行训练；输出所述目标回复。8.一种对话生成方法，其中，包括：获取问题以及所述问题对应的目标对象的多模态数据；将所述问题和所述多模态数据输入至对话生成模型的编码层，得到所述问题感知的多模态特征表示；将候选回复以及所述问题感知的多模态特征表示输入至所述对话生成模型的解码层，得到候选回复是否为所述问题的目标回复的预测结果。9.根据权利要求8所述的方法，其中，所述编码层通过如下方式获得所述问题感知的多模态特征表示：利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。10.根据权利要求8所述的方法，其中，所述解码层通过如下方式得到所述问题的回复的预测结果：利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。11.根据权利要求9
‑
10任一项所述的方法，其中，所述编码层包括一组第一编码模块和至少一组第二编码模块；一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个...

【专利技术属性】
技术研发人员：周杰，田俊峰，王睿，肖文明，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：