对话特征表示方法和装置以及模型训练方法和装置制造方法及图纸

本说明书实施例提供一种对话特征表示方法和装置以及模型训练方法和装置。一种模型训练方法可包括：获取训练对话语料以及训练对话语料中每个训练对话语料对应的标注类别标签，训练对话语料中不包括非文本对话语料；将训练对话语料输入至教师模型，得到训练对话语料对应的第一编码特征向量和预测类别标签，其中，第一编码特征向量为教师模型的编码网络层的输出，预测类别标签为教师模型的输出结果；将训练对话语料输入至学生模型，得到训练对话语料对应的第二编码特征向量；根据标注类别标签、预测类别标签、第一编码特征向量和第二编码特征向量，确定第一损失；基于第一损失，调整学生模型的参数。学生模型的参数。学生模型的参数。

【技术实现步骤摘要】
对话特征表示方法和装置以及模型训练方法和装置


[0001]本公开涉及人工智能领域，尤其涉及一种对话特征表示方法和对话特征表示装置、以及模型训练方法和模型训练装置。

技术介绍

[0002]近年来，随着电子技术的发展，越来越多的用户通过线上对话的方式完成资源交互。例如，传统的线下资源销售面临瓶颈，进而线上销售变得越发重要。在线上销售中，各个销售平台广泛应用实时聊天技术进行资源交互。在这种情况下，如果能够从聊天信息中获取对话特征表示，并将对话特征表示返回给业务系统，则可使业务系统有效地进行下游任务计算，例如，业务系统可利用对话特征表示，预测用户对资源的交互意愿、预测用户对客服的服务质量评价、或者进行个性化用户分流等。
[0003]然而，对于这种多媒体的对话信息进行特征表示一直是线上资源交互的重要问题。

技术实现思路

[0004]本公开提供一种对话特征表示方法和对话特征表示装置以及模型训练方法和模型训练装置，以至少解决如何获得更加准确的对话特征表示的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述训练方法包括：获取训练对话语料以及所述训练对话语料中每个训练对话语料对应的标注类别标签，所述训练对话语料中不包括非文本对话语料；将所述训练对话语料输入至教师模型，得到所述训练对话语料对应的第一编码特征向量和预测类别标签，其中，所述第一编码特征向量为所述教师模型的编码网络层的输出，所述预测类别标签为所述教师模型的输出结果；将所述训练对话语料输入至学生模型，得到所述训练对话语料对应的第二编码特征向量；根据所述标注类别标签、所述预测类别标签、所述第一编码特征向量和所述第二编码特征向量，确定第一损失；基于所述第一损失，调整所述学生模型的参数。2.根据权利要求1所述的训练方法，其特征在于，所述获取训练对话语料以及所述训练对话语料中每个训练对话语料对应的标注类别标签，包括：获取历史会话数据，其中，所述历史会话数据包括对话数据和所述对话数据对应的用户行为数据；按照预设规则对所述对话数据进行分割，得到多个子对话数据，并且基于所述子对话数据获取所述训练对话语料；基于所述子对话数据对应的用户行为数据，设置所述训练对话语料的标注类别标签。3.根据权利要求1所述的训练方法，其特征在于，所述获取训练对话语料以及所述训练对话语料中每个训练对话语料对应的标注类别标签之前，所述方法包括：获取初始训练对话语料，所述初始训练对话语料中的至少部分初始训练对话语料中包括非文本对话语料；将所述初始训练对话语料中包括的文本对话语料作为第一文本信息；将所述初始训练对话语料中包括的非文本对话语料进行处理，得到第二文本信息；对所述第一文本信息和所述第二文本信息进行预处理，得到所述初始训练对话语料的第三文本信息；将所述初始训练对话语料的第三文本信息作为所述训练对话语料。4.根据权利要求3所述的训练方法，其特征在于，所述将所述初始训练对话语料中包括的非文本对话语料进行处理，得到第二文本信息，包括：根据不同的文本提取方法对不同类型的非文本对话语料进行处理，得到不同类型非文本对话语料对应的第二文本信息，所述文本提取方法与非文本对话语料的类型一一对应，相同类型的第二文本信息设置有相同类型的预设标记符；将至少一种类型对应的第二文本信息作为所述第二文本信息；其中，所述非文本对话语料的类型包括外部链接信息、图片信息、语音信息、视频信息和直播链接信息中的至少一种，其中，所述外部链接信息是通过所述外部链接信息展示图片、文字、语音或视频的链接信息，所述直播链接信息是通过所述直播链接信息展示直播信息的链接信息。5.根据权利要求1所述的训练方法，其特征在于，所述教师模型还包括池化层以及前馈网络层，所述将所述训练对话语料输入至教师模型，得到所述训练对话语料对应的第一编
码特征向量和预测类别标签，包括：通过所述编码网络层对所述训练对话语料进行特征编码，得到所述第一编码特征向量；通过所述池化层对所述第一编码特征向量进行降维，得到降维后的所述第一编码特征向量；通过所述前馈网络层对所述降维后的所述第一编码特征向量进行特征编码，得到所述训练对话语料的预测类别标签。6.根据权利要求5所述的训练方法，所述编码网络层包括嵌入层和至少一个编码隐层，所述对所述训练对话语料进行特征编码，得到所述第一编码特征向量，包括：通过所述嵌入层对所述训练对话语料进行特征提取，得到所述训练对话语料的特征序列；通过所述至少一个编码隐层对所述特征序列进行特征编码，并且将最后一个编码隐层预设位置处的编码特征向量作为所述第一编码特征向量。7.根据权利要求1所述的训练方法，其特征在于，所述学生模型包括嵌入层、转化层以及编码网络层，所述将所述训练对话语料输入至学生模型，得到所述训练对话语料对应的第二编码特征向量，包括：通过...

【专利技术属性】
技术研发人员：汪自立，蒋宁，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：