基于终身蒸馏的开放域对话生成方法及设备技术

本发明专利技术提供了一种基于终身蒸馏的开放域对话生成方法及设备。所述方法包括：步骤1至步骤3。本发明专利技术提出由浅入深依次顺序建模不同层次的对话数据，保证每种对话层次特征能够被准确建模，能够有效提升模型的准确性，采用旧层次对话训练的模型当作教师，在建模新层次对话时蒸馏该教师的知识给学生，学生能够综合建模各种对话特征，有利于保持对话的多样性。有利于保持对话的多样性。有利于保持对话的多样性。

【技术实现步骤摘要】
基于终身蒸馏的开放域对话生成方法及设备


[0001]本专利技术实施例涉及开放域对话生成
，尤其涉及一种基于终身蒸馏的开放域对话生成方法及设备。

技术介绍

[0002]随着信息技术和互联网的迅猛发展，社交媒体日渐普及，智能手机数量剧增，人机对话场景越来越多，对话系统扮演的角色越来越重要。开放域对话系统是对话系统的一个重要分支，能够生成不限领域的日常对话。当前的开放域对话产生方法存在容易生成单调对话回应的问题，一些方法希望通过提高生成回应多样性的方式缓解该问题，但这些模型生成的回应仍然与真实回应存在一定差距。此外，一味提高生成回应多样性能会引导模型生成与当前对话无关的词语，使回应变得冗长且奇怪，回应准确性的表现难以控制，导致回应变得无意义，与对话系统的初始目的相悖。因此，开发一种基于终身蒸馏的开放域对话生成方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

技术实现思路

[0003]针对现有技术存在的上述问题，本专利技术实施例提供了一种基于终身蒸馏的开放域对话生成方法及设备。
[0004]第一方面，本专利技术的实施例提供了一种基于终身蒸馏的开放域对话生成方法，包括：步骤1：对原始数据进行预处理，得到验证集、测试集、以及包含历史话语数量不超过3个多段对话的训练集；步骤2：构建基于终身蒸馏的开放域对话生成模型，将训练样本与验证样本批量随机地输入基于终身蒸馏的开放域对话生成模型中，开始迭代模型训练过程，得到训练集与验证集上的评价指标，当验证集上的指标不再上升或迭代达到预定次数后停止，保存验证集上的最优模型，所述构建基于终身蒸馏的开放域对话生成模型包括：构建基础编解码模型结构、构建基于终身蒸馏的教师
‑
学生架构、构建目标函数；步骤3：加载在验证集上评价指标最优的基于终身蒸馏的开放域对话生成模型，采用测试样本批量进行测试，输出与保存对话生成的结果。
[0005]在上述方法实施例内容的基础上，本专利技术实施例中提供的基于终身蒸馏的开放域对话生成方法，步骤1中的原始数据包含多轮对话数据，并将训练集的每段对话处理成对话历史话语数量不超过3个的多段对话。
[0006]在上述方法实施例内容的基础上，本专利技术实施例中提供的基于终身蒸馏的开放域对话生成方法，步骤2中的构建基础编解码模型结构具体为：采用基于Transformer的序列到序列生成框架，构建嵌入层、编码器、解码器及输出层。
[0007]在上述方法实施例内容的基础上，本专利技术实施例中提供的基于终身蒸馏的开放域对话生成方法，步骤2中构建基于终身蒸馏的教师
‑
学生架构具体为：在构建模型时引入旧模型作为教师帮助蒸馏之前层次的对话知识，将上一时刻训练好的模型Mm
‑
1当作当前时刻m训练模型Mm的教师，到下一时刻m+1，当前模型Mm作为教师指导模型Mm+1的训练，以此类推
进行顺序蒸馏。
[0008]在上述方法实施例内容的基础上，本专利技术实施例中提供的基于终身蒸馏的开放域对话生成方法，步骤2中构建目标函数具体为：为在当前训练过程中，能够保存部分之前训练过程中学习到的知识，让模型能够学习不同轮次对话的特征，提高模型的准确性和多样性，在每个样例除硬标签与预测分布之间的损失之外，引入上一个过程训练好的模型，将其作为教师模型，输出的软标签指导当前模型进行预测。
[0009]在上述方法实施例内容的基础上，本专利技术实施例中提供的基于终身蒸馏的开放域对话生成方法，步骤2中的构建好基于终身蒸馏的开放域对话生成模型后，将训练与验证样本随机批量的输入到模型中，并采用Adam优化器使模型逐渐学习最优的参数值，计算在验证集上的评价指标，当验证集上的指标不再上升或者模型训练迭代到预定次数后停止训练，保存验证集上表现最优的关系分类模型。
[0010]在上述方法实施例内容的基础上，本专利技术实施例中提供的基于终身蒸馏的开放域对话生成方法，步骤3的采用测试样本批量进行测试具体为：加载步骤2中训练好的基于终身蒸馏的开放域对话生成模型，再将测试集中的样本批量输入到模型中，此时模型的参数固定不变，经过模型计算后，生成对话回复。
[0011]第二方面，本专利技术的实施例提供了一种基于终身蒸馏的开放域对话生成装置，包括：第一主模块，用于实现步骤1：对原始数据进行预处理，得到验证集、测试集、以及包含历史话语数量不超过3个多段对话的训练集；第二主模块，用于实现步骤2：构建基于终身蒸馏的开放域对话生成模型，将训练样本与验证样本批量随机地输入基于终身蒸馏的开放域对话生成模型中，开始迭代模型训练过程，得到训练集与验证集上的评价指标，当验证集上的指标不再上升或迭代达到预定次数后停止，保存验证集上的最优模型，所述构建基于终身蒸馏的开放域对话生成模型包括：构建基础编解码模型结构、构建基于终身蒸馏的教师
‑
学生架构、构建目标函数；第三主模块，用于实现步骤3：加载在验证集上评价指标最优的基于终身蒸馏的开放域对话生成模型，采用测试样本批量进行测试，输出与保存对话生成的结果。
[0012]第三方面，本专利技术的实施例提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与处理器通信连接的至少一个存储器，其中：
[0015]存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的基于终身蒸馏的开放域对话生成方法。
[0016]第四方面，本专利技术的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于终身蒸馏的开放域对话生成方法。
[0017]本专利技术实施例提供的基于终身蒸馏的开放域对话生成方法及设备，提出由浅入深依次顺序建模不同层次的对话数据，保证每种对话层次特征能够被准确建模，能够有效提升模型的准确性，采用旧层次对话训练的模型当作教师，在建模新层次对话时蒸馏该教师的知识给学生，学生能够综合建模各种对话特征，有利于保持对话的多样性。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的基于终身蒸馏的开放域对话生成方法流程图；
[0020]图2为本专利技术实施例提供的基于终身蒸馏的开放域对话生成装置结构示意图；
[0021]图3为本专利技术实施例提供的电子设备的实体结构示意图；
[0022]图4为本专利技术实施例提供的另一基于终身蒸馏的开放域对话生成方法流程图；
[0023]图5为本专利技术实施例提供的基于终身蒸馏的开放域对话生成模型框架图。
具体实施方式
[0024]为使本专利技术实施例的目的、技术方案和优点更加清楚，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于终身蒸馏的开放域对话生成方法，其特征在于，包括：步骤1：对原始数据进行预处理，得到验证集、测试集、以及包含历史话语数量不超过3个多段对话的训练集；步骤2：构建基于终身蒸馏的开放域对话生成模型，将训练样本与验证样本批量随机地输入基于终身蒸馏的开放域对话生成模型中，开始迭代模型训练过程，得到训练集与验证集上的评价指标，当验证集上的指标不再上升或迭代达到预定次数后停止，保存验证集上的最优模型，所述构建基于终身蒸馏的开放域对话生成模型包括：构建基础编解码模型结构、构建基于终身蒸馏的教师
‑
学生架构、构建目标函数；步骤3：加载在验证集上评价指标最优的基于终身蒸馏的开放域对话生成模型，采用测试样本批量进行测试，输出与保存对话生成的结果。2.根据权利要求1所述的基于终身蒸馏的开放域对话生成方法，其特征在于，步骤1中的原始数据包含多轮对话数据，并将训练集的每段对话处理成对话历史话语数量不超过3个的多段对话。3.根据权利要求2所述的基于终身蒸馏的开放域对话生成方法，其特征在于，步骤2中的构建基础编解码模型结构具体为：采用基于Transformer的序列到序列生成框架，构建嵌入层、编码器、解码器及输出层。4.根据权利要求3所述的基于终身蒸馏的开放域对话生成方法，其特征在于，步骤2中构建基于终身蒸馏的教师
‑
学生架构具体为：在构建模型时引入旧模型作为教师帮助蒸馏之前层次的对话知识，将上一时刻训练好的模型Mm
‑
1当作当前时刻m训练模型Mm的教师，到下一时刻m+1，当前模型Mm作为教师指导模型Mm+1的训练，以此类推进行顺序蒸馏。5.根据权利要求4所述的基于终身蒸馏的开放域对话生成方法，其特征在于，步骤2中构建目标函数具体为：为在当前训练过程中，能够保存部分之前训练过程中学习到的知识，让模型能够学习不同轮次对话的特征，提高模型的准确性和多样性，在每个样例除硬标签与预测分布之间的损失之外，引入上一个过程训练好的模型，将其作为教师模型，输出的软标签指导当前模型进行预测...

【专利技术属性】
技术研发人员：钱铁云，姜聪聪，徐马一，
申请(专利权)人：武汉大学，
类型：发明
国别省市：