基于对比学习的变分自编码器回复生成方法技术

本发明专利技术提供一种基于对比学习的变分自编码器回复生成方法，涉及多轮对话生成技术领域。该方法在后验分布计算过程中引入了注意力机制，利用回复语句特征去对多轮对话的历史特征进行查询，选择和回复相关度较高的语句来进行后验分布的建模，来增强后验分布建模整个对话的能力，避免潜变量的退化。给定一个训练样本，通过数据增强构造与真实回复语义匹配度较高的正样本，通过随机采样构造匹配度低的负样本。利用对比学习规范潜变量空间，拉进变分自编码器的潜变量和多个正样本特征向量之间的距离，进而缓解数据集中缺少多样性回复数据的问题。问题。问题。

【技术实现步骤摘要】
基于对比学习的变分自编码器回复生成方法


[0001]本专利技术涉及多轮对话生成
，尤其涉及一种基于对比学习的变分自编码器回复生成方法。

技术介绍

[0002]随着人工智能技术的发展，交流沟通并不局限于人与人之间，如何让人与计算机之间通过对话的方式进行有效的信息交互已经成为当前学术界和企业界共同的研究热点问题，并已经在语音助手、在线客服、娱乐闲聊等领域有了成功的应用。如何构建智能聊天系统，即对话生成系统是该研究方向的核心问题。在研究上，对话生成系统逐渐向深度学习的方向发展，经历了从模板生成、句子规划，发展到端到端的深度学习模型，其关键挑战在于生成回复的信息丰富度和回复的多样性。信息丰富度指的是系统能够生成丰富、准确、有意义的对话内容。多样性则指系统能够生成不同的对话内容，避免重复、单调的回答。
[0003]2015.cikm
‑
main.553提出了一种用于对话生成的神经网络模型HRED，模型的基本思想是通过层次化的方式来建模对话的结构和上下文，同时使用循环神经网络来捕捉对话的时间序列关系。HRED通过句子编码器将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的变分自编码器回复生成方法，其特征在于：包括以下步骤：步骤1：对话数据准备，包括对话数据集获取、对话数据集预处理和对话正负样本构建；步骤2：构建对比学习变分自编码器对话模型，包括编码器网络、基于对比学习的变分推断网络和解码器网络；基于采样后的对话样本，通过编码器、基于对比学习的变分推断网络和解码器的构建得到能够从对话上下文中产生多样化回复的模型；步骤3：模型训练与评估；步骤4：利用训练好的模型进行实际对话的回复生成。2.根据权利要求1所述的基于对比学习的变分自编码器回复生成方法，其特征在于：所述步骤1中的对话数据集获取使用DailyDialog对话数据集和Cornell对话数据集；将数据集按比率8:1:1划分为训练集、验证集和测试集。3.根据权利要求2所述的基于对比学习的变分自编码器回复生成方法，其特征在于：所述步骤1中的对话数据集预处理具体方法为：首先对整个对话数据进行采样，将对话语境中的所有语句拆分成多个短的上下文回复对，把每一个话语都看作是一种回复，把它之前的k个话语看作是一个简短的上下文历史语境；使用分词工具进行分词，去除特殊符号，统计对话数据集中的词频并构建词表。4.根据权利要求3所述的基于对比学习的变分自编码器回复生成方法，其特征在于：所述步骤1中的对话正负样本构建中，对于正样本，通过回译的数据增强方法进行构造，具体利用huggingface库提供的英德翻译和德英翻译预训练模型进行回译，首先通过英德翻译模型将回复翻译成德文，在解码过程中采用beam search算法得到多个德文回复，之后对于每一个德文回复再通过德英翻译模型翻译回英文，解码过程中同样采用beam search算法，最后得到多个和原回复语义近似的样本，作为回复的多样化表达；最后，通过预训练好的对话匹配模型对回译得到的样本进行排序，取关联度高的回复作为最终的正样本；对于负样本，在所有回复中进行随机采样作为负样本。5.根据权利要求4所述的基于对比学习的变分自编码器回复生成方法，其特征在于：所述步骤2中，给定一组对话序列C＝{u1,u2,
…
,u
k
}，所述对话序列C由两个对话者之间发起的共k轮对话组成；u
i
＝{w
i1
,w
i2
,...,w
im
}表示对话历史的第i个话语，i＝1,2,
…
,k，w
ij
代表i话语中的第j个词；任务的目标是生成回复R＝{w1,w2,
…
,w
n
}，w
l
代表回复R中的第l个词；所述编码器网络中，对话历史语句通过RNN编码器进行编码，生成代表对话历史的特征表示；编码器采用层次结构，包括语句编码器和上下文编码器；采用GRU来对对话历史进行编码得到对话历史特征；具体方法如下：步骤2.1.1：话语编码器；对于给定对话历史话语u
i
，将话语中的每个词w
ij
表示成词向量后，通过一个GRU句子编码器，得到该句话语的特征表示h
i
，如下式所示：h
i
＝GRU(u
i
)
ꢀꢀꢀꢀꢀꢀ
(1)步骤2.1.2：上下文编码器；对对话历史中所有话语编码后得到话语特征集合H＝{h1，h2，...，h
k
}；通过对话历史编码器，对对话历史中所有的话语特征H进行再次编码，得到代表整个对话历史上下文的特征向量集合M＝{m1，m2，...，m
k
}，如下式所示：m1，m2，...，m
k
＝GRU(h1，h2，...，h
k
)
ꢀꢀꢀꢀꢀꢀ
(2)。
6.根据权利要求5所述的基于对比学习的变分自编码器回复生成方法，其特征在于：所述步骤2中基于对比学习的变分推断网络，利用注意力机制改进后验分布建模，同时利用对比学习规范潜变量空间，来改善潜变量的退化问题；具体方法如下：步骤2.2.1：对话注意力后验特征建模；利用注意力机制建模变分自编码器的后验特征；首先，通过一个回复语句编码器得到回复的特征向量h
r
，如下式所示：h
r
＝GRU(R)
ꢀꢀꢀꢀꢀꢀꢀ
(3)利用注意力机制对对话历史上下文特征向量集合M＝{m1，m2，...，m
k
}进行查询，得到一个与回复最为相关的上下文融合向量m
*
，如下式所示：s
i
＝h
rT
m
i
ꢀꢀꢀꢀꢀꢀꢀ
(4)(4)其中s
i
代表h
r
和m
i
之间的相似度得分，α
i
代表注意力权重；最后，通过一个融合网络，对上下文向量和回复R的特征表示进行融合，得到代表对话历史和回复的后验特征h
f
，如下式所示：h
f
＝W
f
·
[m
*
，h
r
]+b
f
ꢀꢀꢀꢀꢀꢀ
(7)其中，m
*
代表注意力融合后的上下文特征，W
f
、b
f
表示可学习的线性层参数；步骤2.2.2：变分推断网络；条件变分自编码器假设潜变量服从一个高...

【专利技术属性】
技术研发人员：杨振飞，冯时，于北溟，王大玲，张一飞，张天宝，
申请(专利权)人：东北大学，
类型：发明
国别省市：