一种基于GPT-2的中文闲聊对话系统技术方案

本发明专利技术涉及闲聊对话系统－文本生成－预训练模型技术领域，具体涉及一种基于GPT

【技术实现步骤摘要】
一种基于GPT
‑
2的中文闲聊对话系统


[0001]本专利技术涉及闲聊对话系统－文本生成－预训练模型
，具体涉及一种基于GPT
‑
2的中文闲聊对话系统。

技术介绍

[0002]对话系统已经越来越引起人们的注意，对话系统的最新进展绝大多数是由深度学习技术所贡献的，这些技术已经在计算机视觉、自然语言处理领域取得了巨大成功。对于对话系统，深度学习技术可以通过利用大规模数据来学习有意义的特征表示和回复生成策略，同时只需要极少量手工特征。
[0003]具体而言，可以将现有对话系统大致分为了面向任务型与非面向任务型两种模型。面向任务的系统旨在帮助用户完成某些任务(例如查找产品，预订住宿和餐馆)，一般通过分解为多步决策的流水线，在每一轮对话做出合理决策，帮助完成任务型问答。系统首先理解人类所传达的信息，将其作为一种内部状态，然后根据对话状态的策略采取一系列相应的行为，最后将动作转化为自然语言的表现形式。非面向任务的系统在与人类交互过程中提供合理的反应和娱乐。通常，非面向任务的系统致力于在开放域与人交谈，虽然非面向任务的系统似乎在进行闲聊，但是却在许多实际的应用程序中占有一席之地，近80％在线购物场景中的对话都是闲聊消息，而处理这些信息与用户体验密切相关。
[0004]对于非面向任务的对话系统，通常也可以称为闲聊型对话系统。这类对话系统并不关注于某项特定的任务，其主要目标是和人们在开放领域展开对话。闲聊式对话系统的技术实现可以大致分为两类：检索式模型和生成式模型[1]。检索式模型的主要思路是从对话语料库中找出与输入语句最为相近的回复，这些回复通常是预先存储的数据。首先构建一个丰富的对话语料库，对于每一条输入语句，检索模型会从候选语句中挑选语义匹配度最大的语句作为其回复。检索模型的核心是其所使用的语义匹配算法，基于深度学习的匹配算法在匹配性能上也有了较大的提高。
[0005]与检索式模型不同，生成式模型的主要目标是根据当前对话的上下文信息生成回复。回复有可能是模型在训练阶段没有见过的崭新回复。目前，深度神经网络(DNN)已经在生成式对话系统有很多应用，并且取得了一定的效果。生成式模型借鉴了机器翻译的思路，随着序列到序列(Seq2Seq)转换模型[2]在机器翻译中取得成功，其在对话生成模型中也得到了广泛的应用。这些模型一般采用“编码－解码”结构：在编码端使用一个循环神经网络将输入语句编码为一个向量表示，而在解码端使用另一个循环神经网络，并采用注意力机制逐一生成回复内容。
[0006]在对话系统方法，目前工业界使用较多的是检索式模型，主要原因在于生成式模型的输出空间通常很大，难以控制生成效果。同样是生成问题，相比翻译任务，对话生成任务通常没有标准回答，也更难评估其生成效果，虽然有很多自动评估的方法如BLEU，DIST等，但是对生成式对话系统(开放域)的评估一直是一个很开放的难题，需要高度依赖人工评定。如何规避或者缓解生成式对话带来的评估以及控制上面的问题，是学术界和业界关
注的重点。

技术实现思路

[0007]针对现有技术所存在的上述缺点，本专利技术的第一目的在于提供一种基于GPT
‑
2的中文闲聊对话系统，当前的闲聊型对话系统在语义性、一致性和交互性方面还存在显著不足。在语义性方面，基于深度学习的生成模型更容易生成一些无意义的万能回复，生成内容的信息量、合适性、逻辑性还存在较大不足，距离真正意义上的语义理解还有很大距离。在一致性方面，很容易在多轮交互中产生语义身份、个性上的冲突。在交互性方面，当前的聊天机器人在情感交互、策略应对方面还存在显著不足，不能根据用户的话题状态自适应地调整自身的策略，还无法实现流畅、自然的人机交互。
[0008]本方法重点在于使用GPT
‑
2模型，利用其强大的模型泛化能力，使用大规模的中文闲聊对话数据集进行训练，并且通过一种最大化互信息方法，进一步提升模型的生成效果，从而达到生成自然、流利、丰富的闲聊回复的目标。
[0009]为实现上述目的，本专利技术提供了如下技术方案：
[0010]一种基于GPT
‑
2的中文闲聊对话系统，包括以下步骤：
[0011]S1、将一个对话会话中所有对话回合连接成一个长文本(N为序列长度)，并以表示文本结束的token作为结束标记；
[0012]S2、使用top
‑
K采样来生成一系列假设，然后再利用P(Source|Hypothesis)来对假设进行重排，以此来惩罚安全回复；
[0013]S3、训练一个逆序的语言模型作为评估模型，并对生成模型生成的多个回复重新排序，取loss最低的模型作为最终回复。
[0014]本专利技术进一步设置为：所述步骤S1中，可将源句子(对话历史)记为S＝x1，x2，
…
x
m
，将目标句子(基本真值响应)记为T＝x
m+1
，x
m+2
，
…
x
N
，则P(T|S)的条件分布可以写为一系列条件概率的积：
[0015][0016]对于多轮对话实例T1，T2，
…
T
k
，上式可写为这本质上就是p(T
i
|T1，
…
T
i
‑1)的条件概率的积，最终，对单个目标p(T
K
，
…
，T2，|T1)的优化可以被视为是优化所有的p(T
i
|T1，
…
T
i
‑1)源
‑
目标对。
[0017]本专利技术进一步设置为：所述步骤S3中，包括以下步骤：
[0018]S301、训练两个模型：Dialogue Model与MMI Model，分别用于生成备选对话响应和对备选响应进行排序；
[0019]S302、首先使用Dialogue Model生成多个候选response；
[0020]S303、然后使用MMI Model从候选response中，选取loss最小的作为最终的response。
[0021]本专利技术进一步设置为：所述Dialogue Model是基于GPT2模型的生成模型，对每条训练数据进行顺序拼接，然后将其输入到网络中，进行训练。
[0022]本专利技术进一步设置为：所述MMI Model，它是一个基于GPT2的生成模型，将每条训
练数据进行逆序拼接，然后输入到网络中，主要用于计算Dialogue Model生成的所有候选响应相对对话历史的损失Loss，如果Loss比较小，则说明该响应与对话历史比较吻合，如果Loss比较大，则说明生成效果不太好。
[0023]本专利技术进一步设置为：所述步骤S3中，还包括以下步骤：
[0024]S304、将当前的对话历史输入到对话模型Dialogue Model中，根据当前对话历史会生成多个备选答案，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GPT
‑
2的中文闲聊对话系统，其特征在于，包括以下步骤：S1、将一个对话会话中所有对话回合连接成一个长文本(N为序列长度)，并以表示文本结束的token作为结束标记；S2、使用top
‑
K采样来生成一系列假设，然后再利用P(Source|Hypothesis)来对假设进行重排，以此来惩罚安全回复；S3、训练一个逆序的语言模型作为评估模型，并对生成模型生成的多个回复重新排序，取loss最低的模型作为最终回复。2.根据权利要求1所述的一种基于GPT
‑
2的中文闲聊对话系统，其特征在于：所述步骤S1中，可将源句子(对话历史)记为将目标句子(基本真值响应)记为则P(T|S)的条件分布可以写为一系列条件概率的积：对于多轮对话实例T1，T2，...T
K
，上式可写为这本质上就是p(T
i
|T1，...T
i
‑1)的条件概率的积，最终，对单个目标p(T
K
，...，T2，|T1)的优化可以被视为是优化所有的p(T
i
|T1，
…
T
i
‑1)源
‑
目标对。3.根据权利要求2所述的一种基于GPT
‑
2的中文闲聊对话系统，其特征在于：所述步骤S3中，包括以下步骤：S301、训练两个模型：...

【专利技术属性】
技术研发人员：王春辉，
申请(专利权)人：识因智能科技北京有限公司，
类型：发明
国别省市：