一种融合显式和隐式个性化信息的对话生成方法技术

本发明专利技术公开了一种融合显式和隐式个性化信息的对话生成方法，包括如下步骤：1)构建显式个性化信息提取器，利用transformer中的编码器作为上下文编码器对上下文进行编码，再利用个性化

【技术实现步骤摘要】
一种融合显式和隐式个性化信息的对话生成方法


[0001]本专利技术涉及自然语言处理以及对话系统
，具体为一种融合显式和隐式个性化信息的对话生成方法。

技术介绍

[0002]人工智能技术在近些年得到长足的发展，许多人工智能产品的出现，给人们的生活带来了极大的便利。智能对话系统也开始渗透到了人们的生活当中，智能客服，Siri、Cortana和Google Now等产品的出现能够帮助用户完成各种任务。这样的对话系统属于任务型对话系统，它的主要目标是在有限的对话轮次内解决某些问题，但是这样的对话系统主要适合于完成特定的任务，对于新的任务很难适应。
[0003]因此，开放域的对话系统
[1]开始引起了诸多研究学者的注意。开放域对话系统主要用于在广泛的聊天主题下与人类完成自然而又一致的交流沟通。开放域的对话系统主要分为基于检索的方法和基于生成的方法：
[0004](1)基于检索的方法主要是在给定上下文的前提下，从候选回复中选出与上下文最相关的回复；该方法能够得到符合语法的，较为规范的回复，但是该方法只能选择给定候选回复中的内容，得到的回复往往是较为单一的，很难生成灵活且多样的回复；
[0005](2)基于生成的方法，主要依靠给定的上下文信息，通过解码器生成与之相关的回复，其主要的框架有Seq2Seq模型
[2]，基于神经变分编码器的生成模型
[3]，transformer
[4]模型，GPT2
[5]预训练语言模型等等。该类方法生成的回复往往是较为灵活多样的。
[0006]以上方法主要考虑了回复的多样性，但是很少考虑回复与说话人个性化信息的一致性。个性化信息分为显式个性化信息和隐式个性化信息，显式个性化信息是指给定的一些与说话人相关的描述信息，隐式个性化信息是指从上下文和显式个性化信息中推理出来的与其相关的信息。
[0007]现有的方法，没有考虑如何将这两种信息有效地结合起来去提升回复的一致性和多样性。

技术实现思路

[0008]本专利技术的目的是为了克服现有技术中的不足，提供一种融合显式和隐式个性化信息的对话生成方法。该方法利用显式个性化信息提取器，隐式个性化信息推理器，个性化信息生成器和回复生成器，最终生成融合显式和隐式个性化信息的回复，其生成结果相较于现有模型在Distinct
‑
1，BLEU
‑
1，BLEU
‑
2，F1指标上取得了较好的结果。
[0009]本专利技术的目的是通过以下技术方案实现的：一种融合显式和隐式个性化信息的对话生成方法，包括以下步骤：
[0010](1)构建显式个性化信息提取器：
[0011]显式个性化信息提取器用于提取训练语料的每段对话中和上下文相关的显式个性化信息O
cp
；它针对每段对话上下文和给定的显式个性化信息，通过注意力机制，得到与上
下文相关的显式个性化信息O
cp
；
[0012](2)构建隐式个性化信息推理器：
[0013]隐式个性化信息推理器用于推理与上下文和显式个性化信息相关的隐式个性化信息p
imp
；它将提取出来的显式个性化信息O
cp
和上下文表示作为推理器的输入，并通过vMF分布，进行采样操作，得到隐式个性化信息p
imp
；
[0014](3)构建个性化信息生成器：
[0015]个性化信息生成器用于得到利用隐式个性化信息p
imp
重新生成的个性化信息P；它将推理的隐式个性化信息p
imp
送入解码器，得到重新生成的个性化信息P。
[0016](4)构建回复生成器：
[0017]回复生成器用于得到融合显式个性化信息O
cp
和隐式个性化信息p
imp
的回复Y；它将提取的显式个性化信息O
cp
和推理的隐式个性化信息p
imp
以及上下文表示送入解码器，得到回复y。
[0018]进一步的，步骤(1)中，在训练语料中的每段对话由上下文，回复和给定的显式个性化信息构成；其中，每段对话中的上下文表示为X＝{x1，x2，...，x
m
},x
i
表示上下文中的第i个句子，m表示对话上下文中包含m个句子，其中每个句子的表示形式为i个句子，m表示对话上下文中包含m个句子，其中每个句子的表示形式为表示上下文中第i个句子中的第j个单词，M
i
表示句子x
i
中包含的单词数目；每段对话中的回复表示为中包含的单词数目；每段对话中的回复表示为表示回复中的第j个单词，k表示回复y中包含的单词数目；给定的显式个性化信息表示为P
exp
＝{p1，p2，...，p
n
}，p
i
表示给定的显式个性化信息中的第i个句子，n表示给定的显式个性化信息中包含n个句子，其中每个句子的表示形式为包含n个句子，其中每个句子的表示形式为表示给定的显式个性化信息中第i个句子中的第j个单词，N
i
表示句子p
i
中包含的单词数目。
[0019]进一步的，步骤(1)中，为了得到上下文相关的显式个性化信息，具体步骤如下：
[0020]显式个性化信息提取器由上下文编码器，个性化信息编码器构成。
[0021]首先，上下文编码器利用transformer中的编码器编码上下文信息，transformer的编码器由N
c
层多头注意力机制和前馈神经网络构成。它将X中的m个句子进行拼接得到完整的上下文内容，将其作为上下文编码器的输入得到关于上下文的表示其具体计算公式如下：
[0022][0023][0024]FFN(x)＝max(O，xW1+b1)W2+b2[0025]其中，n∈[2,N
c
]。MultiHead(
·
)表示多头注意力机制，FFN(
·
)表示前馈神经网络。其中和是第n层多头注意力机制和前馈神经网络的输出。W1，W2，b1，b2表示前馈神经网络中的参数。其中第一层表示的是输入的词嵌入和位置嵌入之和；最后一层的输出最终记为作为上下文表示。同理可得到关于回复的表示O
y
。
[0026]其次，个性化信息编码器利用transformer中的编码器对上下文表示和给定的
显式个性化信息P进行提取得到和上下文相关的显式个性化信息O
cp
。这里的编码器主要包括多头注意力机制和个性化
‑
上下文注意力机制，其具体计算公式如下：
[0027]O
exp
＝MultiHead(O
p
,O
p
,O
p
)
[0028]其中，MultiHead(
·
)表示多头本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合显式和隐式个性化信息的对话生成方法，其特征在于，包括以下步骤：(1)构建显式个性化信息提取器：显式个性化信息提取器用于提取训练语料的每段对话中和上下文相关的显式个性化信息O
cp
；针对每段对话上下文和给定的显式个性化信息，通过注意力机制，得到与上下文相关的显式个性化信息O
cp
；(2)构建隐式个性化信息推理器：隐式个性化信息推理器用于推理与上下文和显式个性化信息相关的隐式个性化信息p
imp
；它将提取出来的显式个性化信息O
cp
和上下文表示作为推理器的输入，并通过vMF分布，进行采样操作，得到隐式个性化信息p
imp
；(3)构建个性化信息生成器：个性化信息生成器用于得到利用隐式个性化信息p
imp
重新生成的个性化信息P；它将推理的隐式个性化信息p
imp
送入解码器，得到重新生成的个性化信息P，监督生成的隐式个性化信息；(4)构建回复生成器：回复生成器用于得到融合显式个性化信息O
cp
和隐式个性化信息p
imp
的回复Y；它将提取的显式个性化信息O
cp
和推理的隐式个性化信息p
imp
以及上下文表示送入解码器，得到回复y。2.根据权利要求1所述一种融合显式和隐式个性化信息的对话生成方法，其特征在于，步骤(1)中，在训练语料中的每段对话由上下文，回复和给定的显式个性化信息构成；其中，每段对话中的上下文表示为X＝{x1，x2，...，x
m
},x
i
表示上下文中的第i个句子，m表示对话上下文中包含m个句子，其中每个句子的表示形式为表示上下文中第i个句子中的第j个单词，M
i
表示句子x
i
中包含的单词数目；每段对话中的回复表示为表示回复中的第j个单词，k表示回复y中包含的单词数目；给定的显式个性化信息表示为P
exp
＝{p1，p2，...，p
n
}，p
i
表示给定的显式个性化信息中的第i个句子，n表示给定的显式个性化信息中包含n个句子，其中每个句子的表示形式为表示给定的显式个性化信息中第i个句子中的第j个单词，N
i
表示句子p
i
中包含的单词数目。3.根据权利要求1或2所述一种融合显式和隐式个性化信息的对话生成方法，其特征在于，步骤(1)中，具体步骤如下：显式个性化信息提取器由上下文编码器，个性化信息编码器构成；首先，上下文编码器利用transformer中的编码器编码上下文信息，transformer的编码器由N
c
层多头注意力机制和前馈神经网络构成；它将X中的m个句子进行拼接得到完整的上下文内容，将其作为上下文编码器的输入得到关于上下文的表示其具体计算公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2其中，n∈[2,N
c
]，MultiHead(
·
)表示多头注意力机制，FFN(
·
)表示前馈神经网络；其中和是第n层多头注意力机制和前馈神经网络的输出；W1，W2，b1，b2表示前馈神经网络中的参数；其中第一层表示的是输入的词嵌入和位置嵌入之和；最后一层的输出最终记为作为上下文表示；同理可得到关于回复的表示O
y
；其次，个性化信息编码器利用transformer中的编码器对上下文表示和给定的显式个性化信息P进行提取得到和上下文相关的显式个性化信息O
cp
；这里的编码器主要包括多头注意力机制和个性化
‑
上下文注意力机制，其具体计算公式如下：O
exp
＝MultiHead(O
p
,O
p
,O
p
)O
exp
是多头注意力机制的输出，O
p
表示给定的个性化信息的词嵌入和位置嵌入信息，O
exp
表示的是给定的个性化信息的表示；O
cp
＝FFN(H
cp
)FFN(x)＝max(0,xW3+b3)W4+b4其中，PerConAtt(
·
)表示个性化
‑
上下文注意力机制，FF...

【专利技术属性】
技术研发人员：王瑞芳，贺瑞芳，王龙标，党建武，
申请(专利权)人：天津大学，
类型：发明
国别省市：