一种基于回复感知反馈机制的语言处理方法及系统技术方案

本发明专利技术涉及一种基于回复感知反馈机制的语言处理方法和系统。本发明专利技术所述的基于回复感知反馈机制的语言处理方法包括如下步骤：根据对背景知识和对话上下文，获得背景知识表征、对话上下文表征和上下文感知的背景知识表征；根据上下文感知的背景知识表征，选择出一段背景知识；根据选择出的背景知识段，逐个生成回复词，并在生成每一个回复词后，利用感知反馈机制，对所述背景知识段进行修正，以生成下一个回复词。本发明专利技术所述的基于回复感知反馈机制的语言处理方法和系统具有动态修正背景知识，回复准确度高的优点。回复准确度高的优点。回复准确度高的优点。

【技术实现步骤摘要】
一种基于回复感知反馈机制的语言处理方法及系统


[0001]本专利技术涉及自然语言处理以及对话系统领域，特别是涉及一种基于回复感知反馈机制的语言处理方法及系统。

技术介绍

[0002]随着机器学习和人工智能的发展，对话系统近年来吸引了来自学术界和工业界的大量关注。对话系统根据预学习的回复数据，对用户提出的问题作出实时回复。但是，传统的多轮对话系统多会生成无意义、不连贯的回复(如“我不知道”、“好吧”等)，这是由于传统的多轮对话系统无法将每轮对话之间的内容联系起来。
[0003]为了改善传统多轮对话的缺陷，基于背景知识的对话通过选择相对应背景知识，帮助系统生成更合适的回复，使回复承载有意义的信息。Zhang等人在2019年国际人工智能联合会上提出了一种，利用历史对话上下文预测当前背景知识选择的知识预选择模型。所述知识预选择模型提供一种“背景
‑
上下文”双向注意力机制，互相选择最为接近的内容，并根据此内容进行回复输出。
[0004]上述的多轮对话模型，每轮的对话回复生成步骤为：根据背景知识和对话上下文，获得背景知识表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于回复感知反馈机制的语言处理方法，其特征在于，包括如下步骤：S10：根据背景知识K和对话上下文X，获得背景知识表征H
K
、对话上下文表征H
X
和上下文感知的背景知识表征W
X
→
K
；S20：根据上下文感知的背景知识表征W
X
→
K
，选择一段背景知识段h
X
→
K
；S30：根据背景知识段h
X
→
K
，逐个生成回复词，并在生成每一个回复词后，利用感知反馈机制，对所述背景知识段h
X
→
K
进行修正，以生成下一个回复词。2.根据权利要求1所述的基于回复感知反馈机制的语言处理方法，其特征在于：所述步骤S30包括如下步骤：S31：生成第一个回复词；S32：检查本轮对话回复内容是否生成完毕；若本轮对话回复内容生成完毕，输出本轮对话回复内容，否则，执行步骤S33；S33：计算已生成的回复词与背景知识段的相关度，获得感知结果；S34：根据步骤S33获得的感知结果，对背景知识段h
X
→
K
进行修正；S35：根据步骤S34修正后的背景知识段h
X
→
K
生成第下一个回复词，然后返回步骤S32。3.根据权利要求2所述的基于回复感知反馈机制的语言处理方法，其特征在于：所述步骤S33和步骤S34的计算方式如下：在所述步骤S33中，首先获取已生成的t
‑
1(t≥2)个回复词的集合F＝{r1，
…
，r
t
‑1}，通过如下公式，计算表征序列如下公式，计算表征序列如下公式，计算表征序列其中，W
f
和b为可训练函数，e(r
t
‑1)为r
t
‑1的词向量，为表征序列H
F
的初始元素；接着，根据所述表征序列H
F
的最后一个元素通过如下公式，计算一个反馈特征矩阵G：其中，W
X
→
KT
为所述上下文感知的背景知识表征W
X
→
K
的转置，接着，根据所述反馈特征矩阵G，通过如下公式，计算出一个回复感知反馈权重向量Z：A＝SelfAttn(W
X
→
K
)＝softmax(W
X
→
KT
W
X
→
K
)；Z＝(G
⊙
A)W
X
→
KT
；接着，在所述步骤S34中，基于所述回复感知反馈权重向量Z，通过以下公式，获得背景知识校正段知识校正段其中，W
g1
、W
g2
和b均为可训练的参数；W
g1
和W
g2
分别为所述回复感知权重向量Z和所述背景知识段h
X
→
K
的软开关；接着，将背景知识校正段作为现阶段背景知识段h
X
→
K
，以修正现阶段背景知识段h
X
→
K
：
4.根据权利要求3所述的基于回复感知反馈机制的语言处理方法，其特征在于：所述步骤S31，首先通过如下公式，根据计算第一个解码状态骤S31，首先通过如下公式，根据计算第一个解码状态骤S31，首先通过如下公式，根据计算第一个解码状态其中，为初始解码状态；W
s
和b为可训练参数；为对话上下文表征H
X
的最后一个元素；回复初始端r0为[BOS]，表示回复生成的开始，e(r0)为r0的词向量；接着，根据第一个解码状态通过如下公式，训练第一个解码引导向量通过如下公式，训练第一个解码引导向量接着，根据第一个解码引导向量通过以下公式，计算背景知识注意力从而获得引导感知的背景知识表示导感知的背景知识表示导感知的背景知识表示其中，属于所述背景知识表征H
K
，接着，根据第一个解码引导向量通过以下公式，计算对话上下文注意力从而获得引导感知的对话上下表示得引导感知的对话上下表示得引导感知的对话上下表示其中，属于所述对话上下文表征H
X
，接着，根据引导感知的背景知识表示和引导感知的对话上下表示通过如下公式，获得原有词汇的特征向量式，获得原有词汇的特征向量接着，基于上述原有词汇特征向量通过如下公式，计算第一个回复词r1从原有词汇中生成的概率P
V
(r1)：其中，W
vocab
代表的是原有词汇；接着，根据第一个解码引导向量通过如下公式，计算所述第一个回复词r1从背景知识K中选择的概率P
K
(r1)：接着，根据第一个回复词r1从原有词汇中生成的概率P
V
(r1)和从背景知识K中选择的概率P
K
(r1)，通过如下公式，得到最终的词表概率分布P(r1)：P(r1)＝p
gen
P
V
(r1)+(1
‑
p
gen
)P
K
(r1)，
其中，W
gen
和b均为可训练的参数，σ为Softmax激活函数；p
gen
是介于P
V
(r1)和P
K
(r1)之间的可训练门控；根据算得的最终词表概率分布P(r1)，选择一个词汇生成所述第一个回复词r1。5.根据权利要求4所述的所述的基于回复感知反馈机制的语言处理方法，其特征在于：所述步骤S35中，生成第t个回复词r
t
的过程如下：根据上一个回复词r
t
‑1，通过如下公式，获得第t个解码状态，通过如下公式，获得第t个解码状态其中，e(r
t
‑1)是r
t
‑1的词向量表示，为第t
‑
1个解码状态；接下来，根据第t个解码状态通过如下公式，训练第t个解码引导向量通过如下公式，训练第t个解码引导向量接着，根据第t个解码引导向量通过以下公式，计算一个引导感知的背景知识表示通过以下公式，计算一个引导感知的背景知识表示通过以下公式，计算一个引导感知的背景知识表示其中，属于所述背景知识表征H
K
，接着，根据第t个解码引导向量通过以下公式，计算一个引导感知的对话上下文表示通过以下公式，计算一个引导感知的对话上下文表示通过以下公式，计算一个引导感知的对话上下文表示其中，属于所述对话上下文表征H
X
，接着，根据引导感知的背景知识表示和引导感知的对话上下文表示通过如下公式，计算原有词汇特征向量式，计算原有词汇特征向量接着，根据原有词汇特征向量通过如下公式，计算回复词汇r
t
从原有词汇中生成的概率P
V
(r
t
)：接着，根据第t个解码引导向量计算所述回复词汇r
t
从背景知识K中选择的概率P
K
(r
t
)：接着，根据回复词汇r
t
从原有词汇中生成的概率P
V
(r
t
)和从背景知识K中选择的概率P
K
(r
t
)，通过如下公式，得到最终的词表概率分布P(r
t
)：P(r
t
)＝p
gen
P
V
(r
t
)+(1
‑
p
gen
)P
K
(r

【专利技术属性】
技术研发人员：曾碧卿，陈嘉涛，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：