一种对话情感强度一致性控制方法技术

本发明专利技术公开了一种对话情感强度一致性控制方法，涉及人工智能技术领域，以HRAN为基础模型，获取历史对话、历史对话响应和程度词；将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且所述强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；基于融合注意力读取情感状态，根据所述情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。本发明专利技术提供的一种对话情感强度一致性控制方法解决了在多轮对话中情感强度不一致的技术问题。了在多轮对话中情感强度不一致的技术问题。了在多轮对话中情感强度不一致的技术问题。

【技术实现步骤摘要】
一种对话情感强度一致性控制方法


[0001]本专利技术涉及人工智能
，更具体的说是涉及一种对话情感强度一致性控制方法。

技术介绍

[0002]目前，对话生成作为自然语言处理的一项重要任务，以解决语义一致性与内容丰富性等问题为主要目标，并且随着以编码器
‑
解码器框架为主的神经网络模型的发展，其功能与应用场景得到了提高。此外，对话场景也是情感交互的重要途径，情感除了类别之外还有强度概念，回复语句中包含特有的情感强度可以使得情感表达更为清晰，使得人机对话趋于拟人化，因此需要针对性地进行模型结构的改进，进而提升情感中表达强度。
[0003]但是，现有的研究只表达单一情感或者特定强度的情感，并未考虑情感强度的不同对于交互双方在对话过程中的影响，且由于情感对话生成模型中缺乏情感强度控制方法导致的生成回复的情感强度与指定情感强度不一致，这导致对话难以持续。
[0004]因此，如何在多轮对话中使情感强度保持一致是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种对话情感强度一致性控制方法，基于层级循环注意力网络控制生成对话中回复的情感强度，进而得到对于当前回复最恰当的情感强度，最终实现提高情感回复拟人化的目的。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种对话情感强度一致性控制方法，以HRAN为基础模型，包括：
[0008]步骤1：获取历史对话、历史对话响应和程度词；
[0009]步骤2：将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且所述强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；
[0010]步骤3：基于融合注意力读取情感状态，根据所述情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。
[0011]优选的，所述编码器包括：上下文编码器和词级编码器，所述词级编码器的输出作为所述上下文编码器的输入。
[0012]优选的，所述根据注意力机制将历史对话与响应转换为隐藏表示具体包括：
[0013]给定一个语句U
T
,GRU用来编码每个词其中T∈(1,...,m)通过d维嵌入表示，将双向GRU的最后一个隐藏向量表示作为最后的话语的最终隐藏表示；
[0014][0015]其中，为T时刻给定话语的词向量，h
T,j
‑1是T时刻第j
‑
1个话语的隐藏向量。
[0016]在每一个时间步t，对于每一个话语是隐藏状态h
T,j
的线性组合
[0017][0018]其中，是在h
T,j
的单词注意力分数，h
T,k
(1≤k≤n)为T时刻h1到h
n
话语的隐藏向量。
[0019]优选的，所述单词注意力分数通过下式求得：
[0020][0021][0022]其中，S
t
‑1是解码器前一时刻的隐藏状态，是上下文编码器前一时刻的隐藏状态，U
a
，V
a
和W
a
是词级注意力的参数；
[0023]上下文向量C
t
由上下文编码器输出的线性组合得到；
[0024][0025][0026][0027]其中，是在上的上下文级注意力分数,S
t
‑1是解码器前一时刻的隐藏状态，U
b
和V
b
是词级注意力的参数。
[0028]优选的，所述将上下文注意力机制与强度注意力机制进行融合，获取融合注意力具体包括：
[0029]通过下式计算包含上下文信息以及强度信息的融合注意力：
[0030][0031][0032][0033]其中，IC
t
为融合注意力，是在上的上下文级注意力分数，为回复话语中指定的情感强度，S
t
‑1是解码器前一时刻的隐藏状态，U
I
、V
I
和W
I
是词级注意力的参数。
[0034]优选的，所述读取情感状态具体包括通过门控机制g
r
读取情感强度状态M
t
‑1，获取隐藏情感状态并且通过写入门g
w
更新情感状态M
t
，最后写入门的计算方式如下：
[0035][0036]M
t
＝g
w
·
M
t
‑1[0037]g
w
＝sigmoid(w
w
S
t
)
[0038]其中，sigmoid为激活函数，w
w
为写入门训练参数，S
t
为当前解码器t时刻的隐藏状态。
[0039]优选的，使用单向的门控机制，根据前一时刻的上下文向量C
t
、隐藏情感强度状态和上一个解码单词生成当前的词，具体见下式：
[0040][0041]优选的，为了能够使模型学习到情感词、程度副词以及普通词在句子中的位置以及先后关系，所述选择需要添加程度词的位置具体包括：
[0042]通过下式训练一个词性预测器WP，预测下一时刻生成词X
T
的类型；
[0043]Type(X
T
)＝WP(X1,X2,...,X
T
‑1)
[0044]其中，X1,X2,...,X
T
‑1为定文本语句的词序列。
[0045]优选的，所述程度词包括情感词、程度副词与普通词。
[0046]优选的，所述选择相应携带词性的词语具体包括：
[0047]通过下式控制生成情感词、程度副词与普通词的权重；
[0048]ρ
e,I,g
＝softmax(W
e,I,g
*tanh(W
SZ
S
t
+b
SZ
))
[0049]其中，ρ
e,I,g
中ρ
e
为情感词权重，ρ
I
为程度副词权重，ρ
g
为普通词权重；S
t
为情感强度回复生成的隐藏状态包含情感标签和强度标签，W
e,I,g
中W
e
为情感词的词级注意力参数，W
I
为程度副词的词级注意力参数，W
g
为普通词的词级注意力参数；W
SZ
与b
SZ
为词级参数，最终的生成概率如下：
[0050][0051]其中，P
et
、P
It
和P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话情感强度一致性控制方法，以HRAN为基础模型，其特征在于，包括：步骤1：获取历史对话、历史对话响应和程度词；步骤2：将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且所述强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；步骤3：基于融合注意力读取情感状态，根据所述情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。2.根据权利要求1的一种对话情感强度一致性控制方法，其特征在于，所述编码器包括：上下文编码器和词级编码器，所述词级编码器的输出作为所述上下文编码器的输入。3.根据权利要求2的一种对话情感强度一致性控制方法，其特征在于，所述根据注意力机制将历史对话与响应转换为隐藏表示具体包括：给定一个语句U
T
,GRU用来编码每个词其中T∈(1,...,m)通过d维嵌入表示，将双向GRU的最后一个隐藏向量表示作为最后的话语的最终隐藏表示；其中，为T时刻给定话语的词向量，h
T,j
‑1是T时刻第j
‑
1个话语的隐藏向量。在每一个时间步t，对于每一个话语是隐藏状态h
T,j
的线性组合的线性组合其中，是在h
T,j
的单词注意力分数，h
T,k
(1≤k≤n)为T时刻h1到h
n
话语的隐藏向量。所述单词注意力分数通过下式求得：所述单词注意力分数通过下式求得：其中，S
t
‑1是解码器前一时刻的隐藏状态，是上下文编码器前一时刻的隐藏状态，U
a
，V
a
和W
a
是词级注意力的参数；上下文向量C
t
由上下文编码器输出的线性组合得到；输出的线性组合得到；输出的线性组合得到；其中，是在上的上下文级注意力分数,S
t
‑1是解码器前一时刻的隐藏状态，U
b
和
V
b
是词级注意力的参数。4.根据权利要求3的一种对话情感强度一致性控制方法，其特征在于，所述将上下文注意力机制与强度注意力机制进行融合，获取融合注意力具体包括：通过下式计算包含上下文信息以及强度信息的融合注意力：通过下式计算包含上下文信息以及强度信息的融合注意力：通过下式计算包含上下文信息以及强度信息的融合注意力：其中，IC
t
为融合注意力，是在上的上下文级注意力分数，为回复话语中指定的情感强度，S
t
‑1是解码器前一时刻的隐藏状态，U
I
、V
I
和W
I
是词级注意力的参数。5.根据权利要求1的一种对话情感强度一致性控制方法，其特征在于，所述读取情感状态具体包括通过门控机制g
r
读取情感强度状态M
t
‑1，获取隐藏情感状态并且通过写入门g
w
更新情感状态M
t
，最后写入门的计算方式如下：M
t
＝g
w
·
M
t
‑1g
w
＝sigmoid(w

【专利技术属性】
技术研发人员：周钰童，马志强，许璧麒，贾文超，王春喻，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：