基于感知情绪倾向的共情人机对话系统技术方案

本发明专利技术涉及一种基于感知情绪倾向的共情人机对话系统，包括：外部知识模块，用于对输入语句，通过概念网络和vad情感向量，构建情感上下文向量；情感上下文编码器模块，用于基于transformer编码器对情感上下文向量进行编码，然后输入多头注意力网络，得到情绪信号；情感倾向编码器模块，用于计算输入语句中词语与情感之间的情绪倾向性；共享注意力模块，用于共享多头注意力网络的注意力参数，获得多个注意力特征，并采用多元残差网络进行融合，得到融合注意力特征向量；情感依赖解码器模块，用于整合情绪信号和融合注意力特征向量，基于transformer解码器，利用多头交叉注意力网络，输出预测的对话回复。该系统有利于感知词语的情绪倾向性，获得更好的对话回复。获得更好的对话回复。获得更好的对话回复。

【技术实现步骤摘要】
基于感知情绪倾向的共情人机对话系统


[0001]本专利技术涉及人机对话
，尤其涉及一种基于感知情绪倾向的共情人机对话系统。

技术介绍

[0002]共情是一种复杂的社会情感行为，是情感和认知机制相互作用的结果。人机对话旨在研究如何使计算机来理解和运用人类社会的自然语言。共情对话系统通过整合情感相关因素，有利于对话系统加强与人类用户的情感联系，以提升用户的满意度以及参与度，其在对话领域有着重要作用。
[0003]由于大量对话数据的可用性以及对话AI的神经方法的发展，人们对开发智能的开放域对话系统产生了浓厚的兴趣，闲聊型对话应运而生。与传统的面向任务的机器人不同，开放域对话系统旨在通过满足人类对沟通，情感和社会归属感的需求与用户建立长期联系，致力于解决三种开发这样的系统所面临的挑战：语义，一致性和交互性。语义要求对话系统不仅要了解对话的内容，还要识别对话过程中用户的情感和社交需求。一致性要求该系统表现出一致的个性以赢得用户的信任并获得他们的长期信任。互动性是指系统产生人际反应以实现特定社会目标(例如娱乐和顺应性)的能力。
[0004]闲聊型对话的解决方法主要有三种：
[0005](1)基于生成式的对话
[0006]使用语言模型生成目标句子，缺点是往往会生成一些泛泛无意义的回复，学术界称之为“安全回复”。生成式对话也很容易出现前后回复不一致或者句子不通顺的问题，但优点在于生成式对话生成的句子更加灵活和丰富。生成式对话对数据集质量要求往往较高。
[0007](2)基于检索式的对话<br/>[0008]工业上颇爱使用，其基本思想是假设收集现实已有对话范例，在出现相似对话时候，只要从范例中匹配出相应回复即可。
[0009]具体而言，假定现实对话中存在一个匹配关系(C，R)，对话范例中存在匹配关系(C*，R*)。通过检索算法，根据C找C*，得到几个候选的R*，再从中选择最合适的R。这种方法缺点在于极其依赖检索算法的性能，可能出现最佳回复不在检索算法选取的候选回复中，以及不能够根据场景生成多样的回复。
[0010](3)基于生成及检索式对话
[0011]将生成式和检索式结合使用，核心思想是：先检索，后改写。
[0012]具体而言，与检索式对话类似地，根据C匹配C*，找到候选的R*，提取R*的骨架(模板回复格式)，通过编辑向量对R*进行改写，最终生成回复R。
[0013]总而言之，开放域对话系统在当下任务中需要考虑如何将现实世界的实体和知识嵌入到对话中去。外部知识库对于系统提供人际反应是至关重要的。系统回复的语气也需要根据用户的情绪状态和情感进行调整。闲聊型对话相比于任务型对话，往往没有固定的
回复标准，但其对回复的丰富性要求也更高，对于相应情感是否充分表达也是重要的参考指标。同时由于网络的遗忘性，历史输入信息容易丢失，上下文回复存在矛盾性也是令人头疼的问题，这都是未来需要解决的问题。

技术实现思路

[0014]本专利技术的目的在于提供一种基于感知情绪倾向的共情人机对话系统，该系统有利于感知词语的情绪倾向性，获得更好的对话回复。
[0015]为实现上述目的，本专利技术采用的技术方案是：一种基于感知情绪倾向的共情人机对话系统，包括：
[0016]外部知识模块，用于对输入语句，通过概念网络和vad情感向量，构建情感上下文向量；
[0017]情感上下文编码器模块，用于基于transformer编码器对情感上下文向量进行编码，然后输入多头注意力网络，得到情绪信号；
[0018]情感倾向编码器模块，用于计算输入语句中词语与情感之间的情绪倾向性，以更好地表示出词语与相应情感之间的相关性信息；
[0019]共享注意力模块，用于共享情感上下文编码器模块中多头注意力网络不同层的注意力参数，获得多个注意力特征，并采用多元残差网络融合多个注意力特征，得到融合注意力特征向量，以提高语义信息丰富程度；
[0020]情感依赖解码器模块，用于整合情绪信号和融合注意力特征向量，基于transformer解码器，利用多头交叉注意力网络，输出预测的对话回复。
[0021]进一步地，所述外部知识模块将输入语句与外部知识图谱概念网络和vad情感向量匹配，计算情感强度和候选概念词组中的置信度得分，通过选择得分较高的概念词组，得到一个四元组，所述四元组包括与输入语句中词汇相关联的头部概念、关系、尾部概念以及相应的置信度得分，并将所述四元组组合为一个情感上下文。
[0022]进一步地，所述情感上下文编码器模块基于transformer编码器结构，包括词嵌入层、多头注意力网络和情感信号层；
[0023]所述词嵌入层通过预训练Glove向量，将情感上下文中每一个词语转化为多维的嵌入向量，组合所有词语的嵌入向量，输入到多头注意力网络中；
[0024]所述多头注意力网络将词嵌入层编码后的向量作为输入，通过以下公式提取输入语句的语义信息，并将提取后的向量通过残差连接和标准化层，以进行后续处理和系统优化：
[0025]MutiHead(Q,K,V)＝Concat(head1,...,head
h
)W
O
[0026][0027]其中，Q,K,V分别表示在注意力机制中将输入向量线性变换为查询向量Q、键向量K和值向量V，MutiHead(Q,K,V)表示计算三个向量分为多头后再拼接的结果，head
i
表示第i个头的注意力值，h表示注意力头的数量，Concat(head1,...,head
h
)表示将多个注意力头的结果进行拼接，W
O
表示多头拼接时的初始权重矩阵，分别表示将查询向量Q、键向量K和值向量V分别与其权重矩阵相乘的结果，表示利用
三个向量与其权重矩阵相乘后的结果计算注意力值；
[0028]所述情感信号层将多头注意力网络的输出作为输入，并计算出情感信号；所述情感信号包括经过精炼的语义信息和用于情感分类的信息，其计算公式如下：
[0029][0030][0031][0032]其中，表示情感上下文变量，表示多头注意力网络的输出，e为外部知识图谱中概念网络的顶点数量；exp(η
i
)表示以自然常数e为底的指数函数，η
i
表示对应的情感强度，c
e
是一个d维大小的向量；W
e
为[32,d]大小的权重矩阵，d为嵌入层的维度大小；softmax(W
e
c
e
)表示使用softmax线性层将c
e
向量投影到情绪信号P
e
。
[0033]进一步地，所述情感倾向编码器模块包括词嵌入层、情绪倾向计算层和编码器层，所述情感倾向编码器模块的词嵌入层与情感上下文编码器模块的词嵌入层相同，所述情绪倾向计算层用于获得每一个词语与32种情绪的关联性，这种关联性即为情绪倾向性；
[0034]首先将输入语句通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感知情绪倾向的共情人机对话系统，其特征在于，包括：外部知识模块，用于对输入语句，通过概念网络和vad情感向量，构建情感上下文向量；情感上下文编码器模块，用于基于transformer编码器对情感上下文向量进行编码，然后输入多头注意力网络，得到情绪信号；情感倾向编码器模块，用于计算输入语句中词语与情感之间的情绪倾向性，以更好地表示出词语与相应情感之间的相关性信息；共享注意力模块，用于共享情感上下文编码器模块中多头注意力网络不同层的注意力参数，获得多个注意力特征，并采用多元残差网络融合多个注意力特征，得到融合注意力特征向量，以提高语义信息丰富程度；情感依赖解码器模块，用于整合情绪信号和融合注意力特征向量，基于transformer解码器，利用多头交叉注意力网络，输出预测的对话回复。2.根据权利要求1所述的基于感知情绪倾向的共情人机对话系统，其特征在于，所述外部知识模块将输入语句与外部知识图谱概念网络和vad情感向量匹配，计算情感强度和候选概念词组中的置信度得分，通过选择得分较高的概念词组，得到一个四元组，所述四元组包括与输入语句中词汇相关联的头部概念、关系、尾部概念以及相应的置信度得分，并将所述四元组组合为一个情感上下文。3.根据权利要求2所述的基于感知情绪倾向的共情人机对话系统，其特征在于，所述情感上下文编码器模块基于transformer编码器结构，包括词嵌入层、多头注意力网络和情感信号层；所述词嵌入层通过预训练Glove向量，将情感上下文中每一个词语转化为多维的嵌入向量，组合所有词语的嵌入向量，输入到多头注意力网络中；所述多头注意力网络将词嵌入层编码后的向量作为输入，通过以下公式提取输入语句的语义信息，并将提取后的向量通过残差连接和标准化层，以进行后续处理和系统优化：MutiHead(Q,K,V)＝Concat(head1,...,head
h
)W
O
其中，Q,K,V分别表示在注意力机制中将输入向量线性变换为查询向量Q、键向量K和值向量V，MutiHead(Q,K,V)表示计算三个向量分为多头后再拼接的结果，head
i
表示第i个头的注意力值，h表示注意力头的数量，Concat(head1,...,head
h
)表示将多个注意力头的结果进行拼接，W
O
表示多头拼接时的初始权重矩阵，分别表示将查询向量Q、键向量K和值向量V分别与其权重矩阵相乘的结果，表示利用三个向量与其权重矩阵相乘后的结果计算注意力值；所述情感信号层将多头注意力网络的输出和情感倾向编码器模块的输入拼接后作为总体输入，并计算出情感信号；所述情感信号包括经过情感倾向信息，精炼的语义信息和用于情感分类的信息，其计算公式如下：于情感分类的信息，其计算公式如下：
其中，表示情感上下文变量，表示多头注意力网络的输出，e为外部知识图谱中概念网络的顶点数量；exp(η
i
)表示以自然常数e为底的指数函数，η
i
表示对应的情感强度，c
e
是一个d维大小的向量；W
e
为[32,d]大小的权重矩阵，d为嵌入层的维度大小；softmax(W
e
c
e
)表示使用softmax线性层将c
e
向量投影到情绪信号P
e
。4.根据权利要求3所述的基于感知情绪倾向的共情人机对话系统，其特征在于，所述情感倾向编码器模块包括词嵌入层、情绪倾向计算层和编码器层，所述情感倾向编码器模块的词嵌入层与情感上下文编码器模块的词嵌入层相同，所述情绪倾向计算层用于获得每一个词语与32种情绪的关联性，这种关联性即为情绪倾向性；首先将输入语句通过词嵌入层转化为向量表示，若输入语句的词嵌入表示为[w1,w2,,...,w
d
],d为句子中的单词个数，则语句中的第i个单词w
i
∈[w1,w2,,...,w
d
]，i∈[1,d]；若32个情感向量的词嵌入用[e1,e2,,...,e
32
]来表示，则每个情感词e
j
∈[e1,e2,,...,e
32
]，j∈[1,32]；那么，w
i
与e
j
的情绪相关性为：其中，o
ij
表示情绪相关性，即计算出来的余弦相似度；Cosine(w
i
,e
j
)表示计算w
i
和e
j
两个向量的余弦相似度，||w
i
||表示向量模长；对每一类情感在余弦相似度上的均值执行去平均操作，以使词语的整体情感表达趋于稳定；即对某一类情感e
j
在整个数据集中单词的余弦相似度取均值：其中，n为整个数据集中的...

【专利技术属性】
技术研发人员：廖祥文，杨思源，梁明，刘翀凌，王宇峰，
申请(专利权)人：福州大学，
类型：发明
国别省市：