一种电网客服对话情绪感知分析模型制造技术

本发明专利技术涉及人工智能技术领域，具体地说，是一种电网客服对话情绪感知分析模型，该模型基于用户建模和层级

【技术实现步骤摘要】
一种电网客服对话情绪感知分析模型


[0001]本专利技术涉及人工智能
，具体地说，是一种电网客服对话情绪感知分析模型，该模型基于用户建模和层级
Transformer。

技术介绍

[0002]随着社交媒体的兴起，会话情感分析在文本情感分析任务中的重要程度日益凸显
。
与独立文本相比，对话类型文本同时包含语句和语境信息，涉及多个参与者并存在心里意识，具有多层级的上下文
。
这些特点影响下，当前的会话情感分析工作主要包含采取分层式模型对上下文建模，采用图模型对话者关系进行建模等
。
[0003]Jiao
等人采用层级
RNN
结构捕获会话中的上下文信息，之后
Zhong
等人采用层级
Transformer、LI J
引入包含先验知识的预训练模型
BERT
从上下文建模方面提升了会话情感分析的效果
。Hazarika
等人采用
GRUs
对二元会话参与者的互动进行建模，
MAJUMDER
则通过将参与者划分为发言阵营和听闻阵营并使用
Attention
机制尝试对多人会话关系建模
。GHOSALD
等将会话中的关系标准化为对话者的自身和之间依赖并以此建立关系图模型，此后的工作大多围绕在设置可学习的关系图中结点的相对位置编码以考虑会话中语句的位置信息
。
[0004]层次化的上下文建模方式可以捕获会话参与者的语境信息却缺少参与者本身的特点，而现有对关系建模方法还有以下缺点：
1)
随着人数的增加复杂度急剧上升，并且不能处理人数动态变化的场景；
2)
计算多重关系的全连通图时计算开销巨大，只能考虑对话中的本地上下文；
3)
缺乏对话者做出情绪判断的显式地指导
。

技术实现思路

[0005]为了解决上述技术问题，本专利技术披露了一种电网客服对话情绪感知分析模型，该模型基于用户建模和层级
Transformer
，将会话参与者之间的依赖关系简化为两类，考虑长距离上下文关系并且方便用户交互建模在层级
Transformer
中的扩展；设计三种类型的
mask
机制实现
Transformer
中用户的交互建模，采用注意机制自动提取用户感知上下文中的重要信息
。
通过在
IEMOCAP
和
MELD
数据集上进行实验，本方法在两个数据集上的性能都超过了此前最先进的模型
。
[0006]本专利技术采用的具体技术方案如下：
[0007]一种电网客服对话情绪感知分析模型，包括句子级编码器
、
对话级编码器
、
融合方法和情感分类器，句子级别和对话级别的分层
Transformer
，句子级别利用
BERT
对目标话语的语义表示进行编码，在对话级别利用
Transformer
捕获上下文信息
。
通过设计用于传统上下文建模的掩码
、
发言者内部依赖的内部掩码和用于发言者之间依赖关系的掩码对简化的依赖关系进行建模，并利用注意机制在对话层自动加权和融合
Transformer
模块
。
[0008]在上述技术方案中，为了利用
Transformer
的编码表示能力，采取
BERT
模型对会话中的句子级上下文进行编码
。
[0009]将单个会话中的词语输入
BERT
获得上下文单词的向量表示其中，为
BERT
输出，
dw
是单词的表示维度；使用最大池化，线性投影获得句子的向量表示
u
n
＝
Linear(Maxpooling(W))
，其中，为句子的表示，
d
u
为句子表示的维度；对每个句子进行处理，得到每个会话的最终矩阵表示为
[0010]在上述技术方案中，对话级有三种
Transformer
模块：传统上下文建模模块
、
表示用户内部依赖的模块和用于用户之间的模块
。Transformer
模块包含以下流程：对句子级编码器得到的会话矩阵添加位置嵌入
C
＝
C+PE(0
：
N)
，其中
PE(0
：
N)
与
C
的维度相同；利用自注意力机制对上下文进行建模，目标对话被视为查询矩阵，语境对话充当关键矩阵，可以并行评估每个目标对话应该从每个语境对话获得多少信息，在这里
C
通过无偏线性投影到查询矩阵键矩阵值矩阵即
[Q
；
K
；
V]＝
Linear([C
；
C
；
C])
，自注意力机制计算如下：其中
*
表示逐元素相乘，
M∈R
N
×
N
为三种不同的掩码
。
[0011]传统掩码将所有元素设为1，每个目标对话都可以访问所有的语境对话，记为
M
C
。
发言者内部掩码只考虑
p
n
标记的语境对话，该方法将其他说话者的位置设置为
‑
INF
，记为
M
RA
。
不同发言者间掩码将发言者与目标句子标签相同的位置设置为
‑
INF
，记为
M
ER
；
Transformer
采用多头注意力机制，将多个不同的
Attention
输出拼接起来并投影到与
C
相同大小的矩阵
O
，随后的输出为：
A
′
＝
LayerNorm(O+C)
，
F
＝
max(0
，
A
′
W1+b1)W2+b2，
[0012]作为第一层
Transformer
输出输入第二层，以此类推，得到第
n
层输出层输出
[0013]在上述技术方案中，融合层有相加
、
拼接和注意力机制三种方式
。
[0014]相加同等考虑所有输出的贡献，表示为拼接可以隐式选择对后续线性任务较为重要的输出，表示为注意力机制可以自动选择更重要的信息，为三种输出表示计算注意力得分，对于表示为表示为
R
i
＝
α
O
i
，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种电网客服对话情绪感知分析模型，其特征在于，包括句子级编码器
、
对话级编码器
、
融合方法和情感分类器，其中，所述句子级编码器利用
BERT
对目标话语的语义表示进行编码，所述对话级编码器利用
Transformer
捕获上下文信息
。2.
根据权利要求1所述的电网客服对话情绪感知分析模型，其特征在于，采取
BERT
模型对会话中的句子级上下文进行编码，将单个会话中的词语对会话中的句子级上下文进行编码，将单个会话中的词语输入
BERT
获得上下文单词的向量表示其中，为
BERT
输出，
d
w
是单词的表示维度；使用最大池化，线性投影获得句子的向量表示
u
n
＝
Linear(Maxpooling(W))
，其中，为句子的表示，
d
u
为句子表示的维度；对每个句子进行处理，得到每个会话的最终矩阵表示为
3.
根据权利要求2所述的电网客服对话情绪感知分析模型，其特征在于，所述对话级编码器有三种
Transformer
模块：传统上下文建模模块
、
表示用户内部依赖的模块和用于用户之间的模块
。4.
根据权利要求3所述的电网客服对话情绪感知分析模型，其特征在于，所述
Transformer
模块包含以下流程：对句子级编码器得到的会话矩阵添加位置嵌入
C
＝
C+PE(0:N)
，其中
PE(0:N)
与
C
的维度相同；利用自注意力机制对上下文进行建模，目标对话被视为查询矩阵，语境对话充当关键矩阵，并行评估每个目标对话应该从每个语境对话获得多少信息，
C
通过无偏线性投影到查询矩阵键矩阵值矩阵即
[Q
；
K
；
V]
＝
Linear([C
；
C
...

【专利技术属性】
技术研发人员：杨乐，赵辛，丁文树，段小峰，汤之宇，徐祥波，吴倩，唐杰，
申请(专利权)人：国网江苏省电力有限公司泰州供电分公司，
类型：发明
国别省市：