一种基于VAE和Attention的主题增强文本情感分类方法技术

本发明专利技术涉及一种基于VAE和Attention的主题增强文本情感分类方法，属于自然语言处理领域，包括以下步骤：S1：将预处理后的文本数据转化为词向量；S2：使用变分自编码器VAE重建BoW输入来学习潜在主题和关键字；S3：通过CNN

【技术实现步骤摘要】
一种基于VAE和Attention的主题增强文本情感分类方法


[0001]本专利技术属于自然语言处理领域，涉及一种基于VAE和Attention的主题增强文本情感分类方法。

技术介绍

[0002]近年来，由于互联网技术的不断发展，越来越多的人在网上通过各种平台发表自己的感受，同时网络评论的数量也呈爆炸式增长,越来越多的人愿意在网络上表达自己的态度和情感,而非单纯地浏览与接受。大量的网络评论数据往往伴随着评论者的情感信息，如“开心”“愤怒”“沮丧”等。社交网络中的节点都是人类。情感是人类的重要特征之一。用户的情绪在理解个人活动中起着重要的作用。个人情感有助于探索社交网络及其应用，如推荐和信息传播。个体情感会深刻地影响用户的行为和决策。个人情感信息可以帮助我们理解如何影响用户的偏好，并做出准确的推荐。个人情感的状态不仅会影响他们的行为和决策，甚至会影响经济的波动。所以如何提取出用户情感并进行预测非常重要。现有的情感分析技术仍然存在许多不足，大多数工作主要是根据文本特征信息利用监督学习的方式多情感进行分类，忽略了文本潜在主题对于情感的影响，而常规的主题生成方法例如LDA不能以联合的方式直接集成到神经网络中。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于VAE(变分自编码器)和Attention(注意力机制)的通过捕获主题信息来进行文本情感分类的方法，通过VAE获取文本潜在的主题向量，再通过注意力机制将CNN
‑
Bi
‑
LSTM处理后得到的句子结构信息相结合，充分利用文本的潜在主题信息，提高情感分类的准确性。
[0004]为达到上述目的，本专利技术提供如下技术方案：
[0005]一种基于VAE和Attention的主题增强文本情感分类方法，包括以下步骤：
[0006]S1：将预处理后的文本数据转化为词向量；
[0007]S2：使用变分自编码器VAE重建BoW输入来学习潜在主题和关键字；
[0008]S3：通过CNN
‑
Bi
‑
LSTM提取句子特征信息；
[0009]S4：利用注意力机制Attention计算CNN
‑
Bi
‑
LSTM层最后一个时序输出的向量与潜在主题向量的权重进行加权求和作为特征向量，再进行softmax分类。
[0010]进一步，步骤S1中所述预处理包括：将原始文本数据去除标点符号和停用词，再进行分词处理，最后进行word2vec词嵌入处理。
[0011]进一步，步骤S2所述的VAE由一个编码器和一个解码器组成，其中：
[0012]编码器的输入是句子的词袋特征，给定句子S＝{s1，....s
L
}，L代表句子长度，每一个词向量被表示为一个BoW特征x
BoW
∈R
V
，V表示词汇量大小；
[0013]解码器通过变分推理来近似后验分布Z，并利用前馈神经网络将Z重构为
[0014][0015]其中M∈R
T
×
V
是f
d
(
·
)的内核；
[0016]M跟随每个主题t＝(0，......T)进行规范化：
[0017][0018]其中，M
t
通过词汇表上的关键字分布来表示第t个主题；
[0019]模型学习：通过最大化特征边际对数似然的变分下限来学习VAE的参数：
[0020][0021]其中φ和θ分别是编码器和解码器的参数，以及KL
‑
发散项确保q
φ
(Z|x
BoW
)接近先验分布p(Z)，p(Z)是一个标准正态分布
[0022]更进一步，编码器f
e
(.)由多个非线性隐藏层组成，将x
Bow
转化为先验参数μ和σ：
[0023][0024][0025]定义潜在变量Z＝μ+σ
·
∈，∈是从采样的高斯噪音变量，Z∈R
T
，T是主题编号，通过softmax函数进行归一化，Z反映了潜在主题T的分布。
[0026]更进一步，对编码器采用KL成本退火和断字，以削弱自回归解码器并退火KL散度项。
[0027]进一步，步骤S3所述的CNN
‑
Bi
‑
LSTM包括CNN层和Bi
‑
LSTM层，其中：
[0028]所述CNN层的处理步骤为：用不同尺寸的卷积核提取特征，再进行最大池化，最后将不同尺寸的卷积核提取的特征拼接在一起作为输入到Bi
‑
LSTM中的特征向量；
[0029]所述Bi
‑
LSTM层用于获取句子双向的特征信息。
[0030]进一步，所述CNN层的处理步骤具体包括：
[0031]设x
i
∈R
k
为对应于句子中的第i个单词的k维词向量，R
k
是句子的矩阵表示，长度为n的句子是一个n*k的矩阵，表示一句话的n个词语，每个词语是一个k维向量，假设文档中最长的句子中的词个数为n，则小于n的句子填充为m；最终得到的词向量矩阵为n*k，表示为：
[0032][0033]其中是串联运算符，让x
i：n
成为单词x
i
的串联；
[0034]卷积运算包含一个滤波器卷积运算包含一个滤波器表示卷积核，用于单词h的窗口以产生一个新的特征，特征c
i
由单词x
i：i+h
‑1的窗口生成：
[0035]c
i
＝f(w
·
x
i：i+h
‑1+b)
[0036]h为窗口，也就是滤波器的高度，b∈R是一个偏置项，w是权重，f是一个非线性函数；过滤器应用于句子{X
1：h
，X
2：h+1
，
…
，X
n
‑
h+1：n
}生成特征图：
[0037]c＝[c1，c2，...，c
n
‑
h+1
][0038]然后在特征映射上应用max超时池操作，并将最大值作为与此对应的特征特殊过滤器；
[0039]使用不同窗口大小的多个过滤器来获得多个特征，将这些特征形成倒数第二层，并传递给完全连接的Bi
‑
LSTM层；
[0040]在倒数第二层使用dropout，使用三种feature size的卷积核对应3
‑
gram，4
‑
gram
和5
‑
gram。
[0041]进一步，所述Bi
‑
LSTM层包括遗忘门、输入门、输出门；
[0042]遗忘门：以一定的概率控制是否遗忘上一层的隐藏细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VAE和Attention的主题增强文本情感分类方法，其特征在于：包括以下步骤：S1：将预处理后的文本数据转化为词向量；S2：使用变分自编码器VAE重建BoW输入来学习潜在主题和关键字；S3：通过CNN
‑
Bi
‑
LSTM提取句子特征信息；S4：利用注意力机制Attention计算CNN
‑
Bi
‑
LSTM层最后一个时序输出的向量与潜在主题向量的权重进行加权求和作为特征向量，再进行softmax分类。2.根据权利要求1所述的基于VAE和Attention的主题增强文本情感分类方法，其特征在于：步骤S1中所述预处理包括：将原始文本数据去除标点符号和停用词，再进行分词处理，最后进行word2vec词嵌入处理。3.根据权利要求1所述的基于VAE和Attention的主题增强文本情感分类方法，其特征在于：步骤S2所述的VAE由一个编码器和一个解码器组成，其中：编码器的输入是句子的词袋特征，给定句子S＝{s1,....s
L
}，L代表句子长度，每一个词向量被表示为一个BoW特征x
BoW
∈R
V
，V表示词汇量大小；解码器通过变分推理来近似后验分布Z，并利用前馈神经网络将Z重构为解码器通过变分推理来近似后验分布Z，并利用前馈神经网络将Z重构为其中M∈R
T
×
V
是f
d
(
·
)的内核；M跟随每个主题t＝(0,
……
T)进行规范化：其中，M
t
通过词汇表上的关键字分布来表示第t个主题；模型学习：通过最大化特征边际对数似然的变分下限来学习VAE的参数：其中φ和θ分别是编码器和解码器的参数，以及KL
‑
发散项确保q
φ
(Z∣x
BoW
)接近先验分布p(Z)，p(Z)是一个标准正态分布4.根据权利要求3所述的基于VAE和Attention的主题增强文本情感分类方法，其特征在于：编码器f
e
(.)由多个非线性隐藏层组成，将x
Bow
转化为先验参数μ和σ：μ＝f
eμ
(x
BoW
)logσ＝f
eσ
(x
BoW
)定义潜在变量Z＝μ+σ
·
∈，∈是从采样的高斯噪音变量，Z∈R
T
，T是主题编号，通过softmax函数进行归一化。5.根据权利要求4所述的基于VAE和Attention的主题增强文本情感分类方法，其特征在于：对编码器采用KL成本退火和断字，以削弱自回归解码器并退火KL散度项。6.根据权利要求1所述的基于VAE和Attention的主题增强文本情感分类方法，其特征在于：步骤S3所述的CNN
‑
Bi
‑
LSTM包括CNN层和Bi
‑
LSTM层，其中：所述CNN层的处理步骤为：用不同尺寸的卷积核提取特征，再进行最大池化，最后将不
同尺寸的卷积核提取的特征拼接在一起作为输入到Bi
‑
LSTM中的特征向量；所述Bi
‑
LSTM层用于获取句子双向的特征信息。7.根据权利要求6所述的基于VAE和Attention的主题增强文本情感分类方法，其特征在于：所述CNN层的处理步骤具体包括：设x
i
∈R
k
为对应于句子中的第i个单词的k维词向量，R
k
是句子的矩阵表示，长度为n的句子是一个n*k的矩阵，表示一句话的n个词语，每个词语是一个k维向量，假设文档中最长的句子中的词个数为n，则小于n的句子填充为m；最终得到的词向量矩阵为n*k，表示为：其中
⊕
是串联运算符，让x
i:n
成为单词x
i
的串联；卷积运算包含一个滤波器卷积运算包含一个滤波器表示卷积核，用于单词h的窗口以产生一个新的特征，特征c
i
由单词x
i:i+h
‑1的窗口生成：c
i
＝f(w
·
x
i：i...

【专利技术属性】
技术研发人员：刘洪涛，叶嘉奇，张斌弛，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：