一种基于ALBERT-BiLSTM模型和SVM-NB分类的文本情绪识别方法技术

一种基于ALBERT

【技术实现步骤摘要】
一种基于ALBERT
‑
BiLSTM模型和SVM
‑
NB分类的文本情绪识别方法


[0001]本专利技术适文本情绪识别(Textualemotion recognition)领域，具体涉及到基于ALBERT
‑
BiLSTM模型，以及SVM
‑
NB分类方法，其优越性在于采用句子向量进行预训练，进而提高情绪识别的准确性，同时能够做到多情感的识别，取得的效果较为明显。

技术介绍

[0002]文本情绪识别的研究是自然语言处理领域的一个重要分支，广泛应用于舆情分析和内容推荐等方面，是近年来的研究热点。
[0003]ALBERT(ALiteBERT)模型是基于BERT模型进行改进得到的一个轻量化版本模型，BERT预训练过程其实就是在模仿我们学语言的过程，思想来源于完形填空的任务，这样做迫使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力，ALBERT模型在此基础上使用了嵌入矩阵分解和参数共享技术，减少了模型中的参数量的同时提高了训练速度。
[0004]BiLSTM(Bi
‑
directional Long Short
‑
Term Memory)是RNN(Recurrent Neural Network)的一种，由前向LSTM与后向LSTM组合而成，在自然语言处理任务中常被用来建模上下文信息，将词的表示组合成句子的表示，可以采用相加的方法，即将所有词的表示进行加和，或者取平均等方法，但是这些方法没有考虑到词语在句子中前后顺序，使用BiLSTM模型可以更好的捕捉到较长距离的依赖关系，通过训练过程可以学到记忆哪些信息和遗忘哪些信息，同时可以更好的捕捉双向的语义依赖。
[0005]SVM(Support Vector Machines)是一种二分类模型，基本模型是定义在特定空间，为了寻求间隔最大化的线性分类器，SVM分类的目的是为了正确划分训练集并且几何间隔最大的分离超平面，侧重于模式识别方面，使用SVM可以大大提高分类的准确性。
[0006]朴素贝叶斯(Naive Bayes)分类是基于贝叶斯定理和特征条件独立假设的分类方法，该分类法在贝叶斯算法上进行了简化，即假定给定目标值时属性之间相互条件独立，不存在某个属性变量会对决策结果造成过大或过小的影响。朴素贝叶斯通过特征计算分类的概率，选取概率大的那种情况，极大简化了贝叶斯方法的复杂性。

技术实现思路

[0007]针对一般文本情绪识别模型只能对词向量进行训练，从而情绪识别准确度受到很大影响，并且在情感极性的分类上通常只会有积极和消极两种情绪的分类结果，无法识别出一句话所蕴含的多种情感进而不能很全面的概括出人的具体情绪状况，本专利技术提出了一种基于ALBERT
‑
BiLSTM模型和SVM
‑
NB分类的文本情绪识别方法，结合ALBERT预训练语言模型与由双向LSTM叠加形成的循环神经网络BiLSTM以及SVM
‑
NB分类方法，ALBERT
‑
BiLSTM模型采用句子向量进行预训练较于词向量在训练模型有着较为明显的优势，能提高情绪识别的准确率，同时SVM
‑
NB分类能够做到多情感的识别，取得的效果较为明显。
[0008]具体
技术实现思路
为：
[0009]1.一种基于ALBERT
‑
BiLSTM模型和SVM
‑
NB分类的文本情绪识别方法，其特征在于包括以下步骤：
[0010]步骤1)对文本进行分词、去停用词、去除乱码等预处理，包括以下步骤：
[0011]步骤1.1)使用的是jieba库进行分词、去停用词、去除乱码等操作，其中停用词指的是文档中一些十分常用但不会对文本含义造成影响的词汇；
[0012]步骤1.2)使用TF
‑
IDF法，统计出重要单词在文本中出现的频率；
[0013]单词w
i
的TF
‑
IDF值计算公式：
[0014][0015]其中f(w
i
)表示单词w
i
在文本中出现的频率，D
n
表示文本总数，f
n
(w
i
)表示有单词w
i
出现的文本数量，通过对所有文本中的每一个单词都进项上述的分析，得到每一个单词的TF
‑
IDF值，即可得到各个单词在文本中的重要程度；
[0016]步骤2)基于ALBERT预训练语言模型对文本进行预处理，包括以下步骤：
[0017]步骤2.1)利用输入层将步骤1)中得到的文本数据输入到模型的ALBERT层中，输入的文本数据
[0018]E＝{E1,E2...E
n
}
[0019]其中E
i
表示该条文本中的第i个词；
[0020]步骤2.2)对输入的文本数据进行序列化，将文本数据X中的词向量转化成其在字典中相应的编号，序列化后的文本数据
[0021]X∈{X1,X2...X
n
}
[0022]其中X
i
表示文本中第i个词序列化之后的标号；
[0023]步骤3)将步骤2)中得到的数据输入到BiLSTM神经网络，包括以下步骤：
[0024]步骤3.1)BiLSTM神经网络Forward Layer按正向顺序进行读取，输出的向量集合为
[0025][0026]其中为最后时刻前向隐层的特征向量；
[0027]步骤3.2)BiLSTM神经网络Back Layer按逆向顺序进行读取，输出的向量集合为
[0028][0029]其中为最后时刻后向隐层的特征向量；
[0030]步骤3.3)将和拼接起来以获取文本最终的特征向量H
n
，即BiLSTM的输出为
[0031][0032]其中i为文本X的第i个词，且满足i≤n；
[0033]步骤4)将步骤3)中得到的数据通过SVM
‑
NB分类方法进行情绪分类，包括以下步骤：
[0034]步骤4.1)运用SVM分类，结合步骤3)中得到的数据特征，将文本情绪分为积极和消极两类，同时为了方便对输入结果的理解，将SVM
‑
NB层的SVM分类预测值λ大于情绪阈值α的
情绪定义为积极情绪，λ小于情绪阈值α的情绪定义为消极情绪，在本方法中取情绪阈值α＝0.5；
[0035]步骤4.2)将步骤4.1)中得到的情绪特征带入到朴素贝叶斯分类公式
[0036][0037]进行朴素贝叶斯分类，式中X定义为“该情绪具有某特征”，Y定义为“该情绪属于某类”，本方法中将消极情绪细分为愤怒、厌恶以及悲伤，训练过程在于求解P(X|Y)，这个工作是通过进行文本数据的分析而来，具体为计算文本中某些特征的出现频率，如频数最大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ALBERT
‑
BiLSTM模型和SVM
‑
NB分类的文本情绪识别方法，其特征在于包括以下步骤：步骤1)对文本进行分词、去停用词、去除乱码等预处理，包括以下步骤：步骤1.1)使用的是jieba库进行分词、去停用词、去除乱码等操作，其中停用词指的是文档中一些十分常用但不会对文本含义造成影响的词汇；步骤1.2)使用TF
‑
IDF法，统计出重要单词在文本中出现的频率；单词w
i
的TF
‑
IDF值计算公式：其中f(w
i
)表示单词w
i
在文本中出现的频率，D
n
表示文本总数，f
n
(w
i
)表示有单词w
i
出现的文本数量，通过对所有文本中的每一个单词都进项上述的分析，得到每一个单词的TF
‑
IDF值，即可得到各个单词在文本中的重要程度；步骤2)基于ALBERT预训练语言模型对文本进行预处理，包括以下步骤：步骤2.1)利用输入层将步骤1)中得到的文本数据输入到模型的ALBERT层中，输入的文本数据E＝{E1,E2...E
n
}其中E
i
表示该条文本中的第i个词；步骤2.2)对输入的文本数据进行序列化，将文本数据X中的词向量转化成其在字典中相应的编号，序列化后的文本数据X∈{X1,X2...X
n
}其中X
i
表示文本中第i个词序列化之后的标号；步骤3)将步骤2)中得到的数据输入到BiLSTM神经网络，包括以下步骤：步骤3.1)BiLSTM神经网络Forward Layer按正向顺序进行读取，输出的向量集合为其中为最后时刻前向隐层的特征向量；步骤3.2)BiLSTM神经网络Back Layer按逆向顺序进行读取，输出的向量集合为其中为最后时刻后向隐层的特征向量；步骤3.3)将和拼接起来以获...

【专利技术属性】
技术研发人员：左韬，叶子豪，闵华松，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：