基于BERT与改进LSTM的文本分类方法技术

本发明专利技术属于文本识别领域，公开了基于BERT与改进LSTM的文本分类方法，包括：对输入的文本数据进行预处理；将预处理后的文本数据输入BERT模型进行处理，得到词向量序列；利用改进的LSTM网络对向量序列进行深度编码，得到特征向量；利用全连接层对特征向量降维；使用分类器对降维的特征向量进行分类。本发明专利技术通过改进的LSTM区分文本中的字词的重要性，从而提高了神经元的学习质量和效率，文本分类模型拟合速度快，分类效果好；文本分类模型的BERT捕捉上下文信息，便于识别多义字词，对特征提取奠定了良好基础，有助于提高文本分类精度。

【技术实现步骤摘要】
基于BERT与改进LSTM的文本分类方法
本专利技术属于文本识别领域，具体涉及一种基于BERT与改进LSTM的文本分类方法。
技术介绍
文本分类主要的应用领域为微博情感分析、用户评论挖掘、信息检索、分类新闻组、单词语义辨析等。20世纪90年代以前，文本自动分类主要采用基于知识工程的方式，即由专业人员手工进行分类，其缺点是成本高、费时费力。90年代以来，研究人员开始将各种统计方法和机器学习方法应用于自动文本分类，例如支持向量机SVM、AdaBoost算法、朴素贝叶斯算法、KNN算法和Logistic回归等。近年来，随着深度学习和各种神经网络模型的快速发展，基于深度学习的文本分类方法引起了学术界和工业界的密切关注与研究，递归神经网络LSTM、GRU和卷积神经网络CNN都被广泛地应用于文本的分类中。目前的文本分类方法中，输入往往是非动态字向量或者词向量，字向量或者词向量并不能根据它的上下文去改变，信息涵盖量比较单一；采用的特征提取模型大多是深度学习中的CNN、RNN模型，缺少在输入维度对输入信息流的不同重要性级别的细粒度调整。本文档来自技高网...

【技术保护点】
1.基于BERT与改进LSTM的文本分类方法，其特征在于，包括以下步骤：/n步骤1：对输入的文本数据进行预处理；/n步骤2：将预处理后的文本数据输入BERT模型进行处理，得到词向量序列；/n步骤3：利用改进的LSTM网络对向量序列进行深度编码，得到特征向量；/n步骤4：利用全连接层对特征向量降维；/n步骤5：使用分类器对降维的特征向量进行分类。/n

【技术特征摘要】
1.基于BERT与改进LSTM的文本分类方法，其特征在于，包括以下步骤：
步骤1：对输入的文本数据进行预处理；
步骤2：将预处理后的文本数据输入BERT模型进行处理，得到词向量序列；
步骤3：利用改进的LSTM网络对向量序列进行深度编码，得到特征向量；
步骤4：利用全连接层对特征向量降维；
步骤5：使用分类器对降维的特征向量进行分类。


2.根据权利要求1所述的基于BERT与改进LSTM的文本分类方法，其特征在于，步骤1中，文本数据的预处理包括标点符号过滤、缩写补齐、删除空格和非法字符过滤。


3.根据权利要求1所述的基于BERT与改进LSTM的文本分类方法，其特征在于，所述步骤2具体包括：
1)利用训练好的BERT模型对预处理后的文本数据集T'的文本进行分词，得到词向量集T”＝{t1”,t2”,...,tn”}，文本数据集的文本被转化成固定长度的词向量t1”＝{w1,w2,...,wL}；
2)将词向量集T”输入BERT中的Token嵌入层、Segment嵌入层和Position嵌入层，分别得到向量编码V1、句子编码V2以及位置编码V3；
3)将V1、V2、V3相加，输入到BERT中的双向Transformer中，得到词向量序列S＝{s1,s2,...,sn}。


4.根据权利要求1所述的基于BERT与...

【专利技术属性】
技术研发人员：戚力鑫，万书振，
申请(专利权)人：三峡大学，
类型：发明
国别省市：湖北;42