一种基于自注意力机制和BiGRU的文本分类方法技术

本发明专利技术适用于文本分类技术领域，提供了一种基于自注意力机制和BiGRU的文本分类方法，包括如下步骤：步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；步骤S2：使用CNN提取文本局部特征；步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；步骤S4：对CNN和BiGRU的输出进行融合；步骤S5：使用全连接层，结合Softmax函数获得文本分类结果；利用自注意力机制关注对分类贡献较大的文本部分，使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征，同时通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系，最后将CNN和BiGRU的输出进行特征融合，训练分类器对不同类型的文本信息进行分类。

【技术实现步骤摘要】
一种基于自注意力机制和BiGRU的文本分类方法
本专利技术属于文本分类
，尤其涉及一种基于自注意力机制和BiGRU的文本分类方法。
技术介绍
文本分类技术是对文本集按照一定的分类体系或标准进行自动分类标注的技术，20世纪90年代，在计算机研究领域各种基于数学表达的机器学习方法不断涌现，一些经典的机器学习方法，如支持向量机、朴素贝叶斯、决策树、最近邻方法等被广泛应用于文本分类研究，PANGB等人使用词袋模型，结合贝叶斯、最大熵、支持向量机等机器学习方法对IMDB影评数据集进行情感分类，取得了较好的效果，基于机器学习方法的文本分类模型虽然拥有较为简单的函数表达，但其通常需要繁杂的人工特征工程，生成的文本特征表示均为高维度的稀疏向量，忽略了词义、词序等信息，其特征表达能力也相对较弱，在分类任务中无法很好地保留上下文信息；Bengio等人提出神经网络语言模型，将深度学习方法引入自然语言处理研究领域，神经网络语言模型将单词映射到低维稠密空间，并采用词向量度量单词之间的语义相关性，此后Golve和word2vec等词向量模型的提出，实现了词向量的高效本文档来自技高网...

【技术保护点】
1.一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：包括如下步骤：/n步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；/n步骤S2：使用CNN提取文本局部特征；/n步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；/n步骤S4：对CNN和BiGRU的输出进行融合；/n步骤S5：使用全连接层，结合Softmax函数获得文本分类结果。/n

【技术特征摘要】
1.一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：包括如下步骤：
步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；
步骤S2：使用CNN提取文本局部特征；
步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；
步骤S4：对CNN和BiGRU的输出进行融合；
步骤S5：使用全连接层，结合Softmax函数获得文本分类结果。


2.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：所述步骤S1中，中文文本分类采用基于字粒度的处理方式，将每一个文本实例看作是由字符构成的序列，并通过前述计算步骤将其转换成字嵌入序列。


3.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：GRU引入门对原始RNN中隐藏状态的计算方法进行修改，该门包括重置门、更新门、候选隐藏状态和隐藏状态。


4.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：所述BiGRU每个时间步隐...

【专利技术属性】
技术研发人员：石磊，王明宇，高宇飞，陶永才，卫琳，
申请(专利权)人：郑州大学，
类型：发明
国别省市：河南;41