基于Transformer多元特征融合的智能文本分类方法技术

本发明专利技术属于自然语言处理领域，具体涉及一种基于Transformer多元特征融合的智能文本分类方法，包括：获取待分类文本，将待分类文本输入到卷积Transformer模块中，得到文本的全局特征和局部上下文特征；将全局特征和局部上下文特征输入到KNN增强机制模块进行特征增强融合处理，得到融合特征图；将融合特征图输入到文本分类模块，得到分类结果；本发明专利技术将transformer和CNN有机的结合起来同时捕获局部与全局特征，并通过用用两个半个FFN将注意力机制和CNN包裹起来，将CNN嵌入transformer内部，使得局部特性与全局特征从浅层语义开始就能互相交互，加深模型的深度学习。

【技术实现步骤摘要】

本专利技术属于自然语言处理领域，具体涉及一种基于transformer多元特征融合的智能文本分类方法。

技术介绍

1、文本分类是自然语言处理(nlp)中的一项基础任务，具有广泛的应用，包括情感分析、新闻分类和意图分类等。文本由单词组成，单词的含义由单词本身和它们出现的上下文共同决定。因此，在提取上下文信息的特征时，考虑文本中的局部和全局依赖关系至关重要。目前大多数提取上下文特征的文本分类模型都是基于cnn或transformer。比如cnn通过采用具有交错卷积和池化层的专用前馈神经网络来提取文本的多个局部上下文特征，这使得它们在文本分类中擅长捕捉细粒度的局部语义特征。但因为卷积滤波器中通常使用较小的内核大小关注局部n-gram，而池化操作损失了位置信息，导致cnn会忽略文本序列中的全局长期依赖关系，当面对较长的文本序列时，模型的性能可能会显著下降。而transformer通过自注意机制建模全局长期依赖关系，因此擅长捕捉全局上下文特征，但由于在计算自注意得分时考虑所有元素的加权平均操作使得注意力分布分散所以可能会忽略相邻元素之间的重要关系从而无法捕捉细粒度的本文档来自技高网...

【技术保护点】

1.一种基于Transformer多元特征融合的智能文本分类方法，其特征在于，包括：获取待分类文本，将待分类文本输入到训练的基于Transformer的多元特征融合文本分类模型，得到文本分类结果；基于Transformer的多元特征融合文本分类模型包括卷积Transformer模块、KNN增强机制模块以及文本分类模块；

2.根据权利要求1所述的一种基于Transformer多元特征融合的智能文本分类方法，其特征在于，卷积Transformer模块对本文进行处理包括：对于给定长度L，将文本中的每个单词标记到对应的D维词向量，得到词嵌入矩阵；将词嵌入矩阵与相应的位置向量组合，得到...

【技术特征摘要】

1.一种基于transformer多元特征融合的智能文本分类方法，其特征在于，包括：获取待分类文本，将待分类文本输入到训练的基于transformer的多元特征融合文本分类模型，得到文本分类结果；基于transformer的多元特征融合文本分类模型包括卷积transformer模块、knn增强机制模块以及文本分类模块；

2.根据权利要求1所述的一种基于transformer多元特征融合的智能文本分类方法，其特征在于，卷积transformer模块对本文进行处理包括：对于给定长度l，将文本中的每个单词标记到对应的d维词向量，得到词嵌入矩阵；将词嵌入矩阵与相应的位置向量组合，得到输入嵌入向量；采用多头注意力机制对输入嵌入向量进行特征提取，得到包含上下文信息的全局特征；对全局特征进行卷积，得到局部上下文特征。

3.根据权利要求2所述的一种基于transformer多元特征融合的智能文本分类方法，其特征在于，输入嵌入向量为：

4.根据权利要求2所述的一种基于transformer多元特征融合的智能文本分类方法，其特征在于，多头注意力机制为：

5.根据权利要求2所述的一种基于transformer多元特征融合的智能文本分类方法，其特征在于，对上下文特征进行卷积包括：采用逐...

【专利技术属性】
技术研发人员：雷建军，张晓雪，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：