文本分类方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，尤其涉及一种文本分类方法、装置、设备及存储介质，该方法包括：获取待分类的文本序列，通过不同尺度的卷积对所述待分类的文本序列进行局部特征提取，得到多个不同的特征子空间；将各个不同的特征子空间通过Attention机制进行全局注意力计算，得到各个特征子空间输出的特征；对各个特征子空间输出的特征进行融合分类，得到句子序列的最终向量表示；对所述句子序列的最终向量表示进行线性变换，得到文本分类结果，从而实现精确简单地完成文本分类。现精确简单地完成文本分类。现精确简单地完成文本分类。

【技术实现步骤摘要】
文本分类方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种文本分类方法、装置、设备及存储介质。

技术介绍

[0002]目前在文本分类任务上，主流的算法模型主要基于CNN、RNN和Attention注意力机制，并在此基础上延伸出来的一系列组合模型，如基于CNN和RNN的模型、基于RNN和Attention注意力机制的模型以及基于CNN和Attention注意力机制的模型，存在的结构缺陷、复杂度高及性能和准确度上的不足。因此，如何精确简单地完成文本分类成为当前亟待解决的技术问题；
[0003]但目前一些研究者尝试通过增加网络的深度，提出了VDCNN、DPCNN、SVDCNN等模型来间接的达到对长距离特征的提取这在一定程度上缓解了CNN的这种缺陷，但这些设计也使得模型的复杂性变得更高，导致了大量的参数，产生更大的性能开销，也更易使模型在训练中过拟合。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法，其特征在于，所述方法包括以下步骤：获取待分类的文本序列，通过不同尺度的卷积对所述待分类的文本序列进行局部特征提取，得到多个不同的特征子空间；将各个不同的特征子空间通过Attention机制进行全局注意力计算，得到各个特征子空间输出的特征；对各个特征子空间输出的特征进行融合分类，得到句子序列的最终向量表示；对所述句子序列的最终向量表示进行线性变换，得到文本分类结果。2.如权利要求1所述的方法，其特征在于，所述获取待分类的文本序列，通过不同尺度的卷积对所述待分类的文本序列进行局部特征提取，得到多个不同的特征子空间之前，还包括：对初始化的词向量权重按照预设规则进行缩放得到放缩后的权重，并根据所述放缩后的权重对原始句子序列进行求和，得到求和后的嵌入向量；根据所述求和后的的嵌入向量进行Dropout和LayerNorm处理，得到待分类的文本序列。3.如权利要求1所述的方法，其特征在于，所述通过不同尺度的卷积对所述待分类的文本序列进行行局部特征提取，得到多个不同的特征子空间，包括：根据所述待分类的文本序列，得到平行于layer层中的句子词向量矩阵；对所述平行于layer层中的句子词向量矩阵通过不同尺度的卷积核进行n
‑
gram卷积，得到不同的特征子空间。4.如权利要求1所述的方法，其特征在于，所述将各个不同的特征子空间通过Attention机制进行全局注意力计算，得到各个特征子空间输出的特征，包括：对所述不同的特征子空间进行多次Self
‑
Attention处理，捕获到不同的特征子空间中的重要特征；对所述不同的特征子空间中的重要特征进行Concat拼接，并通过与一个映射矩阵相乘，得到各子空间输出的特征。5.如权利要求4中所述的方法，其特征在于，所述对所述不同的特征子空间进行多次Self
‑
Att...

【专利技术属性】
技术研发人员：杨华，张书祥，沈浩，周康，曾山，汪俊雄，邓幸全，冯立，吴永福，雷清锋，
申请(专利权)人：武汉轻工大学，
类型：发明
国别省市：