【技术实现步骤摘要】
基于多输入注意力网络的中文文本分类方法
本专利技术属于自然语言数据处理领域，具体涉及一种基于多输入注意力网络的中文文本分类方法。
技术介绍
现如今人工智能在各个领域都有了广泛地应用，尤其是在自然语言处理领域，人工智能系统在文本分类、文本生成、机器翻译、机器阅读等方向都取得了显著的成果。在自然语言处理领域，人工智能也有极大地发展，其快速准确的摘要、分类、翻译与生成是人类无法匹及的。使用人工智能的自然语言处理系统，过往需要几天甚至几周的语言信息处理时间可以被大大缩短。这样有利于快速的处理各种语言信息，节约人力资源，降低相关成本，提高相关应用的效率和精度。文本分类是自然语言处理领域的一个分支。具体来说，文本分类是指根据预先定义的主题类别,按照一定的规则将文档集合中未知类别的文本自动确定一个或几个类别的过程，包含了情感分析、主题分类等多个子领域。文本分类在众多领域中均有应用,常见的应用包括:邮件分类、网页分类、文本索引、自动文摘、信息检索、信息推送、数字图书馆以及学习系统等。近年来，深度学习在文本分类中得到了广泛的应...
【技术保护点】
1.一种基于多输入注意力网络的中文文本分类方法，包括如下步骤：/nS1.获取中文文本数据；/nS2.根据步骤S1获取的中文文本数据，建立对应的语言模型；/nS3.建立拼音编码器；/nS4.建立文本编码器；/nS5.将步骤S3得到的拼音编码器和步骤S4得到的文本编码器进行结合，从而得到初步的新型多输入注意力网络模型；/nS6.对步骤S5得到的初步的新型多输入注意力网络模型的模型参数进行优化，从而得到最终的新型多输入注意力网络模型；/nS7.采用步骤S6得到的最终的新型多输入注意力网络模型，对输入的中文文本进行分类，从而得到最终的分类结果。/n
【技术特征摘要】
1.一种基于多输入注意力网络的中文文本分类方法，包括如下步骤：
S1.获取中文文本数据；
S2.根据步骤S1获取的中文文本数据，建立对应的语言模型；
S3.建立拼音编码器；
S4.建立文本编码器；
S5.将步骤S3得到的拼音编码器和步骤S4得到的文本编码器进行结合，从而得到初步的新型多输入注意力网络模型；
S6.对步骤S5得到的初步的新型多输入注意力网络模型的模型参数进行优化，从而得到最终的新型多输入注意力网络模型；
S7.采用步骤S6得到的最终的新型多输入注意力网络模型，对输入的中文文本进行分类，从而得到最终的分类结果。
2.根据权利要求1所述的基于多输入注意力网络的中文文本分类方法，其特征在于步骤S2所述的根据步骤S1获取的中文文本数据，建立对应的语言模型，具体为采用如下步骤建立语言模型：
A.将获取的中文文本数据进行分词，并去除停用词；
B.将步骤A得到的中文本文转换为对应的拼音文本；
C.将步骤A得到的中文文本和步骤B得到的拼音文本分别进行统计，得到中文文本统计数据和拼音文本统计数据；
D.对步骤C得到的中文文本统计数据和拼音文本统计数据进行训练，从而得到基于词向量的矩阵数据。
3.根据权利要求2所述的基于多输入注意力网络的中文文本分类方法，其特征在于步骤S3所述的建立拼音编码器，具体为采用如下步骤建立拼音编码器：
a.设定拼音编码器的输入包括标点符号和数字的拼音字符；拼音编码器的嵌入层采用均值为X1、标准差为X2的高斯分布进行随机初始化；
b.嵌入层后连接一个一维可分离卷积层和一维最大池化层，用于初步提取拼音数据的空间特征；
c.将步骤b得到的空间特征输入注意力模块；所述注意力模块为采用可分离的CNN算法构建的非线性的多头自注意力结构；
d.将步骤c得到的输出信号在输入提取模块；所述提取模块首先采用最大池化的下采样操作减少步骤c得到的特征映射，然后再采用两层可分离卷积层进行空间信息的进一步提取，从而得到拼音编码器的输出数据。
4.根据权利要求3所述的基于多输入注意力网络的中文文本分类方法，其特征在于步骤c所述的注意力模块，具体为定义Q、K、V分别为由查询、键和值组成的矩阵；Q、K、V均为l*d的矩阵，其中l是输入长度，d是输入通道的数目；而且
Qs＝[Q1,...,Qn],whe...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。