文本分类方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种文本分类方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：通过多个词向量模型对待分类文本中的词语进行向量化处理，得到待分类文本的多个词向量序列；针对每个词向量序列，分别通过第一特征提取模型和第二特征提取模型，对词向量序列进行特征提取，得到待分类文本的局部特征向量和上下文特征向量；对各个词向量序列的局部特征向量和上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量；对各个词向量序列对应的拼接特征向量进行融合处理，得到融合特征向量；基于融合特征向量，对待分类文本进行分类，得到待分类文本的分类结果。采用本方法能够丰富句子语义的表达，进而提高文本分类的准确性。分类的准确性。分类的准确性。

【技术实现步骤摘要】
文本分类方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种文本分类方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能领域的发展，出现了自然语言处理技术，该技术主要研究用于实现人与计算机之间用自然语言进行有效通信的各种理论和方法，其中文本分类是自然语言处理技术中一个重要的方向。
[0003]现有技术提出的文本分类方法，多为采用统计类模型，如TF
‑
IDF(term frequency
–
inverse document frequency，词频
‑
逆文本指数)，或者是词向量模型，如embedding(嵌入)模型等。
[0004]然而，由于同一个文本可能会有不同的含义，现有的文本分类方法难以得到准确的分类结果。

技术实现思路

[0005]基于此，有必要针对现有的文本分类方法存在的文本语义表达不全面的技术问题，提供一种文本分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种文本分类方法。所述方法包括：
[0007]通过多个词向量模型对待分类文本中的词语进行向量化处理，得到所述待分类文本的多个词向量序列；
[0008]针对每个词向量序列，通过第一特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的局部特征向量；以及，通过第二特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的上下文特征向量；
[0009]分别对各个词向量序列的所述局部特征向量和所述上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量；
[0010]对各个词向量序列对应的拼接特征向量进行融合处理，得到融合特征向量；
[0011]基于所述融合特征向量，对所述待分类文本进行分类，得到所述待分类文本的分类结果。
[0012]在其中一个实施例中，所述第一特征提取模型包括多个第一子模型，所述多个第一子模型之间层级连接；
[0013]所述通过第一特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的局部特征向量，包括：
[0014]针对所述第一特征提取模型中第一层的第一子模型，将所述词向量序列作为所述第一层的第一子模型的输入变量，得到所述第一层的第一子模型的输出结果；
[0015]针对所述第一特征提取模型中第二层的第一子模型，将所述词向量序列以及所述第一层的第一子模型的输出结果，确定为所述第二层的第一子模型的输入变量，得到所述
第二层的第一子模型的输出结果；
[0016]针对所述第一特征提取模型中除第一层和第二层之外的任一层的第一子模型，将位于所述任一层的第一子模型之前两层的第一子模型的输出结果，确定为所述任一层的第一子模型的输入变量，得到除第一层和第二层之外的各层第一子模型的输出结果；将所述多个第一子模型中最后一层的第一子模型的输出结果，确定为所述待分类文本的局部特征向量。
[0017]在其中一个实施例中，所述第二特征提取模型包括多个第二子模型，所述多个第二子模型之间层级连接；
[0018]所述通过第二特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的上下文特征向量，包括：
[0019]针对所述第二特征提取模型中第一层的第二子模型，将所述词向量序列作为所述第一层的第二子模型的输入变量，得到所述第一层的第二子模型的输出结果；
[0020]针对所述第二特征提取模型中除第一层之外的任一层的第二子模型，将所述词向量序列以及位于所述任一层的第二子模型之前的每个第二子模型的输出结果，确定为所述任一层的第二子模型的输入变量，得到除第一层之外的各层第二子模型的输出结果；
[0021]将所述多个第二子模型中最后一层的第二子模型的输出结果，确定为所述待分类文本的上下文特征向量。
[0022]在其中一个实施例中，在所述分别对各个词向量序列的所述局部特征向量和所述上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量之前，还包括：
[0023]针对每个词向量序列，获取所述词向量序列的第一权值向量和第二权值向量；所述第一权值向量包括所述待分类文本的每个词语对应的第一权值，所述每个词语对应的第一权值表示每个词语对应的局部特征对所述待分类文本的分类结果的影响程度；所述第二权值向量包括所述待分类文本的每个词语对应的第二权值，所述每个词语对应的第二权值表示每个词语对应的上下文特征对所述待分类文本的分类结果的影响程度；
[0024]通过所述第一权值向量对所述局部特征向量进行加权处理，得到加权后的局部特征向量；
[0025]通过所述第二权值向量对所述上下文特征向量进行加权处理，得到加权后的上下文特征向量；
[0026]所述分别对各个词向量序列的所述局部特征向量和所述上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量，包括：
[0027]分别对各个词向量序列的所述加权后的局部特征向量和所述加权后的上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量。
[0028]在其中一个实施例中，所述分别对各个词向量序列的所述加权后的局部特征向量和所述加权后的上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量，包括：
[0029]针对每个词向量序列，获取所述词向量序列的加权后的局部特征向量的向量维度和所述加权后的上下文特征向量的向量维度；所述加权后的局部特征向量的向量维度和所述加权后的上下文特征向量的向量维度相同；
[0030]基于所述向量维度，确定对所述加权后的局部特征向量和所述加权后的上下文特
征向量进行拼接的拼接模式；
[0031]按照所述拼接模式，对所述加权后的局部特征向量和所述加权后的上下文特征向量进行拼接，得到各个词向量序列对应的拼接特征向量。
[0032]在其中一个实施例中，所述基于所述融合特征向量，对所述待分类文本进行分类，得到所述待分类文本的分类结果，包括：
[0033]通过分类模型对所述融合特征向量进行处理，得到所述待分类文本的分类结果。
[0034]第二方面，本申请还提供了一种文本分类装置。所述装置包括：
[0035]词向量模块，用于通过多个词向量模型对待分类文本中的词语进行向量化处理，得到所述待分类文本的多个词向量序列；
[0036]特征提取模块，用于针对每个词向量序列，通过第一特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的局部特征向量；以及，通过第二特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的上下文特征向量；
[0037]特征拼接模块，用于分别对各个词向量序列的所述局部特征向量和所述上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量；
[0038]特征融合模块，用于对各个词向量序列对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法，其特征在于，所述方法包括：通过多个词向量模型对待分类文本中的词语进行向量化处理，得到所述待分类文本的多个词向量序列；针对每个词向量序列，通过第一特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的局部特征向量；以及，通过第二特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的上下文特征向量；分别对各个词向量序列的所述局部特征向量和所述上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量；对各个词向量序列对应的拼接特征向量进行融合处理，得到融合特征向量；基于所述融合特征向量，对所述待分类文本进行分类，得到所述待分类文本的分类结果。2.根据权利要求1所述的方法，其特征在于，所述第一特征提取模型包括多个第一子模型，所述多个第一子模型之间层级连接；所述通过第一特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的局部特征向量，包括：针对所述第一特征提取模型中第一层的第一子模型，将所述词向量序列作为所述第一层的第一子模型的输入变量，得到所述第一层的第一子模型的输出结果；针对所述第一特征提取模型中第二层的第一子模型，将所述词向量序列以及所述第一层的第一子模型的输出结果，确定为所述第二层的第一子模型的输入变量，得到所述第二层的第一子模型的输出结果；针对所述第一特征提取模型中除第一层和第二层之外的任一层的第一子模型，将位于所述任一层的第一子模型之前两层的第一子模型的输出结果，确定为所述任一层的第一子模型的输入变量，得到除第一层和第二层之外的各层第一子模型的输出结果；将所述多个第一子模型中最后一层的第一子模型的输出结果，确定为所述待分类文本的局部特征向量。3.根据权利要求1所述的方法，其特征在于，所述第二特征提取模型包括多个第二子模型，所述多个第二子模型之间层级连接；所述通过第二特征提取模型，对所述词向量序列进行特征提取，得到所述待分类文本的上下文特征向量，包括：针对所述第二特征提取模型中第一层的第二子模型，将所述词向量序列作为所述第一层的第二子模型的输入变量，得到所述第一层的第二子模型的输出结果；针对所述第二特征提取模型中除第一层之外的任一层的第二子模型，将所述词向量序列以及位于所述任一层的第二子模型之前的每个第二子模型的输出结果，确定为所述任一层的第二子模型的输入变量，得到除第一层之外的各层第二子模型的输出结果；将所述多个第二子模型中最后一层的第二子模型的输出结果，确定为所述待分类文本的上下文特征向量。4.根据权利要求1所述的方法，其特征在于，在所述分别对各个词向量序列的所述局部特征向量和所述上下文特征向量进行拼接处理，得到各个词向量序列对应的拼接特征向量之前，还包括：
针对每个词向量序列，获取所述词向量序列的第一权值向量和第二权值向量；所述第一权值向量包括所述待分类文本的每个词语对应的第一权值，所述每个词语对应的第一权值表示每个词语对应的局部特征对...

【专利技术属性】
技术研发人员：邹瑶，金红琳，张胜斌，邹泳彤，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：