文本分类方法、装置、设备、介质及程序产品制造方法及图纸

本申请提供了一种文本分类方法、装置、设备、介质及程序产品，涉及人工智能技术领域，该方法包括：对待分类文本进行处理，得到待分类文本的各个分词各自的编码表示；在预测待分类文本在目标层的分类结果时，获取待分类文本在目标层的上一层的第一隐藏状态表示；确定各个分词的编码表示对应的权重；基于各个分词的编码表示对应的权重对各个分词的编码表示进行聚合，得到聚合结果；基于聚合结果与第一隐藏状态表示，得到待分类文本在目标层的第二隐藏状态表示；基于第二隐藏状态表示预测待分类文本在目标层的分类结果；从而可以提高分类预测准确度。准确度。准确度。

【技术实现步骤摘要】
文本分类方法、装置、设备、介质及程序产品


[0001]本申请实施例涉及人工智能(Artificial Intelligence，AI)
，尤其涉及一种文本分类方法、装置、设备、介质及程序产品。

技术介绍

[0002]层级文本分类(Hierarchical Text Classification，HTC)也被称为层次文本分类，指的是基于给定的层次标签体系(即类目体系，该类目体系典型的是树状结构或者有向无环图结构)预测待分类文本在类目体系中各个层的分类结果(即标签)，也就是预测待分类文本的标签路径。基于此，HTC是一个多标签分类任务。
[0003]相关技术中，训练设备可以为类目体系的每个层级训练一个分类器。预测设备在对待分类文本进行分类结果预测时，通过各个层的分类器自上向下依次对待分类文本进行分类，其中，预测设备在预测待分类文本在任一层的分类结果时，可以结合该层的上一层的分类信息来预测该层的分类结果。然而，这种文本分类方法导致分类预测准确度较低的问题。

技术实现思路

[0004]本申请提供一种文本分类方法、装置、设备、介质及程序产品，从而可以提高分类预测准确度。
[0005]第一方面，本申请实施例提供一种文本分类方法，包括：对待分类文本进行处理，得到待分类文本的各个分词各自的编码表示；在预测待分类文本在目标层的分类结果时，获取待分类文本在目标层的上一层的第一隐藏状态表示；确定各个分词的编码表示对应的权重；基于各个分词的编码表示对应的权重对各个分词的编码表示进行聚合，得到聚合结果；基于聚合结果与第一隐藏状态表示，得到待分类文本在目标层的第二隐藏状态表示；基于第二隐藏状态表示预测待分类文本在目标层的分类结果；其中，目标层是类目体系中的任一层；第一隐藏状态表示用于预测待分类文本在上一层的分类结果；待分类文本在类目体系的第0层的隐藏状态表示是预设编码表示。
[0006]第二方面，本申请实施例提供一种文本分类装置，包括：处理模块、获取模块、确定模块、聚合模块、生成模块和预测模块；处理模块用于对待分类文本进行处理，得到待分类文本的各个分词各自的编码表示；在预测待分类文本在目标层的分类结果时，获取模块用于获取待分类文本在目标层的上一层的第一隐藏状态表示；确定模块用于确定各个分词的编码表示对应的权重；聚合模块用于基于各个分词的编码表示对应的权重对各个分词的编码表示进行聚合，得到聚合结果；生成模块用于基于聚合结果与第一隐藏状态表示，得到待分类文本在目标层的第二隐藏状态表示；预测模块用于基于第二隐藏状态表示预测待分类文本在目标层的分类结果；其中，目标层是类目体系中的任一层；第一隐藏状态表示用于预测待分类文本在上一层的分类结果；待分类文本在类目体系的第0层的隐藏状态表示是预设编码表示。
[0007]第三方面，本申请实施例提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
[0008]第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面或其各实现方式中的方法。
[0009]第五方面，本申请实施例提供一种计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
[0010]通过本申请实施例提供的技术方案，电子设备在预测待分类文本在目标层的分类结果时，可以考虑待分类文本的各个分词对在目标层的分类结果的影响程度，从而可以提高分类预测的准确度。
附图说明
[0011]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本申请实施例提供的一种应用场景图；
[0013]图2为本申请实施例提供的一种文本分类方法的流程图；
[0014]图3为本申请实施例提供的一种文本分类模型的示意图；
[0015]图4为本申请实施例提供的另一种文本分类模型的示意图；
[0016]图5为本申请实施例提供的一种文本分类模型的部分示意图；
[0017]图6为本申请实施例提供的GRU的示意图；
[0018]图7为本申请实施例提供的一种文本分类装置700的示意图；
[0019]图8是本申请实施例提供的电子设备的示意性框图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0022]在介绍本申请技术方案之前，下面先对本申请技术方案的相关知识进行阐述：
[0023]一、HTC，指的是基于给定的层次标签体系(即类目体系，该类目体系典型的是树状结构或者有向无环图结构)预测待分类文本在类目体系中各个层的分类结果(即标签)，也
就是预测待分类文本的标签路径。基于此，HTC是一个多标签分类任务。
[0024]二、注意力机制(Attention Mechanism)，一种类似于人类注意力的机制，一般在自然语言处理应用里会把注意力(Attention)模型看作是目标序列中某个词和源序列中每个单词的对齐模型。其中，目标序列中的每个词对应源序列中每个词的概率分布可以理解为源序列中每个词和目标序列中的每个词的对齐概率，该对齐概率也被称为注意力权重。
[0025]三、循环神经网络(Recurrent Neural Network，RNN)是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。
[0026]通常在处理一些跟文本相关的、跟自然语言相关的、跟语音相关的、可以使用循环神经网络，例如，在本申请技术方案中，针对类目体系中的任一层，可以将该层的上一层的隐藏状态表示和对待分类文本的各个分词的编码表示的聚合结果输入循环神经网络子层，得到在该层的隐藏状态表示。
[0027]四、长短期记忆网络(Long Short
‑
Term Memory，LSTM)是一种时间递归神经网络，适合于处理和预测时间序列中间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法，其特征在于，包括：对待分类文本进行处理，得到所述待分类文本的各个分词各自的编码表示；在预测所述待分类文本在目标层的分类结果时，获取所述待分类文本在所述目标层的上一层的第一隐藏状态表示；确定所述各个分词的编码表示对应的权重；基于所述各个分词的编码表示对应的权重对所述各个分词的编码表示进行聚合，得到聚合结果；基于所述聚合结果与所述第一隐藏状态表示，得到所述待分类文本在所述目标层的第二隐藏状态表示；基于所述第二隐藏状态表示预测所述待分类文本在所述目标层的分类结果；其中，所述目标层是类目体系中的任一层；所述第一隐藏状态表示用于预测所述待分类文本在所述上一层的分类结果；所述待分类文本在所述类目体系的第0层的隐藏状态表示是预设编码表示。2.根据权利要求1所述的方法，其特征在于，所述确定所述各个分词的编码表示对应的权重，包括：基于所述第一隐藏状态表示和所述各个分词的编码表示确定所述各个分词的编码表示对应的权重。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一隐藏状态表示和所述各个分词的编码表示确定所述各个分词的编码表示对应的权重，包括：计算所述第一隐藏状态表示和所述各个分词的编码表示之间的相似度，得到所述各个分词的编码表示对应的权重。4.根据权利要求1所述的方法，其特征在于，所述确定所述各个分词的编码表示对应的权重，包括：确定所述目标层在所述类目体系中的层索引；基于所述目标层在所述类目体系中的层索引确定所述各个分词的编码表示对应的权重；其中，所述类目体系的各个层索引与部分分词的编码表示具有对应关系；层索引越小，对应越靠前的分词，层索引越大，对应越靠后的分词；层索引对应的部分分词的编码表示的权重之和大于所述各个分词中除所述部分分词以外的其余分词的编码表示的权重之和。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述文本分类方法是通过将所述待分类文本输入至文本分类模型实现的。6.根据权利要求5所述的方法，其特征在于，所述文本分类模型包括：分词层、嵌入层和编码层；所述对待分类文本进行处理，得到所述待分类文本的各个分词各自的编码表示，包括：通过所述分词层对所述待分类文本进行分词，得到所述各个分词，并通过所述分词层将所述各个分词进行分词转换，得到所述各个分词对应的标识；通过所述嵌入层对所述各个分词对应的标识进行标识转换，得到所述各个分词对应的词向量；通过所述编码层对所述各个分词对应的词向量进行编码，得到所述各个分词各自的编码表示。7.根据权利要求5所述的方法，其特征在于，所述文本分类模型还包括：表征层；所述表征层包括：聚合子层和循环神经网络子层；
所述基于所述各个分词的编码表示对应的权重对所述各个分词的编码表示进行聚合，得到聚合结果，包括：将所述各个分词的编码表示对应的权重和所述各个分词的编码表示输入所述聚合子层，得到所述聚合结果；基于所述聚合结果与所述第一隐藏状态表示，得到所述待分类文本...

【专利技术属性】
技术研发人员：熊志远，杨赛勇，陈雁峰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：