一种多文本分类方法和装置制造方法及图纸

本发明专利技术提供了一种多文本分类方法和装置，该方法包括：获取具有相关性的多个文本，以及每个文本的条件特征和时间特征；基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征；基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文本的特征；根据多个文本的特征，使用预先设定的分类模型确定多个文本的分类。本发明专利技术能够根据多文本之间的相关性实现对多文本的分类。

【技术实现步骤摘要】
一种多文本分类方法和装置
本专利技术涉及信息处理
，特别涉及一种多文本分类方法和装置。
技术介绍
近年来，随着评论、留言、自媒体文章等文本数据迅速增长，文本分类作为自然语言处理中重要任务，得到了快速的发展。根据使用方法可以分为如下两类：1)基于传统机器学习方法。基于传统机器学习方法的文本分类忽略了文本的语意特征，对于较长或语意更为复杂的文本有很大局限性。2)是基于词向量结合深度学习的提取文本特征并分类。基于词向量和深度学习技术的文本分类能获得较好的效果，但只是将文本作为数据进行分类而忽略了文本的语境信息。例如在用户评论场景中，评论表达的信息是正面还是负面，与商品的价格和用户给出的评价星级等条件有强相关性。上述文本分类技术都针对单个文本进行分类，然而在一些重要的应用场景中，某些文本之间存在强关系，需要对某些系列文本进行分类。例如电商网站的用户评论，同一个用户的评论风格有强相关性，将同一个用户的评论作为一个系列文本进行分类非常有必要，可以用于判断用户的偏好等属性。又如，论坛留言、内容推荐网站中的针对某个作品的所有评价文本也具有强相关性，可以作为一个系列文本进行分类。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种多文本分类方法和装置，能够根据多文本之间的相关性实现对多文本的分类。为了达到上述目的，本专利技术提供了如下技术方案：一种多文本分类方法，包括：获取具有相关性的多个文本，以及每个文本的条件特征和时间特征；基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征；基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文本的特征；根据多个文本的特征，使用预先设定的分类模型确定多个文本的分类。一种多文本分类装置，包括：获取单元，用于获取具有相关性的多个文本，以及每个文本的条件特征和时间特征；第一特征提取单元，用于基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征；第二特征提取单元，用于基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文本的特征；分类单元，用于根据多个文本的特征，使用预先设定的分类模型确定多个文本的分类。一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通过总线相连的存储器；所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序；所述至少一个处理器执行所述一个或多个计算机程序时实现上述多文本分类方法中的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现上述多文本分类方法。由上面的技术方案可知，本专利技术中，获取具有相关性的多个文本以及每个文本的条件特征和时间特征之后，先基于每个文本的条件特征提取该文本的文本特征，再基于每个文本的时间特征和文本特征提取多个文本的特征，最后根据多个文本的特征确定多个文本的分类。可以看出，本专利技术是从文本条件特征和时间特征上考虑多个文本的相关性，从而根据多个文本的相关性实现对多文本的分类。附图说明以下附图仅对本专利技术做示意性说明和解释，并不限定本专利技术的范围：图1是本专利技术实施例多文本分类方法流程图；图2是本专利技术实施例词向量与条件特征组合成为输入变量的示意图；图3是本专利技术实施例多文本特征提取阶段的特征提取过程示意图；图4是本专利技术实施例本专利技术实施例多文本分类过程示例图；图5本专利技术实施例多文本分类装置的结构示意图；图6是本专利技术实施例提供的电子设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本专利技术的技术方案进行详细说明。本专利技术中，对于具有相关性的多个文本，例如同一用户的多个评论文本，针对同一作品、商品的多个评论文本，针对同一话题的多个回复文本等，根据多个文本的相关性进行分类。本专利技术实施例中，对多文本的分类过程主要包括信息获取、特征提取、分类三个部分，其中特征提取分为单个文本的特征提取和多个文本的特征提取两个阶段。以下结合图1进行详细说明：参见图1，图1是本专利技术实施例多文本分类方法流程图，如图1所示，该方法主要包括以下步骤：步骤101：获取具有相关性的多个文本，以及每个文本的条件特征和时间特征。本专利技术中，具有相关性的多个文本，是指针对同一目标的文本，例如：同一用户的多个文本，其针对的目标是该用户；针对同一话题的回复文本，针对的目标是该话题；针对同一物品的评论文本，针对的目标时该物品；针对同一作品的评论文本，针对的目标是该作品。本专利技术中，文本的条件特征是一种能够表达文本的语境的变量，例如对于一个评论文本来说，可以使用评论等级作为该评论文本的条件特征，用以表达出该评论文本的语境，评论等级的具体取值可以是好评、中评、差评等，而根据评论文本的评论等级的具体取值，可以确定评论者对评论对象的评论态度，即该评论文本的语境。在提取文本的文本特征时，将文本的条件特征考虑在内，则可以更准确地提取出文本的语意特征。本专利技术中，文本的时间特征表明文本的发布时间，可以根据多个文本中每个文本的时间特征在时序上确定多个文本之间的相关性。本专利技术实施例中，文本的条件特征和时间特征都作为与多个文本的相关性的信息存在，可以指导多文本的特征提取和分类。步骤102、基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征。本步骤102实现的是第一阶段的特征提取，即单个文本的特征提取。在实际实现中，文本的真实含义和其语境有强相关性，这种相关性不仅在全局上有体现而且在局部的语意上同样有影响，本专利技术中利用文本的条件特征提高对单个文本的语意特征提取的准确性。本步骤102可以采用以下方法实现：对多个文本中的每个文本进行预处理，得到该文本的词向量表示；根据多个文本中每个文本的词向量表示和条件特征，利用循环神经网络和注意力机制提取该文本的文本特征。本步骤102的实现方法中，对多个文本中的每个文本进行预处理，得到该文本的词向量表示主要包括数据清洗和词到词向量的转换两部分，以下分别进行介绍：1)数据清洗数据清洗的目的是去除文本中的停用词，并将文本处理成包括相同词量的等长文本，具体地，可以先对该文本进行切词处理，然后去除切词处理结果中的停用词，最后对文本作等长处理。对文本做等长处理的一种可能的实现方法为：判断去除了停用词的切词处理结果中包含的词的数量是否超过预设数量(表示需要保留的文本长度)，如果是，则根据词的超出数量删除切词处理结果中位置最靠前的词，否则，根据词的缺少数量在切词处理结果的最靠前位置添加预设词。上述停用词是预先设定的，例如“的”。上述预设词是不会对提取文本的文本特征产生影响的词，例如将“0”作为预设词。以文本“少年儿童是祖国的花朵本文档来自技高网...

【技术保护点】
1.一种多文本分类方法，其特征在于，该方法包括：/n获取具有相关性的多个文本，以及每个文本的条件特征和时间特征；/n基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征；/n基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文本的特征；/n根据多个文本的特征，使用预先设定的分类模型确定多个文本的分类。/n

【技术特征摘要】
1.一种多文本分类方法，其特征在于，该方法包括：
获取具有相关性的多个文本，以及每个文本的条件特征和时间特征；
基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征；
基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文本的特征；
根据多个文本的特征，使用预先设定的分类模型确定多个文本的分类。


2.根据权利要求1所述的方法，其特征在于，
基于多个文本中每个文本的条件特征，利用循环神经网络和Attention机制提取该文本的文本特征，包括：
对多个文本中的每个文本进行预处理，得到该文本的词向量表示；
根据多个文本中每个文本的词向量表示和条件特征，利用循环神经网络和注意力机制提取该文本的文本特征。


3.根据权利要求2所述的方法，其特征在于，
对多个文本中的每个文本进行预处理，得到该文本的词向量表示的方法为：
对该文本进行切词处理，去除切词处理结果中的停用词；
判断去除了停用词的切词处理结果中包含的词的数量是否超过预设数量，如果是，则根据词的超出数量删除切词处理结果中位置最靠前的词，否则，根据词的缺少数量在切词处理结果的最靠前位置添加预设词；
将切词处理结果中包括预设数量的词均转换为词向量，将该组词向量作为该文本的词向量表示。


4.根据权利要求3所述的方法，其特征在于，
根据多个文本中每个文本的词向量表示和条件特征，利用循环神经网络和Attention机制提取该文本的文本特征的方法为：
将该文本的词向量表示中的每个词向量与该文本的条件特征组成一输入变量；
将所有输入变量输入到循环神经网络中并结合Attention机制提取该文本的文本特征。


5.根据权利要求1所述的方法，其特征在于，
基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文本的特征，包括：
根据每个文本的时间特征对多个文本按照时间先后排序；
计算排序结果中相邻文本之间的时间间隔，根据排序结果中相邻文本之间的时间间隔确定相邻文本之间的衰减系数；
将排序结果中相邻文本之间的衰减系数作为循环神经网络中隐层之间传递的衰减系数，将排序结果中每个文本的文本特征按排序顺序输入到循环神经网络，得到多个文本的特征。


6.根据权利要求5所述的方法，其特征在于，
根据排序结果中相邻文本之间的时间间隔确定相邻文本之间的衰减系数的方法为：如果排序结果中的第t-1个文本和第t个文本之间的时间间隔为dt-1，则确定排序结果中第t-1个文本和第t个文本之间的衰减系数为其中，u为预设的相关性衰减速度值，取值区间为(0，1)。


7.根据权利要求5所述的方法，其特征在于，
将排序结果中相邻文本之间的衰减系数作为循环神经网络中隐层之间传递的衰减系数，将排序结果中每个文本的文本特征按排序顺序输入到循环神经网络，得到多个文本的特征的方法为：
根据以下6个公式，计算将排序结果中的第t个文本的文本特征输入到循环神经网络中得到的隐层的输出结果ht：
it＝σ(wixxt+wihht-1+bi)公式一；
ft＝σ(wfxxt+wfhht-1+bf)公式二；
ot＝σ(woxxt+wohht-1+bo)公式三；









将排序结果中最后1个文本的文本特征输入到循环神经网络中得到的隐层的输出结果确定为多个文本的特征；
其中，σ是sigmoid函数，是tanh函数；it是输入第t个文本特征后的输入门，ft是输入第t个文本特征后的遗忘门，ot是输入第t个文本特征后的输出门，gt是输入第t个文本特征后的更新项，ct是输入第t个文本特征后更新的记忆信息；wix是循环神经网络的输入参数对输入门的权重矩阵，wfx是循环神经网络的输入参数对遗忘门的权重矩阵，wox是循环神经网络的输入参数对输出门的权重矩阵，wgx是循环神经网络的输入参数对更新项的权重矩阵；xt是排序结果中的第t个文本的文本特征；wih是隐层状态对输入门的权重矩阵，wfh是隐层状态对遗忘门的权重矩阵，woh是隐层状态对输出门的权重矩阵，wgh是隐层状态对更新项的权重矩阵；bi是计算输入门时的偏执向量，bf是计算遗忘门时的偏执向量，bo是计算输出门时的偏执向量，bg是计算更新项时的偏执向量，ht-1是将排序结果中的第t-1个文本的文本特征输入到循环神经网络中得到的隐层的输出结果，ct-1是输入第t-1个文本特征后更新的记忆信息，是排序结果中第t-1个文本与第t个文本之间的衰减系数。


8.根据权利要求1-7任一权项所述的方法，其特征在于，
所述循环神经网络为长短期记忆网络LSTM。


9.一种多文本分类装置，其特征在于，该装置包括：
获取单元，用于获取具有相关性的多个文本，以及每个文本的条件特征和时间特征；
第一特征提取单元，用于基于多个文本中每个文本的条件特征，利用循环神经网络和注意力机制提取该文本的文本特征；
第二特征提取单元，用于基于多个文本中每个文本的时间特征和文本特征，利用循环神经网络提取多个文...

【专利技术属性】
技术研发人员：汪冬冬，程建波，彭南博，黄志翔，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京;11