卷积神经网络及其进行文本分类的方法、文本分类装置制造方法及图纸

本说明书实施例提供了一种卷积神经网络及其进行文本分类的方法、文本分类装置，方法包括：获取待分类文本对应的第一词序列；获取第一词序列中的各个词分别对应的词向量；针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，得到该词对应的注意力权重矩阵；针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量；根据第一词序列中的各个词分别对应的词向量以及注意力权重向量，得到所述待分类文本对应的文本表示向量；根据文本表示向量对所述待分类文本进行分类。

Convolutional Neural Network and Its Text Classification Method and Device

【技术实现步骤摘要】
卷积神经网络及其进行文本分类的方法、文本分类装置
本说明书一个或多个实施例涉及计算机领域，尤其涉及卷积神经网络及其进行文本分类的方法、文本分类装置。
技术介绍
文本分类是一种典型的自然语言处理任务，可通过预先训练的文本分类模型，预测待分类文本属于特定分类体系下各个特定分类的概率，并将该文本划分至概率较大的特定分类。通过传统的文本分类模型进行文本分类时，通常无法同时兼顾分类速度和分类精度。分类速度较快的文本分类模型，其分类精度可能相对较低，即无法对文本进行较为准确的分类；分类精度较高的文本分类模型，其分类速度可能相对较慢，即无法对文本进行较为快速的分类。有鉴于此，希望能有改进的方案，可以同时兼顾分类速度和分类精度，更为高效的对文本进行分类。
技术实现思路
本说明书一个或多个实施例提供了一种卷积神经网络、通过卷积神经网络进行文本分类的方法及文本分类装置，可以同时兼顾分类速度和分类精度，更为高效的对文本进行分类。第一方面，提供了一种通过卷积神经网络进行文本分类的方法，包括：获取待分类文本对应的第一词序列；获取第一词序列中的各个词分别对应的词向量；针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力权重矩阵；针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量；根据第一词序列中的各个词分别对应的词向量以及注意力权重向量，得到所述待分类文本对应的文本表示向量；根据文本表示向量对所述待分类文本进行分类。在一种可能的实施方式中，第一词序列中的各个词为，对所述待分类文本进行分词处理后得到的。在一种可能的实施方式中，所述获取第一词序列中的各个词分别对应的词向量，包括：针对第一词序列中的每个词，查询预设的向量映射表，得到该词对应的词向量。在一种可能的实施方式中，所述对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力权重矩阵，包括：根据预设的至少两个不同宽度的卷积窗口，分别对获取的所述拼接向量进行卷积处理，得到各个卷积窗口分别对应的卷积特征向量；以及，根据各个卷积窗口分别对应的卷积特征向量，得到该词对应的注意力权重矩阵。在一种可能的实施方式中，每个卷积窗口的宽度均为一个词向量的维数的整数倍；所述根据预设的至少两个不同宽度的卷积窗口，分别对获取的所述拼接向量进行卷积处理，包括：根据预设的至少两个不同宽度的卷积窗口以及设定步长，分别对获取的所述拼接向量进行卷积处理，所述设定步长为一个词向量的维数。在一种可能的实施方式中，所述根据各个卷积窗口分别对应的卷积特征向量，得到该词对应的注意力权重矩阵包括：将各个卷积窗口分别对应的卷积特征向量作为待形成的注意力权重矩阵的各个列，得到所述注意力权重矩阵。在一种可能的实施方式中，所述针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量，包括：针对第一词序列中的每个词，将该词对应的注意力权重矩阵映射为中间向量，中间向量与该词对应的词向量维数相同；以及根据中间向量得到该词对应的注意力权重向量。在一种可能的实施方式中，所述将该词对应的注意力权重矩阵映射为中间向量，包括：通过映射矩阵将该词对应的注意力权重矩阵映射为中间向量，所述映射矩阵通过所述卷积神经网络的训练而确定。在一种可能的实施方式中，所述根据中间向量得到该词对应的注意力权重向量，包括：根据中间向量以及该词对应的词向量，计算该词对应的注意力权重向量。第二方面，提供了一种用于文本分类的卷积神经网络，包括：输入层，配置为获取待分类文本对应的第一词序列；向量转化层，配置为获取第一词序列中的各个词分别对应的词向量；至少一个卷积层，配置为针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，基于多次处理结果得到该词对应的注意力权重矩阵；向量映射层，配置为针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量；注意力融合层，配置为根据第一词序列中的各个词分别对应的词向量以及注意力权重向量，得到所述待分类文本对应的文本表示向量；分类层，配置为根据文本表示向量对所述待分类文本进行分类。在一种可能的实施方式中，第一词序列中的各个词为，对所述待分类文本进行分词处理后得到的。在一种可能的实施方式中，所述向量转化层，配置为针对第一词序列中的每个词，查询预设的向量映射表，得到该词对应的词向量。在一种可能的实施方式中，所述至少一个卷积层，配置为根据预设的至少两个不同宽度的卷积窗口，分别对获取的所述拼接向量进行卷积处理，得到各个卷积窗口分别对应的卷积特征向量；以及，根据各个卷积窗口分别对应的卷积特征向量，得到该词对应的注意力权重矩阵。在一种可能的实施方式中，每个卷积窗口的宽度均为一个词向量的维数的整数倍；所述至少一个卷积层，配置为根据预设的至少两个不同宽度的卷积窗口以及设定步长，分别对获取的所述拼接向量进行卷积处理，所述设定步长为一个词向量的维数。在一种可能的实施方式中，所述至少一个卷积层，配置为将各个卷积窗口分别对应的卷积特征向量作为待形成的注意力权重矩阵的各个列，得到所述注意力权重矩阵。在一种可能的实施方式中，所述向量映射层，配置为针对第一词序列中的每个词，将该词对应的注意力权重矩阵映射为中间向量，中间向量与该词对应的词向量维数相同；以及根据中间向量得到该词对应的注意力权重向量。在一种可能的实施方式中，所述向量映射层，配置为通过映射矩阵将注意力权重矩阵映射为中间向量，所述映射矩阵通过所述卷积神经网络的训练而确定。在一种可能的实施方式中，所述向量映射层，配置为根据中间向量以及该词对应的词向量，计算该词对应的注意力权重向量。第三方面，提供了一种文本分类装置，包括：词序列获取模块，配置为获取待分类文本对应的第一词序列；词向量获取模块，配置为获取第一词序列中的各个词分别对应的词向量；卷积处理模块，配置为针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力权重矩阵；向量映射模块，配置为针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量；文本向量获取模块，配置为根据第一词序列中的各个词分别对应的词向量以及注意力权重向量，得到所述待分类文本对应的文本表示向量；文本分类模块，配置为根据文本表示向量对所述待分类文本进行分类。第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行如第一方面中任一项所述的方法。第五方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现如第一方面中任一项所述的方法。根据本说明书实施例，第一方面，对于待分类文本对应的每个词本文档来自技高网...

【技术保护点】
1.一种通过卷积神经网络进行文本分类的方法，所述方法包括：获取待分类文本对应的第一词序列；获取第一词序列中的各个词分别对应的词向量；针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力权重矩阵；针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量；根据第一词序列中的各个词分别对应的词向量以及注意力权重向量，得到所述待分类文本对应的文本表示向量；根据文本表示向量对所述待分类文本进行分类。

【技术特征摘要】
1.一种通过卷积神经网络进行文本分类的方法，所述方法包括：获取待分类文本对应的第一词序列；获取第一词序列中的各个词分别对应的词向量；针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力权重矩阵；针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量；根据第一词序列中的各个词分别对应的词向量以及注意力权重向量，得到所述待分类文本对应的文本表示向量；根据文本表示向量对所述待分类文本进行分类。2.根据权利要求1所述的方法，其中，第一词序列中的各个词为，对所述待分类文本进行分词处理后得到的。3.根据权利要求1所述的方法，其中，所述获取第一词序列中的各个词分别对应的词向量，包括：针对第一词序列中的每个词，查询预设的向量映射表，得到该词对应的词向量。4.根据权利要求1所述的方法，其中，所述对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力权重矩阵，包括：根据预设的至少两个不同宽度的卷积窗口，分别对获取的所述拼接向量进行卷积处理，得到各个卷积窗口分别对应的卷积特征向量；以及，根据各个卷积窗口分别对应的卷积特征向量，得到该词对应的注意力权重矩阵。5.根据权利要求4所述的方法，其中，每个卷积窗口的宽度均为一个词向量的维数的整数倍；所述根据预设的至少两个不同宽度的卷积窗口，分别对获取的所述拼接向量进行卷积处理，包括：根据预设的至少两个不同宽度的卷积窗口以及设定步长，分别对获取的所述拼接向量进行卷积处理，所述设定步长为一个词向量的维数。6.根据权利要求4所述的方法，其中，所述根据各个卷积窗口分别对应的卷积特征向量，得到该词对应的注意力权重矩阵包括：将各个卷积窗口分别对应的卷积特征向量作为待形成的注意力权重矩阵的各个列，得到所述注意力权重矩阵。7.根据权利要求1-6中任一所述的方法，其中，所述针对第一词序列中的每个词，根据该词对应的注意力权重矩阵，得到该词对应的注意力权重向量，包括：针对第一词序列中的每个词，将该词对应的注意力权重矩阵映射为中间向量，中间向量与该词对应的词向量维数相同；以及根据中间向量得到该词对应的注意力权重向量。8.根据权利要求7所述的方法，其中，所述将该词对应的注意力权重矩阵映射为中间向量，包括：通过映射矩阵将该词对应的注意力权重矩阵映射为中间向量，所述映射矩阵通过所述卷积神经网络的训练而确定。9.根据权利要求7所述的方法，其中，所述根据中间向量得到该词对应的注意力权重向量，包括：根据中间向量以及该词对应的词向量，计算该词对应的注意力权重向量。10.一种用于文本分类的卷积神经网络，所述卷积神经网络包括：输入层，用于获取待分类文本对应的第一词序列；向量转化层，用于获取第一词序列中的各个词分别对应的词向量；至少一个卷积层，用于针对第一词序列中的每个词，获取该词对应的拼接向量，所述拼接向量是由第一词序列中以该词为中心的、预定长度的第二词序列对应的多个词向量拼接而成；以及，对获取的所述拼接向量进行多次卷积处理，基于多次卷积处理结果得到该词对应的注意力...

【专利技术属性】
技术研发人员：梁忠平，蒋亮，温祖杰，张家兴，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY