专利文本分类方法、电子设备及计算机存储介质技术

本发明专利技术提供了一种专利文本分类方法、电子设备及计算机存储介质，其中，该方法包括：获取专利文本的字向量表示；利用卷积神经网络提取字向量表示中的短语特征；利用长短时记忆网络提取字向量表示中的上下文特征；利用注意力层为长短时记忆网络输出的隐层特征向量添加不同权重，以突出区分度较大部分并降低文本结构和重复度较高结构权重，得到第一注意力层的输出；利用全连接层将第一注意力层的输出压缩为与短语特征的维度匹配的特征向量；将专利文本的短语特征和上下文特征连接得到输入向量，利用第二注意力层为输入向量添加注意力权重，以减少融合过程信息损失，得到融合特征向量，用于对专利文本分类。通过上述方案能够提高专利文本分类准确性。

【技术实现步骤摘要】
专利文本分类方法、电子设备及计算机存储介质
本专利技术涉及人工智能
，尤其涉及一种专利文本分类方法、电子设备及计算机存储介质。
技术介绍
随着科技的快速发展，技术迭代速度也不断加快，知识产权资源的数量呈现爆炸式增长。通过专利分析可以揭示技术的关系、技术发展的趋势等有价值的信息。良好的专利分类可以有效提高利用和管理海量专利文献中的关键信息的效率。现阶段专利分类主要依靠专利审查员完成，需要大量的人力和时间成本，因此需要对专利文本进行自动化分类，帮助加快专利的分类与审查。专利文献中包含了大量专业词汇，对专利分析人员的专业背景要求较高，非专业人员很难理解专利中的内容。专利文本有规范的写作格式，语言精准且语义信息较为复杂，同时部分类别间的相似度较高，需要较为精确的特征表达。随着人工智能技术的发展，深度学习模型在文本分类中得到了广泛的应用，主要包括循环神经网络（RNN）、卷积神经网络（CNN）。目前已有自动化的专利文本分类方法，主要分为利用词频等统计信息的分类方法和深度学习（如CNN、BERT）分类方法两类。然而，目前的深度学习分类方法往往缺少或不能很好地捕捉上下文信息，导致不能很好的提取到高区分度的专利文本全局信息，进而导致专利文本分类的准确性不高。
技术实现思路
有鉴于此，本专利技术实施例提供了一种专利文本分类方法、电子设备及计算机存储介质，以提升专利文本分类的准确性。为了达到上述目的，本专利技术采用以下方案实现：根据本专利技术实施例的一个方面，提供了一种专利文本分类方法，包括：获取专利文本的字向量表示；利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征；利用长短时记忆网络提取所述字向量表示中的上下文特征，得到长短时记忆网络输出的隐层特征向量；利用第一注意力层为长短时记忆网络输出的隐层特征向量添加不同的注意力权重，以突出不同专利文本之间区分度较大的部分，并降低专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，得到第一注意力层的输出；利用全连接层将第一注意力层的输出压缩并优化为其长度与短语特征的维度匹配的特征向量，得到专利文本的上下文特征；将专利文本的短语特征和专利文本的上下文特征连接起来，得到输入向量，利用第二注意力层为该输入向量添加注意力权重，以减少融合过程中的信息损失，得到融合特征向量；利用融合特征向量对专利文本进行分类。在一些实施例中，获取专利文本的字向量表示，包括：利用预训练语言模型将专利文本转化为专利文本的字向量表示。在一些实施例中，利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征，包括：利用卷积神经网络中多个大小不同的卷积核分别提取所述字向量表示中的短语特征，得到各卷积核对应输出的短语特征；其中，卷积核的大小根据设定短语长度确定；对所有卷积核对应输出的短语特征进行最大池化操作，得到维度与卷积核数量相同的特征向量；将维度与卷积核数量相同的各特征向量拼接在一起，得到专利文本的短语特征。在一些实施例中，所述卷积神经网络中的卷积核提取短语特征的计算过程中所使用的激活函数为Relu函数。在一些实施例中，所述长短时记忆网络为双向长短时记忆网络。在一些实施例中，利用融合特征向量对专利文本进行分类，包括：通过对融合特征向量使用SoftMax网络处理，得到专利文本分类结果。在一些实施例中，所述卷积神经网络包括大小分别为3、4、5及6的卷积核。在一些实施例中，所述卷积神经网络中的卷积核提取短语特征的计算为一维卷积计算。根据本专利技术实施例的另一个方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。根据本专利技术实施例的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。本专利技术实施例的专利文本分类方法、电子设备及计算机存储介质，通过在提取上下文特征的过程中针对不同部分添加不同的注意力权重，能够减少专利文本中对分类没有实质帮助的文本结构、重复结构等信息的影响，而且，通过在融合过程中添加注意力权重，能够减少融合过程的信息损失。所以，本专利技术实施例能够充分提取专利文本的局部短语特征信息和全局上下文特征信息，从而能够提高专利文本分类的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1是本专利技术一实施例的专利文本分类方法的流程示意图；图2是本专利技术一具体实施例的专利文本分类方法的框架结构示意图；图3是本专利技术一具体实施例中短语特征提取的网络结构示意图；图4是本专利技术一具体实施例中LSTM的细胞结构示意图；图5是本专利技术一具体实施例中对BiLSTM模型的输出添加上下文注意力机制的结构示意图；图6是本专利技术一具体实施例中特征融合注意力层的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。需要预先说明的是，下述实施例或示例的描述或其中所提及的特征可以以相同或类似的方式，与其他实施例或示例中的特征组合，或替换其他实施例或示例中的特征，以形成可能的实施方式。另外，本文所使用的术语“包括/包含”是指特征、要素、步骤或组件的存在，但并不排除还存在一个或多个其他特征、要素、步骤或组件。图1是本专利技术一实施例的专利文本分类方法的流程示意图，参见图1，该实施例的专利文本分类方法可包括以下步骤S110~步骤S170。下面将对步骤S110至步骤S170的具体实施方式进行详细说明。步骤S110：获取专利文本的字向量表示。该步骤S110中，可以是获取专利文本的已有的字向量表示，或者是通过对专利文本进行处理得到其字向量表示。该专利文本可以是指某一篇专利文献的文本。具体实施时，上述步骤S110，即，获取专利文本的字向量表示，具体可包括步骤：S111，利用预训练语言模型将专利文本转化为专利文本的字向量表示。该实施例中，预训练语言模型可以是Word2Vec、BERT等模型。输入的专利文本可只包含专利的摘要，并可直接以文本的形式输入。字向量表示是指将文本中的每个字表示为一个向量，将文本序列转化成字向量的序列。通过预训练语言模型可以利用自然语言处理技术将专利文本由文本形式转换为字向量表示形式，以便利用深度学习的方法进行后续处理。步骤S120：利用卷积神经网络提取所述字向量表示本文档来自技高网...

【技术保护点】
1.一种专利文本分类方法，其特征在于，包括：/n获取专利文本的字向量表示；/n利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征；/n利用长短时记忆网络提取所述字向量表示中的上下文特征，得到长短时记忆网络输出的隐层特征向量；/n利用第一注意力层为长短时记忆网络输出的隐层特征向量添加不同的注意力权重，以突出不同专利文本之间区分度较大的部分，并降低专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，得到第一注意力层的输出；/n利用全连接层将第一注意力层的输出压缩并优化为其长度与短语特征的维度匹配的特征向量，得到专利文本的上下文特征；/n将专利文本的短语特征和专利文本的上下文特征连接起来，得到输入向量，利用第二注意力层为该输入向量添加注意力权重，以减少融合过程中的信息损失，得到融合特征向量；/n利用融合特征向量对专利文本进行分类。/n

【技术特征摘要】
1.一种专利文本分类方法，其特征在于，包括：
获取专利文本的字向量表示；
利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征；
利用长短时记忆网络提取所述字向量表示中的上下文特征，得到长短时记忆网络输出的隐层特征向量；
利用第一注意力层为长短时记忆网络输出的隐层特征向量添加不同的注意力权重，以突出不同专利文本之间区分度较大的部分，并降低专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，得到第一注意力层的输出；
利用全连接层将第一注意力层的输出压缩并优化为其长度与短语特征的维度匹配的特征向量，得到专利文本的上下文特征；
将专利文本的短语特征和专利文本的上下文特征连接起来，得到输入向量，利用第二注意力层为该输入向量添加注意力权重，以减少融合过程中的信息损失，得到融合特征向量；
利用融合特征向量对专利文本进行分类。


2.如权利要求1所述的专利文本分类方法，其特征在于，获取专利文本的字向量表示，包括：
利用预训练语言模型将专利文本转化为专利文本的字向量表示。


3.如权利要求1所述的专利文本分类方法，其特征在于，利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征，包括：
利用卷积神经网络中多个大小不同的卷积核分别提取所述字向量表示中的短语特征，得到各卷积核对应输出的短语特征；其中，卷积核的大小根据设...

【专利技术属性】
技术研发人员：杜军平，王宇晖，邵蓥侠，李昂，徐欣，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11