基于Transformer模型的文本关键词生成方法技术

本发明专利技术提供一种基于Transformer模型的文本关键词生成方法，该方法通过引入Transformer模型，在关键词提取任务中可以生成未完整出现在文本中但语义上非常重要的关键词，同时，Transformer模型能很好地理解文本的语义信息，能快速捕获词与词之间的依赖关系，能够基于对文本语义信息的理解生成关键词而不是仅仅通过统计信息提取关键词，得到的关键词在语义上与文本更加匹配，更加优质，更符合文本的主题。在效率上，本方法虽然涉及神经网络，但其内部绝大多数运算为矩阵运算，并不涉及时序相关的运算，因此，可以很好地利用GPU等并行计算框架进行加速，计算效率上比传统的RNN等神经网络更高效。

Text keyword generation method based on transformer model

【技术实现步骤摘要】
基于Transformer模型的文本关键词生成方法
本专利技术涉及文本处理算法领域，更具体地，涉及一种基于Transformer模型的文本关键词生成方法。
技术介绍
随着文本数据(如新闻、文献、推文等)的快速增长，对文本数据进行分析和挖掘的需求也在不断增长。其中，面向文本的关键词提取一直是自然语言处理领域的关键基础性问题，从文本中提取出优质的、能反映文本主题的关键词可广泛用于自然语言处理的其他任务，例如文档检索、文本摘要、文本分类、情感分析、问答系统等。目前常见的文本关键词提取方法分为两个类别：有监督提取方法和无监督提取方法。无论是有监督提取方法还是无监督提取方法，其步骤都是先从文本中生成候选关键词，再从候选关键词中通过排序或分类的方法得到关键词。候选关键词生成的准确程度直接影响到关键词提取效果，生成候选关键词通常包括4步：切分文本、过滤处理、生成多元词组以及提取词干。不同的候选关键词生成方法的区别主要体现在生成多元词组环节，常见的生成多元词组的方法包括n-gram过滤、名词短语分块、词性过滤等。有监督关键词提取方法通常将关键词本文档来自技高网...

【技术保护点】
1.一种基于Transformer模型的文本关键词生成方法，其特征在于，包括以下步骤：/nS1：对文本数据进行预处理；/nS2：构建Transformer模型，对Transformer模型进行训练直到模型收敛；/nS3：向Transformer模型中输入S1中预处理好的文本，通过Transformer模型的编码器提取文本的语义信息，得到输入文本的语义向量；/nS4：利用S3得到的输入文本的语义向量，通过Transformer模型的解码器生成输出文本的语义向量；/nS5：将S4得到的输出文本的语义向量通过全连接网络映射生成输出文本的分数向量；/nS6：通过Beam Search算法对输出文本的分...

【技术特征摘要】
1.一种基于Transformer模型的文本关键词生成方法，其特征在于，包括以下步骤：
S1：对文本数据进行预处理；
S2：构建Transformer模型，对Transformer模型进行训练直到模型收敛；
S3：向Transformer模型中输入S1中预处理好的文本，通过Transformer模型的编码器提取文本的语义信息，得到输入文本的语义向量；
S4：利用S3得到的输入文本的语义向量，通过Transformer模型的解码器生成输出文本的语义向量；
S5：将S4得到的输出文本的语义向量通过全连接网络映射生成输出文本的分数向量；
S6：通过BeamSearch算法对输出文本的分数向量进行柱搜索，得到若干个关键词，作为最终的关键词输出。


2.根据权利要求1所述的基于Transformer模型的文本关键词生成方法，其特征在于，所述步骤S3的具体过程是：
S31：将S1中预处理好的文本输入到编码器的embedding层，得到输入文本的词向量；
S32：将S31得到的输入文本的词向量输入到编码器的位置编码层，得到输入文本的位置向量；
S33：将S31得到的输入文本的词向量与S32得到的输入文本的位置向量相加，得到输入文本的最终词向量；
S34：将S33得到的输入文本的最终词向量输入到编码器的多头注意力子层，得到输入文本的注意力向量；
S35：将S34得到的输入文本的注意力向量输入到编码器的前向反馈子层，得到输入文本的语义向量；
S36：重复S34与S35的步骤6次，得到输入文本的最终语义向量。


3.根据权利要求2所述的基于Transformer模型的文本关键词生成方法，其特征在于，所述步骤S4的具体过程是：
S41：将输出文本初始化为一个表示开始的特殊字符；
S42：将当前的输出文本输入到解码器的embedding层，得到输出文本的词向量；

【专利技术属性】
技术研发人员：杨浩，潘炎，印鉴，潘文杰，
申请(专利权)人：中山大学，广州中大南沙科技创新产业园有限公司，
类型：发明
国别省市：广东;44