一种基于Performer结构的GPT2文本自动生成方法技术

本发明专利技术提供一种基于Performer结构的GPT2文本自动生成方法，包括如下步骤：步骤一，读取语料集合中的样本文本S并转化为向量ID

【技术实现步骤摘要】
一种基于Performer结构的GPT2文本自动生成方法


[0001]本专利技术涉及AI应答系统的文本自动生成
，具体而言，涉及一种基于Performer结构的GPT2文本自动生成方法。

技术介绍

[0002]随着NLP技术的不断发展，越来越多的人工智能（AI）系统采用了复杂的方法来实现人机交互。从过去的命令输入式、提问选择式、知识库检索式，到目前的语音输入式、自然语言输入式等。为了使用户在交互中对AI无感，对AI的应答系统提出了更高的技术要求，其中文本自动生成能力是核心。在机器学习领域，文本自动生成的常用方法可以基于以下模型：Word2Vec模型、ELMo模型、BERT模型、MT
‑
DNN模型、Transformer XL模型、XLNet模型、GPT模型、GPT2模型、GPT3模型等。GPT全称Generative Pre
‑
Training，出自2018年OpenAI发布的论文《Improving Language Understanding by Generative Pre<br/>‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Performer结构的GPT2文本自动生成方法，其特征在于，包括如下步骤：步骤一，读取语料集合中的样本文本S并转化为向量ID
S
；步骤二，对于输入的语料集合基于步骤一的方法生成字向量矩阵V；步骤三，构建注意力矩阵A；步骤四，根据所述字向量矩阵V和注意力矩阵A计算样本矩阵P；步骤五，将所述样本矩阵P作为输入，进行多层Performer编码计算后得到矩阵P
X
；步骤六，基于步骤五的方法构建文本生成模型M；步骤七，利用所述文本生成模型M自动生成文本。2.根据权利要求1所述的基于Performer结构的GPT2文本自动生成方法，其特征在于，步骤一中所述读取语料集合中的样本文本S并转化为向量ID
S
的方法为：读取语料集合中的一条样本文本S，该样本文本S包含N个字符，则有S={S1,S2,
…
,S
N
}；利用Token函数将所述样本文本S转化为N
×
1的向量ID
S
，该ID
S
={ID1,ID2,
…
,ID
N
}。3.根据权利要求2所述的基于Performer结构的GPT2文本自动生成方法，其特征在于，步骤二中所述对于输入的语料集合基于步骤一的方法生成字向量矩阵V的方法为：利用字嵌入算法Embedding，将输入的语料集合中每一个样本文本S基于步骤一的方法转化为向量ID
S
；再通过查询字典表的方式，得到一个N
×
d的字向量矩阵V；其中，d表示字向量矩阵V的维数。4.根据权利要求3所述的基于Performer结构的GPT2文本自动生成方法，其特征在于，步骤三中所述构建注意力矩阵A的方法为：注意力矩阵A近似分解为查询矩阵Q
′
=N
×
m和键值矩阵K
′
=m
×
N；初始查询矩阵Q
′
和键值矩阵K
′
的所有值随机生成，从而得到线性的注意力矩阵A。5.根据权利要求4所述的基于Performer结构的GPT2文本自动生成方法，其特征在于，步骤四中所述根据所述字向量矩阵V和注意力矩阵A计算样本矩阵P的方法为：P=A
×
V=Q
′×
...

【专利技术属性】
技术研发人员：曾曦，饶志宏，谢瑞云，罗殊彦，肖杰，王效武，马军，王海兮，曾华圣，常明芳，蒋涛，
申请(专利权)人：中国电子科技集团公司第三十研究所，
类型：发明
国别省市：