基于改进Transformer模型的超长序列处理方法技术

本发明专利技术提出了一种基于改进Transformer模型的超长序列处理方法，该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤：S1.WSformer模型的预训练：S1.1采用序列分割方法将超长序列分割成小序列；S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码；S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码。该方法能够有效地降低长文本序列编码的时间成本，更加精确地刻画词与词之间的位置关系，实现了对长序列文本的有效建模，提高了预测精度和计算效率。提高了预测精度和计算效率。提高了预测精度和计算效率。

【技术实现步骤摘要】
基于改进Transformer模型的超长序列处理方法


[0001]本专利技术涉及自然语言处理的
，特别是一种基于改进Transformer模型的超长序列处理方法。

技术介绍

[0002]在自然语言处理领域，循环神经网络和卷积神经网络一直是序列建模的主流方法。2014年，Google提出seq2seq模型(Sutskever I,Vinyals O,Le Q V.Sequence to sequence learning with neural networks[J].Advances in neural information processing systems,2014,27.)，简单的说就是一种序列到另一种序列的转换，在自然语言处理领域的应用主要有翻译，摘要，作诗等。自从seq2seq提出后，关于seq2seq的变体也有很多，但大多都是基于循环神经网络(Recurrent Neural Network，RNN)进行的处理，广泛用于各种序列建模，比如文本、语音等。2017年，Attention is all you need一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Transformer模型的超长序列处理方法，其特征在于：该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤：S1.WSformer模型的预训练：S1.1采用序列分割方法将超长序列分割成小序列；S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码；S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码。2.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S1.1中，以句子为单位将段落分割成多个序列，用矩阵来表示，行数为段落中所有句子所含词汇个数的最大值，列数为该段落中含有的句子个数。3.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S1.2中，在词级特征提取中，计算每个切分后的小序列里词汇之间的自注意力权值，然后进行汇总；在句级特征提取中，计算每个小序列之间的注意力权值，汇总后得到整个文本序列的编码。4.如权利要求1所述的一种基于改进Transformer模型的超长序列处理方法，其特征在于：步骤S1中，WSformer模型的预训练的具体过程如下：步骤a.按照一定规则将一个超长序列P进行切分，得到多个相对独立的小序列：P＝{p1，p2，...，p
n
}其中，n表示切分出的小序列的个数，p
i
(i＝1..n)表示第i个小序列；步骤b.进入词级注意力层，采用自注意力机制计算每个小序列中所有词汇的注意力权值：W
w
＝att(X
w
)其中，表示词嵌入向量，B表示批训练的批次大小，S表示一个超长序列分割产生的最大小序列个数，超长序列为段落，小序列为句子；W表示小序列中最大的词语个数，E
W
表示词嵌入向量的维度；att()表示注意力函数，W
w
∈R
B
×
S
×
W
表示得到的词注意力权重矩阵；步骤c.利用词级自编码器得到句子的嵌入编码，如下所示：X
s
＝Encode(X

【专利技术属性】
技术研发人员：王瑞琴，纪其顺，黄熠旻，万超艺，
申请(专利权)人：湖州师范学院，
类型：发明
国别省市：