一种基于神经聚类方法的近似注意力系统及方法技术方案

本发明专利技术公开了一种基于神经聚类方法的近似注意力系统及方法,该系统包括基于神经聚类方法的词向量聚类模块，基于神经聚类方法的近似注意力模块，注意力输出模块；所述词向量聚类模块使用神经聚类方法将词向量进行聚类并对质心向量进行更新；所述近似注意力模块通过将词向量用相应质心向量代替去近似全局注意力机制，并通过公式化简达到提升模型效率(时间和显存)的效果；注意力输出模块结合残差结构以及标准化操作，对词向量的最终表示和质心向量的最终表示作进一步的处理，以提高模型的性能；本发明专利技术克服了基于自注意力机制的Transformer系统复杂度高，运行速度慢，以及显存占用大的问题。存占用大的问题。存占用大的问题。

【技术实现步骤摘要】
2020Conference on Empirical Methods in Natural Language Processing:Findings,EMNLP 2020,Online Event,16
‑
20November 2020,pages 2555
–
2565.Association for Computational Linguistics,2020.
[0009][2]Rewon Child,Scott Gray,Alec Radford,and Ilya Sutskever.Generating long sequences with sparse transformers.CoRR,abs/1904.10509,2019.
[0010][3]IzBeltagy,Matthew E.Peters,and Arman Cohan.Longformer:The long
‑
document transformer.CoRR,abs/2004.05150,2020.
[0011][4]Aurko 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经聚类方法的近似注意力系统，其特征在于：所述系统包括基于神经聚类方法的词向量聚类模块、基于神经聚类方法的近似注意力模块和注意力输出模块；所述基于神经聚类方法的词向量聚类模块用于对文本中词向量以相似度为标准进行聚类，并对质心向量进行更新，获得质心向量矩阵表示；其中：将质心向量矩阵和词向量矩阵进行矩阵相乘，获得一个权重矩阵，其中矩阵中每列元素值代表词向量和各个质心的隶属度值，隶属度值表示词向量隶属于各个质心的程度；将隶属度值作为权重系数去更新质心向量，再将更新后的质心向量与最初的质心向量进行相加，经Normalize操作获得质心向量的最终表示；词向量聚类模块的最终输出为更新后的质心向量矩阵，且每个质心向量的更新都融合了全部词向量信息；所述基于神经聚类方法的近似注意力模块将词向量用相应质心向量代替去近似全局注意力方法，其中：将词向量矩阵经过线性变换获得Query矩阵；在神经聚类中通过对词向量矩阵聚类获得了新的质心向量矩阵；用相应的质心向量去近似代替attention机制中的Key，Value矩阵中的词向量，并结合注意力机制中的相关计算操作将近似后的Key，Value矩阵中相同词向量进行合并，使得Key和Value矩阵的维度从N
×
d降至k
×
d；之后让获得的Query，Key和Value矩阵进行交互，获得词向量新的语义表示；所述自注意力输出模块用于输出词向量的最终表示和质心向量的最终表示；其中：将在近似注意力模块获得的词向量新的语义表示经过一个全连接层，并且与最初的词向量矩阵进行相加，之后再经过Normalize操作获得词向量的最终表示；将在词向量聚类模块获得的质心向量的最终表示作为另一部分输出。2.采用如权利要求1所述的系统进行神经聚类近似注意力的方法，其特征在于：所述词向量聚类模块用于对文本中词向量以相似度为标准进行聚类，并对质心向量进行更新，获得质心向量矩阵表示；其中：初始化一组质心向量矩阵C将初始化的质心向量矩阵C和词向量矩阵X进行矩阵...

【专利技术属性】
技术研发人员：张鹏，王宁宁，甘国兵，张帅，
申请(专利权)人：天津大学，
类型：发明
国别省市：