一种序列学习的动态标识符表示方法、装置及系统制造方法及图纸

本发明专利技术提供了一种序列学习的动态标识符表示方法、装置及系统，所述方法包括：将语境向量和标识符向量作为输入，输入相关性子模块中，做相关性运算，得到相关性向量；将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。使用本发明专利技术DTR模块的LSTM模型能够更快和更稳定的收敛，更好的理解未知标识符，并且能够提供更有竞争力的准确率，而且相比传统LSTM方法，其词汇量小得多。

【技术实现步骤摘要】
一种序列学习的动态标识符表示方法、装置及系统
本专利技术涉及计算机软件工程
，尤其是涉及一种序列学习的动态标识符表示方法、装置及系统。
技术介绍
序列学习在自然语言处理(NLP)和程序源代码分析中扮演着重要角色。标识符的表示对于序列学习非常重要。离散标识符的表示方法是序列学习中非常重要。通常的办法是使用一个静态一对一查找表来生成输入标识符的持续静态嵌入，并且使用一个单一嵌入来表示所有的标识符。但是，一个标识符的确切意义经常随着其出现的语境的变化而变化，所以静态嵌入方法不能总是准确的表达一个标识符的确切含义，尤其是对那些多义词和未知标识符而言。
技术实现思路
为解决以上问题，在本专利技术中，提出了一种基于记忆槽的动态标识符表示(DynamicTokenRepresentation，DTR)模块，考虑了动态表示生成过程中的当前语境。其中，标识符表示通过结合记忆槽中存储的语素向量而动态产生，考虑了当前语境。本专利技术设计了一个人工数据集(SAS)和两个NLP工业级数据集(Javasource、YahooAnswers)，分析了程序代码。具体的，本专利技术提供了一种序列学习的动态标识符表示本文档来自技高网...

【技术保护点】
1.一种序列学习的动态标识符表示方法，其特征在于，包括：将语境向量和标识符向量作为输入，输入相关性子模块中，做相关性运算，得到相关性向量；将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。

【技术特征摘要】
1.一种序列学习的动态标识符表示方法，其特征在于，包括：将语境向量和标识符向量作为输入，输入相关性子模块中，做相关性运算，得到相关性向量；将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。2.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：所述相关性运算采用相关性函数。3.根据权利要求2所述的序列学习的动态标识符表示方法，其特征在于：所述相关性函数是拼接函数。4.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：所述组合向量是基于组合权重的概率分布函数。5.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：所述记忆槽的数量是有限个而且每个槽之间互不相同。6.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：所述Softmax子模块使用L1-正则化算法。7.根据权利要求1所述的序列学习的动态标识符表示方法...

【专利技术属性】
技术研发人员：李戈，金芝，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11