一种词向量的增量学习方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种词向量的增量学习方法、装置和电子设备，该方法包括：获取新词；在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型；获取训练语料；采用所述训练语料对所述词向量增量模型进行训练，获得词向量，利用迁移学习的特性增量学习词向量，无需重新学习词向量，大大减少了时间的消耗，降低了资源的耗费。

Incremental learning method, device and electronic equipment for word vector

The embodiment of the invention provides an incremental learning method, device and electronic device for word vectors, which comprises: acquiring new words; constructing a word incremental vector model for the new words on the basis of a trained basic word vector model; acquiring training corpus; and advancing the word vector incremental model with the training corpus. Word vectors are acquired by line training. Word vectors are incrementally learnt by using the characteristics of transfer learning. No need to re-learn word vectors is needed. This greatly reduces the consumption of time and resources.

【技术实现步骤摘要】
一种词向量的增量学习方法、装置和电子设备
本专利技术涉及机器学习
，特别是涉及一种词向量的增量学习方法、装置和电子设备。
技术介绍
word2vec算法是一种快算速度的近义词算法，原本用于将词做一个embedding(向量)，从大量的离散id类别映射到一个几十到几百维度的N维空间中的一个点。word2vec算法同样也用于具备语义相关性的序列，从而训练词向量。例如，在推荐场景中用户浏览的记录，每一次会话或者时间间隔比较短的时间记录都可以认为是一次连续的时间序列，从而应用word2vec算法。目前，随着新词的加入通常会需要对词向量进行扩展，此时，需要重新学习词向量。
技术实现思路
本专利技术实施例提出了一种词向量的增量学习方法、装置和电子设备，以解决加入新词需要重新学习词向量的问题。第一方面，本专利技术实施例提供了一种词向量的增量学习方法，包括：获取新词；在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型；获取训练语料；采用所述训练语料对所述词向量增量模型进行训练，获得词向量。优选地，所述基础词向量模型为负采样的第一神经网络，所述第一神经网络包括基础词向量表与第一输出层，所述第一输出层中具有基础输出参数；所述在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型，包括：构造负采样的第二神经网络作为增量词向量模型，所述第二神经网络具有增量词向量表与第二输出层；在所述基础词向量表的基础上初始化所述新词所属的增量词向量表；在所述第二输出层中，使用所述基础输出参数的基础上初始化所述新词对应的增量输出参数。优选地，所述在所述基础词向量表的基础上初始化所述新词所属的增量词向量表，包括：使用所述基础词向量表初始化所述增量词向量表；将所述新词插入所述增量词向量表中；在所述增量词向量表中随机初始化所述新词的词向量。优选地，所述基础输出参数包括基础权值与基础偏置值，所述增量输出参数包括增量权值与增量偏置值；所述在所述第二输出层中，使用所述基础输出参数的基础上初始化所述新词对应的增量输出参数，包括：在所述增量词向量表与所述基础词向量表中查询相同的词，作为原词；使用所述基础权值与所述基础偏置值初始化所述原词对应的增量权值与增量偏置值；对所述新词生成新的增量权值与增量偏置值；随机初始化所述新词对应的增量权值与增量偏置值。优选地，所述采用所述训练语料对所述词向量增量模型进行训练，获得词向量，包括：使用滑动窗口在所述训练语料中采集中心词和所述中心词的上下文，作为样本对；将所述上下文对应的词向量求和，获得求和词向量；对所述求和词向量执行前向传播，以进行分类，其中，增量词向量表里的每个词作为一个分类的输出节点；对每个样本对计算误差，并进行后向传播，求出误差对该样本词的上下文中每个词向量中每个值的梯度。优选地，所述采用所述训练语料对所述词向量增量模型进行训练，获得词向量，还包括：对所述词增量向量模型的增量词向量表中的词向量通过梯度下降进行更新；对所述词增量向量模型中第二输出层的增量输出参数通过梯度下降进行更新。优选地，所述对所述词增量向量模型的增量词向量表中的词向量通过梯度下降进行更新，包括：对所述词增量向量模型的增量词向量表中新词的词向量通过梯度下降进行更新，保持所述增量词向量表中原词的词向量。对所述词增量向量模型的增量词向量表中新词与原词的词向量通过梯度下降进行更新。第二方面，本专利技术实施例提供了一种词向量的增量学习装置，包括：新词获取模块，用于获取新词；增量向量模型构建模块，用于在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型；训练语料获取模块，用于获取训练语料；词向量增量模型训练模块，用于采用所述训练语料对所述词向量增量模型进行训练，获得词向量。优选地，所述基础词向量模型为负采样的第一神经网络，所述第一神经网络包括基础词向量表与第一输出层，所述第一输出层中具有基础输出参数；所述增量向量模型构建模块包括：神经网络构造子模块，用于构造负采样的第二神经网络作为增量词向量模型，所述第二神经网络具有增量词向量表与第二输出层；第一初始化子模块，用于在所述基础词向量表的基础上初始化所述新词所属的增量词向量表；第二初始化子模块，用于在所述第二输出层中，使用所述基础输出参数的基础上初始化所述新词对应的增量输出参数。优选地，所述第一始化子模块包括：增量词向量表初始化单元，用于使用所述基础词向量表初始化所述增量词向量表；新词插入单元，用于将所述新词插入所述增量词向量表中；新词初始化单元，用于在所述增量词向量表中随机初始化所述新词的词向量。优选地，所述基础输出参数包括基础权值与基础偏置值，所述增量输出参数包括增量权值与增量偏置值；所述第二初始化子模块包括：原词查询单元，用于在所述增量词向量表与所述基础词向量表中查询相同的词，作为原词；原参数初始化单元，用于使用所述基础权值与所述基础偏置值初始化所述原词对应的增量权值与增量偏置值；新参数生成单元，用于对所述新词生成新的增量权值与增量偏置值；新参数初始化单元，用于随机初始化所述新词对应的增量权值与增量偏置值。优选地，所述词向量增量模型训练模块包括：词遍历子模块，用于使用滑动窗口在所述训练语料中采集中心词和所述中心词的上下文，作为样本对；求和词向量计算子模块，用于将所述上下文对应的词向量求和，获得求和词向量；分类子模块，用于对所述求和词向量执行前向传播，以进行分类，其中，增量词向量表里的每个词作为一个分类的输出节点；梯度计算子模块，用于对每个样本对计算误差，并进行后向传播，求出误差对该样本词的上下文中每个词向量中每个值的梯度。优选地，所述词向量增量模型训练模块还包括：词向量更新子模块，用于对所述词增量向量模型的增量词向量表中的词向量通过梯度下降进行更新；增量输出参数更新子模块，用于对所述词增量向量模型中第二输出层的增量输出参数通过梯度下降进行更新。优选地，所述词向量更新子模块包括：第一更新单元，用于对所述词增量向量模型的增量词向量表中新词的词向量通过梯度下降进行更新，保持所述增量词向量表中原词的词向量。第二更新单元，用于对所述词增量向量模型的增量词向量表中新词与原词的词向量通过梯度下降进行更新。第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的词向量的增量学习方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的词向量的增量学习方法。本专利技术实施例包括以下优点：在本专利技术实施例中，若增加新词，则可以在已训练的基础词向量模型的基础上，对新词构造词增量向量模型，采用预先准备的训练语料对词向量增量模型进行训练，获得词向量，利用迁移学习的特性增量学习词向量，无需重新学习词向量，大大减少了时间的消耗，降低了资源的耗费。附图说明图1是一种词向量的学习的示意图；图2是本专利技术的一种词向量的增量学习方法的步骤流程图；图3是本专利技术的一种词向量的增量学习的示意图；图4是本专利技术的一种词向量的增量学习装置的结构框图；图5是本专利技术的一种电子设备的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式本文档来自技高网...

【技术保护点】
1.一种词向量的增量学习方法，其特征在于，包括：获取新词；在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型；获取训练语料；采用所述训练语料对所述词向量增量模型进行训练，获得词向量。

【技术特征摘要】
1.一种词向量的增量学习方法，其特征在于，包括：获取新词；在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型；获取训练语料；采用所述训练语料对所述词向量增量模型进行训练，获得词向量。2.根据权利要求1所述的方法，其特征在于，所述基础词向量模型为负采样的第一神经网络，所述第一神经网络包括基础词向量表与第一输出层，所述第一输出层中具有基础输出参数；所述在已训练的基础词向量模型的基础上，对所述新词构造词增量向量模型，包括：构造负采样的第二神经网络作为增量词向量模型，所述第二神经网络具有增量词向量表与第二输出层；在所述基础词向量表的基础上初始化所述新词所属的增量词向量表；在所述第二输出层中，使用所述基础输出参数的基础上初始化所述新词对应的增量输出参数。3.根据权利要求2所述的方法，其特征在于，所述在所述基础词向量表的基础上初始化所述新词所属的增量词向量表，包括：使用所述基础词向量表初始化所述增量词向量表；将所述新词插入所述增量词向量表中；在所述增量词向量表中随机初始化所述新词的词向量。4.根据权利要求2所述的方法，其特征在于，所述基础输出参数包括基础权值与基础偏置值，所述增量输出参数包括增量权值与增量偏置值；所述在所述第二输出层中，使用所述基础输出参数的基础上初始化所述新词对应的增量输出参数，包括：在所述增量词向量表与所述基础词向量表中查询相同的词，作为原词；使用所述基础权值与所述基础偏置值初始化所述原词对应的增量权值与增量偏置值；对所述新词生成新的增量权值与增量偏置值；随机初始化所述新词对应的增量权值与增量偏置值。5.根据权利要求1-4任一项所述的方法，其特征在于，所述采用所述训练语料对所述词向量增量模型进行训练，获得词向量，包括：使用...

【专利技术属性】
技术研发人员：庄正中，
申请(专利权)人：广州荔支网络技术有限公司，
类型：发明
国别省市：广东,44