一种基于频域变换的词向量压缩方法及装置制造方法及图纸

本公开的实施方式提供了一种基于频域变换的词向量压缩方法。该方法包括：将待压缩的词向量进行傅里叶变换，得到与所述词向量对应的频域向量；计算所述频域向量中各个元素的模值，并基于所述模值的数值大小对所述频域向量中的元素进行排序；从排序后的所述频域向量中选取若干元素，并基于所述选取出的若干元素构建压缩后的词向量。通过以上技术方案，既不改变词向量原有的表达能力，又可以按词向量各元素的重要性进行排序，因此，不仅能够处理高度非线性分布的语言中的词汇，还可以去除不重要的元素，仅保留代表词向量中关键信息的元素，从而实现对词向量的压缩，降低了词向量的维护成本。成本。成本。

【技术实现步骤摘要】
一种基于频域变换的词向量压缩方法及装置


[0001]本公开的实施方式涉及计算机
，更具体地，本公开的实施方 式涉及一种基于频域变换的词向量压缩方法、装置、存储介质以及电子设 备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上 下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]词向量，是指用数学中的向量形式来表示语言中的词汇，即，将词汇 映射到向量空间中，并用向量表示。
[0004]例如，“苹果”可以表示为[0.343434,
‑
0.88749,0.992112
…
,0.232432]。
[0005]其中，上述词向量中的元素分别可以用于表示“苹果”出现在哪些句 子里，出现的时候“苹果”之前经常是哪些词，之后经常是哪些词，“苹 果”通常出现在句子的什么位置，以及“苹果”出现的句子的长度等信息。
[0006]通常，可以采用word2vec、glove等方法，基于语料库中百亿数量级 的海量语料，通过神经网络模型训练获得词向量，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于频域变换的词向量压缩方法，包括：将待压缩的词向量进行傅里叶变换，得到与所述词向量对应的频域向量；计算所述频域向量中各个元素的模值，并基于所述模值的数值大小对所述频域向量中的元素进行排序；从排序后的所述频域向量中选取若干元素，并基于所述选取出的若干元素构建压缩后的词向量。2.根据权利要求1所述的方法，所述对待压缩的词向量进行傅里叶变换所使用的傅里叶变换算法包括离散傅里叶变换；所述将待压缩的词向量进行傅里叶变换，包括：基于如下公式对所述待压缩的词向量进行离散傅里叶变换：其中，[X0，X1，
…
，X
N
‑1]
T
表示所述待压缩的词向量，[Y0，Y1，
…
，Y
N
‑1]
T
表示所述频域向量，Y
k
＝a
k
+b
k
i，i2＝
‑
1，0≤k≤N
‑
1，W
N
表示大小为N
×
N因子矩阵，其中，ω
N
表示因子，ω
N
＝e^(
‑
2πi/N)。3.根据权利要求1所述的方法，所述对待压缩的词向量进行傅里叶变换所使用的傅里叶变换算法包括快速傅里叶变换；所述将待压缩的词向量进行傅里叶变换，包括：基于如下公式对所述待压缩的词向量进行快速傅里叶变换：其中，表示大小为的单位矩阵，表示大小为的对角矩阵，
表示大小为的因子矩阵，其中，表示因子，4....

【专利技术属性】
技术研发人员：冯旻伟，尹竞成，杨晓倩，杨萌，阮良，
申请(专利权)人：杭州网易智企科技有限公司，
类型：发明
国别省市：