词向量矩阵压缩方法和装置、及获取词向量的方法和装置制造方法及图纸

本申请公开了词向量矩阵压缩方法和装置、及获取词向量的方法和装置，涉及数据处理技术领域，有助于节省客户端设备的存储空间。词向量矩阵压缩方法包括：基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；待压缩词向量矩阵的一行或一列是一个词向量，待压缩词向量矩阵中的一个词向量用于表征待处理词汇中的一个词；根据待处理词汇的语义信息，对待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别；对该至少两个类别中至少一个类别进行压缩，并根据该至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，并存储该经压缩的词向量矩阵。

Compression Method and Device of Word Vector Matrix and Method and Device of Obtaining Word Vector

【技术实现步骤摘要】
词向量矩阵压缩方法和装置、及获取词向量的方法和装置
本申请涉及数据处理
，尤其涉及词向量矩阵压缩方法和装置、及获取词向量的方法和装置。
技术介绍
随着深度学习技术的发展，自然语言处理(naturallanguageprocessing，NLP)任务的性能得到了大幅度的提升，其中，NLP任务可以包括：分词、词性标注、命名实体识别(named-entityrecognition，NER)、句子分类、对话系统等。基于深度学习技术，NLP任务的核心在于通过语言模型对词汇进行表示，语言模型除了包含词本身的含义，还要体现出不同词之间的关系，比如同义词、反义词及上下文关系等。词向量矩阵是语言模型的一种具体表示方式。词向量矩阵是由一个或多个词向量(wordvector)构成的矩阵。词向量，也可以称为词特征向量，用于表征词的特征信息。“通过词向量表示词”是搜索引擎、广告系统、推荐系统等互联网服务中常见的基础技术。由于语言具有词汇量大及句法、语法复杂的特点，因此需要大量的特征对其进行刻画，因此生成的词向量矩阵体积庞大，占据比较大的存储空间，通常不可直接在客户端设备中应用。因此，需要提供有效的词向量矩阵压缩方法。
技术实现思路
本申请实施例提供了词向量矩阵压缩方法和装置、及获取词向量的方法和装置，有助于节省客户端设备的存储空间。为了实现上述目的，本申请实施例提供的以下技术方案：第一方面，提供了一种词向量矩阵压缩方法，包括：基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；待压缩词向量矩阵的一行或一列是一个词向量，待压缩词向量矩阵中的一个词向量用于表征待处理词汇中的一个词；根据待处理词汇的语义信息，对待压缩词向量矩阵进行压缩，得到经压缩的词向量矩阵，并存储该经压缩的词向量矩阵。该方法的执行主体可以是服务器。在一个示例中，经压缩的词向量矩阵可以存储在服务器的非易失性存储介质如外存中，例如外存可以是硬盘等。在另一个示例中，经压缩的词向量矩阵可以存储在服务器的易失性存储介质如内存中。本技术方案中，根据待处理词汇的语义信息，对待压缩词向量矩阵进行压缩。这样，客户端设备可以通过存储经压缩的词向量矩阵，获得用于表征待处理词汇的词向量矩阵，而不需要直接存储用于表征待处理词汇的词向量矩阵，因此，可以节省客户端设备的存储空间。并且，有助于实现在压缩率一定的情况下，提高经压缩的词向量矩阵与待压缩词向量矩阵的接近程度，也就是说，提高客户端设备获取到的用于表征待处理词汇的词向量矩阵的准确度。在一种可能的设计中，根据待处理词汇的语义信息，对待压缩词向量矩阵进行压缩，得到经压缩的词向量矩阵，包括：根据待处理词汇的语义信息，对待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别；对该至少两个类别中至少一个类别进行压缩，并根据该至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵。例如，待处理词汇的语义信息可以包括：待处理词汇中的词的含义、词性、同义词、反义词等。例如，对至少两个类别中的每个类别分别进行压缩，并将压缩后得到的词向量构成经压缩的词向量矩阵。在一种可能的设计中，根据待处理词汇的语义信息，对待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别，包括：对待压缩词向量矩阵包括的词向量进行聚类，得到A个类别；2≤A＜N，N是待压缩词向量矩阵包含的词向量的个数；A和N均是整数。对至少两个类别中至少一个类别进行压缩，并根据至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，包括：根据A个类别中的各类别的类别中心构成的矩阵，得到经压缩的词向量矩阵。其中，每个类别具有一个类别中心。一个类别的类别中心用于表征该类别中的各词向量的共有特征。聚类本身是将具有相似性的词向量聚为同一个类别，同一个类别中的词向量之间的相似性是基于这些词向量所表征的词的语义信息确定的，因此，该可能的设计中，使用聚类方法实现对待压缩词向量矩阵包括的词向量的数量进行压缩。在一种可能的设计中，根据A个类别中的各类别的类别中心构成的矩阵，得到经压缩的词向量矩阵，包括：将A个类别中的各类别的类别中心构成的矩阵作为经压缩的词向量矩阵。在一种可能的设计中，根据A个类别中的各类别的类别中心构成的矩阵，得到经压缩的词向量矩阵，包括：将用于表示第一矩阵的B个特征向量构成的矩阵，作为经压缩的词向量矩阵；第一矩阵是A个类别中的各类别的类别中心构成的矩阵；B＜F，F是待压缩词向量矩阵中的一个词向量的维度，B和F均是整数。其中，“特征向量”可以是对待压缩词向量矩阵进行主成分分析(principalcomponentanalysis，PCA)或奇异值分解(singularvaluedecomposition，SVD)得到的，当然本申请实施例不限于此。这样，可以进一步对待压缩词向量矩阵进行压缩，从而进一步节省客户端设备的存储空间。在一种可能的设计中，该方法还包括：根据第一压缩率，确定A的取值；其中，第一压缩率是对待压缩词向量矩阵包含的词向量的数量进行压缩的压缩率。第一压缩率可以是预定义的，或者是基于传输带宽需求和/或词的准确度需求等因素确定的。在一种可能的设计中，A个类别的类别中心包括：待压缩词向量矩阵中的、且用于表征待处理词汇中的常用词的词向量。其中，常用词是使用频率大于或等于预设频率的词。这样，可以快速确定A个类别。在一种可能的设计中，N个类别包括第一类别，第一类别可以是N个类别中的任意一个类别。基于此，该方法还包括：将第一类别的类别中心所表征的词，作为第一类别包含的各词向量所表征的词对应的代表词；向客户端设备发送该代表词与第一类别包含的各词向量所表征的词之间的对应关系。客户端设备可以是本地设备或移动终端等，如手机、平板电脑、个人电脑、可穿戴设备等。这样，有助于客户端设备获得用于表征待处理词汇的词向量矩阵。在一种可能的设计中，该方法还包括：向客户端设备发送经压缩的词向量矩阵。如在接收到客户端设备发送的用于请求待处理词汇的请求消息时，向该客户端设备发送经压缩的词向量矩阵，以及经压缩词向量矩阵的代表词与待处理词汇中的词之间的对应关系。在一种可能的设计中，在接收到客户端设备发送的请求消息，且该请求消息用于请求待处理词汇的情况下，向该客户端设备发送经压缩的词向量矩阵，以及待处理词汇的多个代表词与待处理词汇中的多个词之间的对应关系。第二方面，提供了一种词向量矩阵压缩方法，包括：基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；待压缩词向量矩阵的一行或一列是一个词向量，待压缩词向量矩阵中的一个词向量用于表征待处理词汇中的一个词；确定用于表示待压缩词向量矩阵的F个特征向量；F是待压缩词向量矩阵中的一个词向量的维度，F是整数；根据B个特征向量构成的矩阵和待压缩词向量矩阵，得到经压缩的词向量矩阵；该F个特征向量包括该B个特征向量，B≤F，B是整数。可选的，该方法还可以包括：存储该经压缩的词向量矩阵。该技术方案的执行主体可以是服务器。本技术方案中，使用用于表示待压缩词向量矩阵的特征向量来实现对该矩阵的压缩。这样，有助于客户端设备可以通过存储经压缩的词向量矩阵，获得用于表征待处理词汇的词向量矩阵，而不需要直接存储用于表征待本文档来自技高网...

【技术保护点】
1.一种词向量矩阵压缩方法，其特征在于，包括：基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；所述待压缩词向量矩阵的一行或一列是一个词向量，所述待压缩词向量矩阵中的一个词向量用于表征所述待处理词汇中的一个词；根据所述待处理词汇的语义信息，对所述待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别；对所述至少两个类别中至少一个类别进行压缩，并根据所述至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，并存储所述经压缩的词向量矩阵。

【技术特征摘要】
1.一种词向量矩阵压缩方法，其特征在于，包括：基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；所述待压缩词向量矩阵的一行或一列是一个词向量，所述待压缩词向量矩阵中的一个词向量用于表征所述待处理词汇中的一个词；根据所述待处理词汇的语义信息，对所述待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别；对所述至少两个类别中至少一个类别进行压缩，并根据所述至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，并存储所述经压缩的词向量矩阵。2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理词汇的语义信息，对所述待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别，包括：对所述待压缩词向量矩阵包括的词向量进行聚类，得到A个类别；2≤A＜N，所述N是所述待压缩词向量矩阵包含的词向量的个数；所述A和所述N均是整数；所述对所述至少两个类别中至少一个类别进行压缩，并根据所述至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，包括：根据所述A个类别中的各类别的类别中心构成的矩阵，得到所述经压缩的词向量矩阵。3.根据权利要求2所述的方法，其特征在于，所述A个类别的类别中心包括：所述待压缩词向量矩阵中的、且用于表征所述待处理词汇中的常用词的词向量。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述A个类别中的各类别的类别中心构成的矩阵，得到所述经压缩的词向量矩阵，包括：将所述A个类别中的各类别的类别中心构成的矩阵，作为所述经压缩的词向量矩阵；或者，将用于表示第一矩阵的B个特征向量构成的矩阵，作为所述经压缩的词向量矩阵；所述第一矩阵是所述A个类别中的各类别的类别中心构成的矩阵；B＜F，所述F是所述待压缩词向量矩阵中的一个词向量的维度，所述B和所述F均是整数。5.根据权利要求2至4任一项所述的方法，其特征在于，所述N个类别包括第一类别，所述方法还包括：将所述第一类别的类别中心所表征的词，作为所述第一类别包含的各词向量所表征的词对应的代表词；向客户端设备发送所述代表词与所述第一类别包含的各词向量所表征的词之间的对应关系。6.一种词向量矩阵压缩方法，其特征在于，包括：基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；所述待压缩词向量矩阵的一行或一列是一个词向量，所述待压缩词向量矩阵中的一个词向量用于表征所述待处理词汇中的一个词；确定用于表示所述待压缩词向量矩阵的F个特征向量；所述F是所述待压缩词向量矩阵中的一个词向量的维度；所述F是整数；将所述待压缩词向量矩阵投影到B个特征向量构成的矩阵上，得到投影后的矩阵；所述F个特征向量包括所述B个特征向量；B＜F，所述B是整数；根据所述投影后的矩阵，得到经压缩的词向量矩阵，存储所述经压缩的词向量矩阵。7.根据权利要求6所述的方法，其特征在于，所述根据所述投影后的矩阵，得到所述经压缩的词向量矩阵，包括：将所述投影后的矩阵作为所述经压缩的词向量矩阵；或者，根据所述待处理词汇的语义信息，对所述投影后的矩阵中的词向量进行分类，得到至少两个类别，并对所述至少两个类别中至少一个类别进行压缩，根据所述至少一个类别压缩后得到的词向量，构建所述经压缩的词向量矩阵。8.根据权利要求6或7所述的方法，其特征在于，所述确定用于表示所述待压缩词向量矩阵的F个特征向量，包括：对所述待压缩词向量矩阵进行主成分分析PCA或奇异值分解SVD，以获取所述F个特征向量。9.一种获取词向量的方法，其特征在于，包括：获取用于表征待处理词汇的经压缩的词向量矩阵、所述待处理词汇中的多个词与所述待处理词汇的多个代表词之间的对应关系以及所述多个代表词与所述经压缩的词向量矩阵中的多个词向量之间的对应关系；一个代表词与所述经压缩的词向量矩阵中的一个词向量对应；根据所述多个词与所述多个代表词之间的对应关系，在所述多个词中查找待处理词，以确定所述待处理词对应的代表词，并将所述待处理词对应的代表词作为目标代表词；根据所述多个代表词与所述多个词向量之间的对应关系，在所述多个代表词中查找所述目标代表词，以确定所述目标代表词对应的词向量，并将所述目标代表词对应的词向量作为用于表征所述待处理词的词向量。10.根据权利要求9所述的方法，其特征在于，所述获取用于表征待处理词汇的经压缩的词向量矩阵、所述待处理词汇中的多个词与所述待处理词汇的多个代表词之间的对应关系，包括：通过网络从服务器获取所述经压缩的词向量矩阵和所述多个词与所述多个代表词之间的对应关系。11.一种词向量矩阵压缩装置，其特征在于，包括：词向量矩阵获取单元，用于基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；所述待压缩词向量矩阵的一行或一列是一个词向量，所述待压缩词向量矩阵中的一个词向量用于表征所述待处理词汇中的一个词；压缩单元，用于根据所述待处理词汇的语义信息，对所述待压缩词向量矩阵所包括的词向量进行分类，...

【专利技术属性】
技术研发人员：谢月飞，宋增猛，王俊，汤华，马占寅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44