向量获取方法、装置、电子设备以及计算机可读存储介质制造方法及图纸

本申请提供了一种向量获取方法、装置、电子设备以及计算机可读存储介质，该方法包括：获取初始向量和投影矩阵，初始向量包括初始主语向量、初始宾语向量和初始关系向量，初始主语向量的数目与初始宾语向量的数目之间的差值大于预设数目阈值，初始主语向量存储于RDD，初始宾语向量、初始关系向量和投影矩阵是通过Spark架构的广播变量获取的；根据投影矩阵和初始数据，对初始向量进行训练，得到目标特征训练向量。通过广播变量获取初始宾语向量、初始关系向量和投影矩阵，避免了由于主语实体的数目和宾语实体的数目不均衡无法训练向量的情况，提高了训练包括特征主语向量、特征宾语向量和特征关系向量的目标特征训练向量的灵活性。

Vector acquisition method, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
向量获取方法、装置、电子设备以及计算机可读存储介质
本申请涉及计算机
，具体而言，涉及一种向量获取方法、装置、电子设备以及计算机可读存储介质。
技术介绍
随着大数据技术的不断发展，用户可以根据获取的大量数据对主语实体、宾语实体和SPO(Subject-Predicate-Object，主语-谓语-宾语)三元组进行提取分析，从而确定各个主语实体和各个宾语实体之间的关系。相关技术中，可以通过TransR(TranslateinRelationSpace，基于翻译模型的关系空间中的嵌入学习算法)技术对大量的主语实体、宾语实体以及主语实体和宾语实体之间的关系输入预先设置的数据模型，通过数据模型对主语实体、宾语实体以及主语实体和宾语实体之间的关系进行分析训练，得到主语向量、宾语向量和关系向量。但是，若主语实体的数量远大于宾语实体的数量，会造成数据量不均衡，导致报错中断的情况，无法训练得到主语向量、宾语向量和关系向量。
技术实现思路
有鉴于此，本申请实施例的目的在于提供一种向量获取方法、装置、电子设备及计算机可读存储介质，能够通过从RDD获取初始向量中的初始主语向量，并通过Spark架构的广播变量获取投影矩阵和初始向量中的初始宾语向量和初始关系向量，并根据投影矩阵和包括多个SPO三元组的初始数据，对初始向量进行训练，得到目标特征训练向量，避免了由于主语实体的数目和宾语实体的数目不均衡无法训练向量的情况，提高了训练包括特征主语向量、特征宾语向量和特征关系向量的目标特征训练向量的灵活性。第一方面，本申请实施例提供了一种向量获取方法，应用于斯帕克Spark架构中的计算节点，所述Spark架构包括：服务器、管理节点、工作节点和所述计算节点，所述管理节点分别与所述服务器和所述工作节点连接，所述工作节点包括至少一个计算节点；所述方法包括：获取初始向量和投影矩阵，所述初始向量包括初始主语向量、初始宾语向量和初始关系向量，所述初始主语向量的数目与所述初始宾语向量的数目之间的差值大于预设数目阈值，其中，所述初始主语向量存储于弹性分布式数据集RDD，所述初始宾语向量、所述初始关系向量和所述投影矩阵是通过所述Spark架构的广播变量获取的；根据所述投影矩阵和初始数据，对所述初始向量进行训练，得到目标特征训练向量，所述初始数据包括多个主谓宾SPO三元组，所述目标特征训练向量包括：特征主语向量、特征宾语向量和特征关系向量。可选的，所述根据所述投影矩阵和初始数据，对所述初始向量进行训练，包括：根据所述投影矩阵和所述初始数据，对所述初始向量进行训练，得到第一训练向量；若所述第一训练向量的损失函数值不小于预设函数阈值，根据所述投影矩阵和所述初始数据对所述第一训练向量进行训练，得到第二训练向量，直至训练得到的目标特征训练向量的损失函数值小于所述预设函数阈值。可选的，所述根据所述投影矩阵和初始数据，对所述初始向量进行训练，包括：根据SPO三元组正样本，生成SPO三元组负样本；根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练。可选的，所述根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练之前，还包括：通过RDD外连接的方式，对所述SPO三元组负样本中的非法负样本进行过滤，得到合法负样本；所述根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练，包括：根据所述SPO三元组正样本、所述合法负样本和所述投影矩阵，对所述初始向量进行训练。可选的，所述初始主语向量的向量维度和所述初始宾语向量的向量维度，均与所述初始关系向量的向量维度不同；所述根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练，包括：根据所述投影矩阵对所述初始主语向量和所述初始宾语向量的向量维度进行调整，得到调整后的初始主语向量和调整后的初始宾语向量，所述调整后的初始主语的向量维度、所述调整后的初始宾语向量的向量维度均与所述初始关系向量的向量维度相同；根据所述SPO三元组正样本、所述SPO三元组负样本，对所述调整后的初始主语向量、所述调整后的初始宾语向量和所述初始关系向量进行训练。可选的，所述根据所述投影矩阵和所述初始数据对所述第一训练向量进行训练，包括：对所述第一训练向量进行归一化，得到归一化第一训练向量；根据所述投影矩阵和所述初始数据对所述归一化第一训练向量进行训练。可选的，在所述根据所述投影矩阵和初始数据，对所述初始向量进行训练之后，还包括：将所述目标特征训练向量中的主语实体名、宾语实体名和关系名，由整型数据类型转换为字符串数据类型，得到转换后的目标特征训练向量。可选的，所述特征主语向量的格式类型为面向分析型业务的列式存储Parquet格式，所述特征宾语向量和所述特征关系向量的格式类型为文本格式。第二方面，本申请实施例提供了一种向量获取装置，应用于Spark架构中的计算节点，所述Spark架构包括：服务器、管理节点、工作节点和所述计算节点，所述管理节点分别与所述服务器和所述工作节点连接，所述工作节点包括至少一个计算节点；所述装置包括：获取模块，用于获取初始向量和投影矩阵，所述初始向量包括初始主语向量、初始宾语向量和初始关系向量，所述初始主语向量的数目与所述初始宾语向量的数目之间的差值大于预设数目阈值，其中，所述初始主语向量存储于弹性分布式数据集RDD，所述初始宾语向量、所述初始关系向量和所述投影矩阵是通过所述Spark架构的广播变量获取的；训练模块，用于根据所述投影矩阵和初始数据，对所述初始向量进行训练，得到目标特征训练向量，所述初始数据包括多个主谓宾SPO三元组，所述目标特征训练向量包括：特征主语向量、特征宾语向量和特征关系向量。可选的，所述训练模块，具体用于根据所述投影矩阵和所述初始数据，对所述初始向量进行训练，得到第一训练向量；若所述第一训练向量的损失函数值不小于预设函数阈值，根据所述投影矩阵和所述初始数据对所述第一训练向量进行训练，得到第二训练向量，直至训练得到的目标特征训练向量的损失函数值小于所述预设函数阈值。可选的，所述训练模块，具体用于根据SPO三元组正样本，生成SPO三元组负样本；根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练。可选的，还包括：过滤模块，用于通过RDD外连接的方式，对所述SPO三元组负样本中的非法负样本进行过滤，得到合法负样本；所述训练模块，还具体用于根据所述SPO三元组正样本、所述合法负样本和所述投影矩阵，对所述初始向量进行训练。可选的，所述初始主语向量的向量维度和所述初始宾语向量的向量维度，均与所述初始关系向量的向量维度不同；所述训练模块，还具体用于根据所述投影矩阵对所述初始主语向量和所述初始宾语向量的本文档来自技高网...

【技术保护点】
1.一种向量获取方法，其特征在于，应用于斯帕克Spark架构中的计算节点，所述Spark架构包括：服务器、管理节点、工作节点和所述计算节点，所述管理节点分别与所述服务器和所述工作节点连接，所述工作节点包括至少一个计算节点；所述方法包括：/n获取初始向量和投影矩阵，所述初始向量包括初始主语向量、初始宾语向量和初始关系向量，所述初始主语向量的数目与所述初始宾语向量的数目之间的差值大于预设数目阈值，其中，所述初始主语向量存储于弹性分布式数据集RDD，所述初始宾语向量、所述初始关系向量和所述投影矩阵是通过所述Spark架构的广播变量获取的；/n根据所述投影矩阵和初始数据，对所述初始向量进行训练，得到目标特征训练向量，所述初始数据包括多个主谓宾SPO三元组，所述目标特征训练向量包括：特征主语向量、特征宾语向量和特征关系向量。/n

【技术特征摘要】
1.一种向量获取方法，其特征在于，应用于斯帕克Spark架构中的计算节点，所述Spark架构包括：服务器、管理节点、工作节点和所述计算节点，所述管理节点分别与所述服务器和所述工作节点连接，所述工作节点包括至少一个计算节点；所述方法包括：
获取初始向量和投影矩阵，所述初始向量包括初始主语向量、初始宾语向量和初始关系向量，所述初始主语向量的数目与所述初始宾语向量的数目之间的差值大于预设数目阈值，其中，所述初始主语向量存储于弹性分布式数据集RDD，所述初始宾语向量、所述初始关系向量和所述投影矩阵是通过所述Spark架构的广播变量获取的；
根据所述投影矩阵和初始数据，对所述初始向量进行训练，得到目标特征训练向量，所述初始数据包括多个主谓宾SPO三元组，所述目标特征训练向量包括：特征主语向量、特征宾语向量和特征关系向量。


2.根据权利要求1所述的方法，其特征在于，所述根据所述投影矩阵和初始数据，对所述初始向量进行训练，包括：
根据所述投影矩阵和所述初始数据，对所述初始向量进行训练，得到第一训练向量；
若所述第一训练向量的损失函数值不小于预设函数阈值，根据所述投影矩阵和所述初始数据对所述第一训练向量进行训练，得到第二训练向量，直至训练得到的目标特征训练向量的损失函数值小于所述预设函数阈值。


3.根据权利要求1所述的方法，其特征在于，所述根据所述投影矩阵和初始数据，对所述初始向量进行训练，包括：
根据SPO三元组正样本，生成SPO三元组负样本；
根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练。


4.根据权利要求3所述的方法，其特征在于，所述根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练之前，还包括：
通过RDD外连接的方式，对所述SPO三元组负样本中的非法负样本进行过滤，得到合法负样本；
所述根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练，包括：
根据所述SPO三元组正样本、所述合法负样本和所述投影矩阵，对所述初始向量进行训练。


5.根据权利要求3所述的方法，其特征在于，所述初始主语向量的向量维度和所述初始宾语向量的向量维度，均与所述初始关系向量的向量维度不同；
所述根据所述SPO三元组正样本、所述SPO三元组负样本和所述投影矩阵，对所述初始向量进行训练，包括：
根据所述投影矩阵对所述初始主语向量和所述初始宾语向量的向量维度进行调整，得到调整后的初始主语向量和调整后的初始宾语向量，所述调整后的初始主语的向量维度、所述调整后的初始宾语向量的向量维度均与所述初始关系向量的向量维度相同；
根据所述SPO三元组正样本、所述SPO三元组负样本，对所述调整后的初始主语向量、所述调整后的初始宾语向量和所述初始关系向量进行训练。


6.根据权利要求2所述的方法，其特征在于，所述根据所述投影矩阵和所述初始数据对所述第一训练向量进行训练，包括：
对所述第一训练向量进行归一化，得到归一化第一训练向量；
根据所述投影矩阵和所述初始数据对所述归一化第一训练向量进行训练。


7.根据权利要求1至6任一所述的方法，其特征在于，在所述根据所述投影矩阵和初始数据，对所述初始向量进行训练之后，还包括：
将所述目标特征训练向量中的主语实体名、宾语实体名和关系名，由整型数据类型转换为字符串数据类型，得到转换后的目标特征训练向量。


8.根据权利要求1至6任一所述的方法，其特征在于，所述特征主语向量的格式类型为面向分析型业务的列式存储Parquet格式，所述特征宾语向量和所述特征关系向量的格式类型为文本格式。


9.一种向量...

【专利技术属性】
技术研发人员：林宇澄，杨晓庆，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11