数据处理方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请提供了一种基于人工智能的数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：获取目标样本的稀疏特征；从第一维度的全量稀疏特征的嵌入特征中，获取目标样本在第一维度的稀疏特征的嵌入特征；从第二图形处理器，获取目标样本在第二维度的稀疏特征的嵌入特征，目标样本在第二维度的稀疏特征的嵌入特征是第二图形处理器从第二维度的全量稀疏特征的嵌入特征查询得到的；根据目标样本在第一维度的稀疏特征的嵌入特征和目标样本在第二维度的稀疏特征的嵌入特征，进行推理，并根据推理结果向第二图形处理器传输参考信息。通过本申请，能够实现大规模嵌入特征存储并提高更新处理效率。模嵌入特征存储并提高更新处理效率。模嵌入特征存储并提高更新处理效率。

【技术实现步骤摘要】
数据处理方法、装置、设备、存储介质及程序产品


[0001]本申请涉及人工智能技术，尤其涉及一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。基于医疗图像以及医疗文本的分析是人工智能领域的重要应用之一，医疗分析系统是指利用计算机对医疗图像和医疗文本进行处理、分析和理解，以识别出各种不同模式的目标和对象的系统。
[0003]相关技术中基于Parameter Server方式对嵌入特征进行学习，通常稀疏特征的嵌入特征表示(embedding)会存放在中央处理器(CPU，Central Processing Unit)上，因此embedding训练也会在CPU内完成。但是由于embedding运算的规模较大，从而导致训练速度较慢。

技术实现思路

[0004]本申请实施例提供一种基于人工智能的数据处理方法、装置、电子设备、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法应用于第一图形处理器，所述第一图形处理器存储有第一维度的全量稀疏特征的嵌入特征，第二图形处理器存储有第二维度全量稀疏特征的嵌入特征，所述第一维度与所述第二维度不同；所述方法包括：所述第一图形处理器获取目标样本的稀疏特征，所述目标样本的稀疏特征包含所述目标样本在第一维度的稀疏特征和所述目标样本在第二维度的稀疏特征；所述第一图形处理器从所述第一维度的全量稀疏特征的嵌入特征中，获取所述目标样本在第一维度的稀疏特征的嵌入特征；所述第一图形处理器从所述第二图形处理器，获取所述目标样本在所述第二维度的稀疏特征的嵌入特征，所述目标样本在第二维度的稀疏特征的嵌入特征是所述第二图形处理器从所述第二维度的全量稀疏特征的嵌入特征查询得到的；所述第一图形处理器根据所述目标样本在第一维度的稀疏特征的嵌入特征和所述目标样本在第二维度的稀疏特征的嵌入特征，确定所述目标样本的稀疏特征的嵌入特征；所述第一图形处理器根据所述目标样本的稀疏特征的嵌入特征进行推理，并根据推理结果向所述第二图形处理器传输参考信息，所述参考信息用于指示所述第二图形处理器更新所述第二维度的全量稀疏特征的嵌入特征。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述第一图形处理器根据所述推理结果更新所述第一维度的全量稀疏特征的嵌入特征。3.根据权利要求1或2所述的方法，其特征在于，所述第一图形处理器和所述第二图形处理器属于多个图形处理器，所述多个图形处理器存储有多个维度的全量稀疏特征的嵌入特征，所述第一维度包含所述多个维度中的至少一个维度，所述第二维度包含所述多个维度中的至少一个维度。4.根据权利要求3所述的方法，其特征在于，所述第一维度的全量稀疏特征的嵌入特征的存储位置和所述第二维度的全量稀疏特征的嵌入特征的存储位置，是在所述多个维度的全量稀疏特征的嵌入特征的数据量大于阈值的情况下划分的。5.根据权利要求3所述的方法，其特征在于，在所述多个维度的全量稀疏特征的嵌入特征的数据量不大于阈值的情况下，所述多个维度的全量稀疏特征的嵌入特征保存在所述多个图形处理器中的每个图形处理器中。6.根据权利要求1或2所述的方法，其特征在于，所述第一图形处理器从所述第二图形处理器，获取所述目标样本在所述第二维度的稀疏特征的嵌入特征，包括：所述第一图形处理器向所述第二图形处理器传输所述目标样本在所述第二维度的稀疏特征，使得所述第二图形处理器从所述第二维度的全量稀疏特征的嵌入特征中查询出所述目标样本在所述第二维度的稀疏特征的嵌入特征；所述第一图形处理器接收，所述目标样本在所述第二维度的稀疏特征的嵌入特征。7.根据权利要求1或2所述的方法，其特征在于，所述第一图形处理器从所述第一维度的全量稀疏特征的嵌入特征中，获取所述目标样本在第一维度的稀疏特征的嵌入特征，包括：所述第一图形处理器从所述第一维度的全量稀疏特征的嵌入特征中查询出所述目标
样本在所述第一维度的稀疏特征的嵌入特征。8.根据权利要求1所述的方法，其特征在于，在所述第一图形处理器获取目标样本的稀疏特征之前，所述方法还包括：获取所述第一图形处理器前一次从所述多个数据样本中获取到的历史目标样本；将所述多个数据样本中除所述历史目标样本的数据样本作为其他数据样本；从所述其他数据样本中随机获取至少一个数据样本作为所述目标样本。9.根据权利要求1所述的方法，其特征在于，在所述第一图形处理器获取目标样本的稀疏特征之前，所述方法还包括：基于所述图形处理器的数目对所述多个数据样本进行平均划分处理，得到多个样本集合，其中，每个所述样本集合包括至少一个数据样本，所述样本集合的集合数目是与所述图形处理器的数目相同；确定所述多个样本集合与所述多个图形处理器之间的一一对应关系；将与所述第一图形处理器之间具有所述对应关系的样本集合中的数据样本，作为对应所述第一图形处理器的目标样本。10.根据权利要求1所述的方法，其特征在于，所述第一图形处理器根据所述目标样本的稀疏特征的嵌入特征进行推理，包括：以所述目标样本的嵌入特征作为推荐模型的输入，执行推荐概率预测处理，得到对应所述目标样本的推荐概率作为所述推理结果；所述根据推理结果向所述第二图形处理器传输参考信息，包括：所述第一图形处理器确定对应所述目标样本的推荐概率与对应所述目标样本的标签值之间的误差，并基于所述误差确定所述目标样本的第二维度的全量稀疏特征的嵌入特征的梯度；将所述第二维度的全量稀疏特征的嵌入特征的梯度传输给所述第二图形处理器。11.一种数据处理方法，其特征在于，所述数据处理方法应用于第二图形处理器，第一图形处理器存储有第一维度的全量稀疏特征的嵌入特征，所述第二图形处理器存储有第二维度的全量稀疏特征的嵌入特征，所述第一维度与所述第二维度不同；所述方法包括：所述第二图形处...

【专利技术属性】
技术研发人员：弓静，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：