产品数据的处理方法、装置、存储介质和处理器制造方法及图纸

本发明专利技术公开了一种产品数据的处理方法、装置、存储介质和处理器。该方法包括：获取产品对象的图像数据集，其中，图像数据集包括：多张图片和视频的多个图像帧；将图像数据集中的多张图像分发到多个进程中进行分布计算，至少一个进程均获取到反向传播过程中的局部梯度；将获取到的至少一个局部梯度进行聚合，得到聚合梯度；使用聚合梯度来训练数据表征模型。本发明专利技术解决了产品数据的结构化建模结果不准确的技术问题。术问题。术问题。

【技术实现步骤摘要】
产品数据的处理方法、装置、存储介质和处理器


[0001]本专利技术涉及数据处理领域，具体而言，涉及一种产品数据的处理方法、装置、存储介质和处理器。

技术介绍

[0002]目前，在对产品数据进行结构化建模的过程中，通常使用有监督学习方法来进行建模。
[0003]有监督学习方法是采用人工对商品的产品信息进行标注，然后通过学习产品信息与人工标签之间的映射关系来完成结构化建模。但是，该有监督学习方法无法充分利用更大规模的未标注数据来提升模型精度，且难以覆盖复杂多变的场景、商品类型与拍摄条件，从而存在对产品数据的结构化建模结果不准确的技术问题。
[0004]针对上述的产品数据的结构化建模结果不准确的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种产品数据的处理方法、装置、存储介质和处理器，以至少解决产品数据的结构化建模结果不准确的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种产品数据的处理方法。该方法可以包括：获取产品对象的图像数据集，其中，图像数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产品数据的处理方法，其特征在于，包括：获取产品对象的图像数据集，其中，所述图像数据集包括：多张图片和视频的多个图像帧；将所述图像数据集中的多张图像分发到多个进程中进行分布计算，至少一个进程均获取到反向传播过程中的局部梯度；将获取到的至少一个局部梯度进行聚合，得到聚合梯度；使用所述聚合梯度来训练数据表征模型。2.根据权利要求1所述的方法，其特征在于，将所述图像数据集中的多张图像分发到多个进程中进行分布计算，至少一个进程均获取到反向传播过程中的局部梯度，包括：获取所述图像数据集中的每张图像的图像特征，并将每张图像的图像特征分发到不同的进程中；计算图像特征之间的相似度矩阵，获取所述至少一个进程下生成的局部相似度矩阵；针对所述至少一个进程下生成的局部相似度矩阵，进行局部损失计算，生成所述至少一个进程下的局部损失；基于所述至少一个进程获取到的局部损失，进行梯度计算，获取所述反向传播过程中的所述局部梯度。3.根据权利要求2所述的方法，其特征在于，获取图像数据集中的每张图像的图像特征，包括：使用神经网络模型来识别所述图像数据集中的每张图像的图像特征，并提取所述每张图像的图像特征。4.根据权利要求2所述的方法，其特征在于，计算图像特征之间的相似度矩阵，获取所述至少一个进程下生成的局部相似度矩阵，包括：在任意一个进程进行局部相似度矩阵计算的过程中，均拉取其他进程中产生的图像特征；使用拉取到的图像特征与当前进程中的图像特征进行相似度计算，生成当前进程下的局部相似度矩阵。5.根据权利要求2所述的方法，其特征在于，采用噪声对比损失函数对所述至少一个进程下产生的局部相似度矩阵，进行局部损失计算，生成所述至少一个进程下的局部损失，其中，所述噪声对比损失函数用于将同一张图像中不同变换之间的图像特征距离进行缩小，使得不同图像之间的图像特征距离进行扩大。6.根据权利要求1至5中任意一项所述的方法，其特征在于，将获取到的至少一个局部梯度进行聚合，得到聚合梯度，包括：将任意一个进程下的局部梯度分发到其他进程中；所述至少一个进程使用当前进程中的局部梯度和其他进程分发来的局部梯度进行聚合，生成所述至少一个进程下的所述聚合梯度。7.根据权利要求6所述的方法，其特征在于，基于所述至少一个进程之间的通信量、计算量和存取次数确定梯度聚合的频率。8.根据权利要求1至5中任意一项所述的方法，其特征在于，在使用所述聚合梯度来训练数据表征模型之后，所述方法还包括：
获取产品信息的识别任务；使用训练后的数据表征模型来对所述识别任务进行识别，得到所述产品信息。9.根据权利要求8所述的方法，其特征在于，在使用训练后的数据表征模型来识别所述产品信息之后，所述方法还包括：基于所述产品信息，生成多种类型的产品素材；发布多个所述产品素材。10.根据权利要求9所述的方法，其特征在于，在生成多种类型的产品素材之后，所述方法还包括：上传待发布的所述产品素材，并提取所述待发布的产品素材中待验证的多个产品内容；判断所述待验证的至少一个产品内容是否满足录入标准；如果满足，则成功将所述产品素材录入到发布模板中；否则，对验证失败的产品内容进行预处理，并在预处理后的产品内容满足所述录入标准的情况下，将所述产品素材录入到所述发布模板中。11.一种产品数据的处理方法，其特征在于，包括：在操作界面上的录入页面录入产品对象的图像数据集，其中，所述图像数据集包括：多张图片和视频的多个图像帧；在所述操作界面内感应到模型生成指令，将所述图像数据集中的多张图像分发到多个进程中进行分布计算，其中，至少一个进程均获取到反向传播过程中的局部梯度，将获取到的至少一个局部梯度进行聚合，得到聚合梯度；在所述操作界面上显示训练数据表征模型的提示信息，其中，所述训练数据表征模型使用所述聚合梯度进行训练。12.根据权利要求11所述的方法，其特征在于，在所述操作界面上显示训练数据表征模型的提示信息之后，所述方法还包括：在所述操作界面上显示产品信息的识别任务；在所述操作界面上显示所述产品信息，其中，所述产品信息为使用训练后的所述表征模型对所述识别任务进行识别得到。13.根据权利要求12所述的方法，其特征在于，在所述操作界面上显示所述产品信息之后，所述方法还包括：在所述操作界面上弹出指导信息，其中，所述指导信息包括所述产品信息存在的缺陷信息；在所述操作界面上显示基于所述指导信息生成的创作素材，其中，所述创作素材为构成产品...

【专利技术属性】
技术研发人员：黄梁华，潘攀，王彬，刘宇，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：