训练数据集的生成方法及装置、电子设备、存储介质制造方法及图纸

本申请提供了一种训练数据集的生成方法及装置、电子设备、存储介质，该方法包括：获取已分类的源数据集以及未分类的目标数据集；通过特征提取器提取源数据集的第一特征向量集以及目标数据集的第二特征向量集；根据第一特征向量集确定源数据集对应的类中心特征向量、根据第二特征向量集确定目标数据集的聚类标签和聚类簇内平均特征向量；通过迭代优化特征提取器，使源数据集中样本的特征向量与类中心特征向量之间，以及，聚类簇内元素的特征向量与聚类簇内平均特征向量之间的总体差异最小；根据目标数据集的聚类标签以及聚类簇内元素，获得训练数据集。该方法可以降低人工标注的工作量，降低人工标注成本，提高标注精度。提高标注精度。提高标注精度。

【技术实现步骤摘要】
训练数据集的生成方法及装置、电子设备、存储介质


[0001]本申请涉及数据处理
，特别涉及一种训练数据集的生成方法 及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]在零售场景进行商品分类识别中，经常性需要面对不同产品线的包装 差异化、产品包装的快速迭代更新，以及图像采集过程中的图片特征差异 化、产品种类数量巨大、部分类别数据冗余等问题；因此，在开始进行一 个新项目时，很难通过少量的数据和快速简洁的算法对分类模型训练数据 进行准备工作，而需要人工进行大量数据的分类标注工作来形成初始训练 集；那么，如何对海量的无标注数据进行预划分，并提高局部采样质量， 降低人工标注的初始数据量，而快速形成初始训练集提升后续数据收集的 效率，是目前工作中一个非常重要且亟待解决的问题。
[0003]目前，对图像分类数据的准备，主要通过对采集的全样本图片进行人 工分类标注，但是一次性需要处理的数据量可能非常巨大，全人工标注往 往会造成标注精度不高、标注成本高，而影响后续模型的迭代优化。

技术实现思路

[0004]本申请实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练数据集的生成方法，其特征在于，所述方法包括：获取已分类的源数据集以及未分类的目标数据集；通过特征提取器提取所述源数据集的第一特征向量集以及所述目标数据集的第二特征向量集；根据所述第一特征向量集确定所述源数据集对应的类中心特征向量、根据所述第二特征向量集确定所述目标数据集的聚类标签和聚类簇内平均特征向量；通过迭代优化所述特征提取器，使所述源数据集中样本的特征向量与所述类中心特征向量之间，以及，聚类簇内元素的特征向量与聚类簇内平均特征向量之间的总体差异最小；根据所述目标数据集的聚类标签以及聚类簇内元素，获得训练数据集。2.根据权利要求1所述的方法，其特征在于，所述通过特征提取器提取所述源数据集的第一特征向量集以及所述目标数据集的第二特征向量集，包括：通过特征提取器提取所述源数据集中每个样本的特征向量，得到所述第一特征向量集；通过特征提取器提取所述目标数据集中每个元素的特征向量，得到所述第二特征向量集。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征向量集确定所述源数据集对应的类中心特征向量，包括：计算所述第一特征向量集中多个样本的特征向量的均值，得到所述源数据集对应的类中心特征向量。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征向量集确定所述目标数据集的聚类标签和聚类簇内平均特征向量，包括：利用聚类算法，对所述第二特征向量集进行聚类划分，获得聚类簇；根据所述聚类簇内每个元素的特征向量，确定所述聚类簇的聚类标签以及聚类簇内平均特征向量。5.根据权利要求4所述的方法，其特征在于，对所述第二特征向量集进行聚类划分之后，所述方法还包括：获取未聚类的孤立点集；根据所述孤立点集中每个元素的特征向量，生成所述孤立点集的标签信息以及孤立点集特征向量。6.根据权利要求5所述的方法，其特征在于，所述通过优化所述特征提取器，使所述源数据集中样本的特征向量与所述类中心特征向量之间，以及，聚类簇内元素的特征向量与聚类簇内平...

【专利技术属性】
技术研发人员：张发恩，纪双西，
申请(专利权)人：创新奇智合肥科技有限公司，
类型：发明
国别省市：