模型训练数据获取方法、模型训练方法和装置制造方法及图纸

本申请实施例提供了一种模型训练数据获取方法、模型训练方法和装置，包括：通过获取第一目标模型；基于所述第一目标模型对数据子集进行过滤处理，得到目标数据集，其中，数据子集是基于用户输入的预设划分指令对原始数据进行划分得到的，目标数据集用于对第一目标模型对应的第一目标模型训练。本申请实施例通过对数据子集进行过滤，可以实现将质量差的样本数据过滤，保证对模型进行训练时的数据集质量，并且在面对大规模数据集是可以在保证数据集质量的同时降低数据集规模，降低后续模型训练耗时，并且通过将质量较差的数据剔除，可以降低质量较差的数据集对后续模型训练时模型更新的方向的影响。新的方向的影响。新的方向的影响。

【技术实现步骤摘要】
模型训练数据获取方法、模型训练方法和装置


[0001]本申请涉及数据处理
，特别是一种模型训练数据获取方法、模型训练方法和装置。

技术介绍

[0002]数据集中蕴含着丰富的真实的特征信息，模型训练是使用数据特征不断更新模型参数的过程。数据规模越大，数据特征越丰富，训练得到的模型性能越好、泛化性越高。然而大规模数据集的出现，给模型训练带来了很大的难度，诸如训练时间太久、硬件设备跟不上等等情形。
[0003]针对上述问题，相关技术中，通过数据并行进行模型训练，在面对大规模数据集时，例如，目标检测，是一种基于目标几何和统计特征的图像分割一，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力，尤其在进行大规模的目标检测处理时，此时训练所需的数据集时及其庞大的，为了提高目标检测处理模型的训练速度以及进行目标检测处理时的处理速度，相关技术是仅仅通过增加并行训练设备来提高训练吞吐量，减少整个训练耗时，然而，通过增加设备数量来优化训练流程，当面对更为复杂、规模更大的目标检测所需的数据集时，数据集可以达到TB级别的文本文件，完成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练数据获取方法，其特征在于，应用于GPU，所述模型训练数据获取方法包括：获取第一目标模型；基于所述第一目标模型对数据子集进行过滤处理，得到目标数据子集，其中，所述数据子集是基于用户输入的预设划分指令对原始数据进行划分得到的，所述目标数据子集用于对所述第一目标模型训练。2.根据权利要求1所述的模型训练数据获取方法，其特征在于，所述基于所述第一目标模型对数据子集进行过滤处理，得到目标数据集包括：获取任意一个数据子集中每个样本对应的偏差值；在检测到所述样本对应的偏差值满足预设过滤条件的情况下，将所述样本添加至目标数据集。3.根据权利要求2所述的模型训练数据获取方法，其特征在于，所述获取所述任意一个数据子集中每个样本对应的偏差值包括：在任意一个数据子集中获取全部样本；将每个所述样本输入至所述第一目标模型进行模型推理处理，得到每个所述样本对应的偏差值，其中，所述偏差值是所述样本的推理结果和所述样本的真实结果之间的偏差。4.根据权利要求2所述的模型训练数据获取方法，其特征在于，所述在检测到所述样本对应的偏差值满足预设过滤条件的情况下，将所述样本添加至目标数据集包括；将所述样本对应的偏差值和预设阈值进行比对处理，得到比对结果，其中，所述比对结果为布尔值；在检测到所述布尔值为1的情况下，将所述样本添加至所述目标数据集；在检测到所述布尔值为0的情况下，去除所述样本。5.根据权利要求1所述的模型训练数据获取方法，其特征在于，所述获取第一目标模型包括：在检测到在预设模型库中首次加载初始模型的情况下，将所述初始模型作为第一目标模型；在检测到在预设模型库中加载当前版本的最新模型的情况下，将所述最新模型作为第一目标模型。6.根据权利要求1所述的模型训练数据获取方法，其特征在于，在所述获取第一目标模型的步骤之前，所述方法包括：根据用户输入的预设划分指令将原始数据划分为包括至少一个数据子集的数据集；在所述数据集中进行筛选处理，得到初始样本；根据所述初始样本进行预训练处理，得到初始模型，其中，所述初始模型在预设模型库中首次加载时作为第一目标模型。7.一种模型训练方法，其特征在于，应用于GPU，所述模型训练方法包括：根据用户输入的预设划分指令将原始数据划分为包括至少一个数据子集的数据集；在所述数据集中进行筛选处理，得到初始样本；根据所述初始样本进行预训练处理，得到初始模型，其中，所述初始模型在预设模型库中首次加载时作为第一目标模型；
根据所述第一目标模型对数据子集进行模型演化处理，得到第二目标模型。8.根据权利要求7所述的方法，其特征在于，所述根据所述第一目标模型对数据子集进行模型演化处理，得到第二目标模型包括：获取第一目标模型；基于所述第一目标模型对所述数据子集进行过滤处理，得到目标数据子集；根据所述目标数据子集中的目标样本对所述第一目标模型进行训练，得到第二目标模型，其中，第二目标模型用于对所述数据子集再次进行过滤处理。9.根据权利要求7所述的模型训练方法，其特征在于，在所述根据所述第一目标模型对数据子集进行模型演化处理，得到第二目标模型的步骤之后，所述方法包括：根据预设验证数据集对所述第二目标模型进行验证处理；若所述第二目标模型对应的性能满足预设条件，则停止对所述第二目标模型训练。10.根据权利要求8所述的模型训练方法，其特征在于，所述根据所述目标数据子集中的目标样本对所述第一目标模型进行训练，得到第二目标模型包括：根据所述目标样本和预设训练超参数对所述第一目标模型进行训练，得到第二目标模型。11.根据权利要求10所述的模型训练方法，其特征在于，所述预设训练超参数包括以下至少一种：训练次数、批处理数据大小、学习率以及优化器。12.根据权利要求7所述...

【专利技术属性】
技术研发人员：张潇澜，李峰，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：