采样优化方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种采样优化方法、装置、设备及存储介质，该采样优化方法包括：获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；基于所述每个图像样本的特征构建概率函数；基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。本申请实施例，可以对不同场景的目标模型的训练样本的采样概率进行优化，进而可以提升模型的训练效率及模型性能。进而可以提升模型的训练效率及模型性能。进而可以提升模型的训练效率及模型性能。

【技术实现步骤摘要】
采样优化方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体而言，涉及一种采样优化方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，各类深度学习模型逐渐开始应用。在深度学习模型的训练过程中，训练样本的采样概率，是提升深度学习模型的训练效率和模型性能的重要手段。如，重要性采样通过增大损失函数大的样本的采样概率，提升了训练速度。
[0003]然而，现有的采样方法(如重要性采样)主要用于简单样本比较多的场景，因此，对不同场景的深度学习模型的训练任务，如何进行训练样本的采样概率的优化，是亟待解决的重要问题。

技术实现思路

[0004]本公开实施例至少提供一种采样优化方法、装置、电子设备及存储介质。
[0005]第一方面，本公开实施例提供了一种采样优化方法，包括：
[0006]获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；
[0007]对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采样优化方法，其特征在于，包括：获取训练样本数据集，所述训练样本数据集包括具有标签的图像样本；对所述训练样本数据集进行初始采样，基于采样结果对目标模型进行训练，得到预训练的目标模型，并基于所述预训练的目标模型确定每个图像样本的特征；基于所述每个图像样本的特征构建概率函数；基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率。2.根据权利要求1所述的方法，其特征在于，所述概率函数包含超参数，所述基于所述概率函数以及所述预训练的目标模型，确定所述每个图像样本的目标采样概率，包括：通过贝叶斯优化对所述概率函数进行超参数随机搜索，确定初优化超参数，并基于所述初优化超参数得到所述每个图像样本的初优化的采样概率；基于所述每个图像样本的初优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行微训练，得到微训练结果；所述微训练是指训练迭代次数少于预设的总训练次数的训练；基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率。3.根据权利要求2所述的方法，其特征在于，所述基于所述微训练结果以及所述总的训练次数，确定所述每个图像样本的目标采样概率，包括：基于所述微训练结果，通过贝叶斯优化对所述概率函数进行超参数搜索，得到次优化超参数，并基于所述次优化参数得到所述每个图像样本的次优化的采样概率；基于所述每个图像样本的次优化的采样概率，对所述训练样本数据集进行采样，基于采样结果对所述预训练的目标模型进行所述微训练，得到微训练结果；重复上述步骤，直到各个微训练的次数总和大于或等于所述预设的总的训练次数，根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率。4.根据权利要求3所述的方法，其特征在于，所述根据每次微训练得到的微训练结果，确定所述每个图像样本的目标采样概率，包括：将各个微训练结果中微训练结果最好所对应的每个图像样本的采样概率，确定为所述每个图像样本的目标采...

【专利技术属性】
技术研发人员：李楚鸣，刘宇，王晓刚，
申请(专利权)人：上海商汤科技开发有限公司，
类型：发明
国别省市：