一种数据采样方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据采样方法、装置、电子设备及存储介质，包括：获取原始数据，其中，每个原始数据包括一个指标值及至少一个特征值，原始数据分为正样本及负样本，正样本的指标值大于预设阈值，负样本的指标值不大于预设阈值；根据负样本的指标值，将负样本分为多个群组；计算每个群组中负样本的特征值与正样本的特征值之间的差异值；根据差异值，将群组分为困难群组及非困难群组；对非困难群组进行分层采样，得到非困难样本，并将正样本、困难群组中的负样本及非困难样本作为原始数据的采样结果。这样，在采样过程中，不需要对全数量的原始数据进行处理，因此需要消耗的计算资源较少，耗时较少。耗时较少。耗时较少。

【技术实现步骤摘要】
一种数据采样方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理领域，尤其涉及一种数据采样方法、装置、电子设备及存储介质。

技术介绍

[0002]在一些场景中，经常需要按照某种规则，对原始数据进行采样，得到正样本和负样本，然后，利用正样本和负样本进行模型训练及验证，这样，训练得到的模型可以用于对待分析数据的指标数值二分类，即预测待分析数据的指标数值是否能达到某个阈值，比如，预测某个视频是否能达到预定的播放量，等等。
[0003]一些情况下，由于原始数据构成的复杂性，正负样本之间没有清晰明了的界限，在正负样本附近有很多不好分辨的“灰色地带”的数据，这些数据会导致模型的有偏学习，使得模型在少量样本上预测效果的失效。
[0004]现有技术中，可以采用多种算法，对原始数据进行下采样，以避免模型的有偏学习，比如，可以采用数据级的采样方法，基于距离的N近邻算法对原始数据进行下采样；或者，采用基于代价敏感学习的方法，为正负样本提供更高的权重，使得最终代价的数值计算朝向一个特定的方向偏置；另外，还可以采用集成学习算法的方法，将一种数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采样方法，其特征在于，包括：获取原始数据，其中，每个原始数据包括一个指标值及至少一个特征值，所述原始数据分为正样本及负样本，所述正样本的指标值大于预设阈值，所述负样本的指标值不大于所述预设阈值；根据所述负样本的指标值，将所述负样本分为多个群组；计算每个群组中负样本的特征值与所述正样本的特征值之间的差异值；根据所述差异值，将所述群组分为困难群组及非困难群组；对所述非困难群组进行分层采样，得到非困难样本，并将所述正样本、所述困难群组中的负样本及所述非困难样本作为所述原始数据的采样结果。2.根据权利要求1所述的数据采样方法，其特征在于，所述根据所述负样本的指标值，将所述负样本分为多个群组，包括：根据所述负样本的指标值及预设分组规则，将所述负样本分为多个群组；或，根据所述负样本的指标值，对所述负样本进行等值分段，将所述负样本分为预设数量个群组。3.根据权利要求1所述的数据采样方法，其特征在于，所述计算每个群组中负样本的特征值与所述正样本的特征值之间的差异值，包括：计算所述任一群组中各个负样本的任一特征值的第一统计参数；计算所述正样本的所述任一特征值的第二统计参数；计算所述第一统计参数与所述第二统计参数之间的欧氏距离，得到所述任一群组的所述任一特征值与所述正样本的所述任一特征值之间的目标差异值；对所述目标差异值求均值，并对均值结果进行归一化，得到所述任一群组中负样本的特征值与所述正样本的特征值之间的差异值。4.根据权利要求3所述的数据采样方法，其特征在于，所述第一统计参数及所述第二统计参数包括以下任意一项或多项：均值、方差、25分位数、50分位数以及75分位数。5.根据权利要求3所述的数据采样方法，其特征在于，所述对所述目标差异值求均值，并对均值结果进行归一化，得到所述任一群组中负样本的特征值与所述正样本的特征值之间的差异值，包括：根据每个特征值的预设权重，对所述目标差异值进行加...

【专利技术属性】
技术研发人员：吴曙楠，王方舟，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：