数据处理方法和数据处理设备技术

本申请实施例公开了一种数据处理方法，用于精炼数据集，在数据集删减比例一定时提升训练精度。包括：获取原始数据集并根据样本的类别标签确定包括第一分类数据集和第二分类数据集的多个分类数据集；确定第一分类数据集的第一离散程度和第二分类数据集的第二离散程度；根据第一离散程度和第二离散程度确定第一分类数据集的第一样本删减比例和第二分类数据集的第二样本删减比例，若第一离散程度大于第二离散程度，则第一样本删减比例小于第二样本删减比例，若第一离散程度小于或等于第二离散程度，则第一样本删减比例大于或等于第二样本删减比例；根据样本删减比例确定目标数据集，包括第一分类数据集保留的样本和第二分类数据集保留的样本。

【技术实现步骤摘要】
数据处理方法和数据处理设备本申请要求于2019年9月18日提交中国专利局、申请号为201910883282.7、专利技术名称为“数据处理方法和数据处理设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及机器学习领域，特别涉及一种数据处理方法和数据处理设备。
技术介绍
深度学习是机器学习中的一个分支，深度学习模型需要输入数据集进行训练，由于数据集的样本数量大，训练时间通常较长。现有技术中，在进行训练之前，对数据集进行精炼，对于数据集中每个标签类别的分类数据集，提前设定一定的丢弃比例进行样本删减，得到精炼后的数据集，根据该精炼后的数据集进行模型训练以降低训练时长。由于现有技术中，通过对分类数据集预先设定丢弃比例进行删减，若不同的分类数据集的样本差异较大，按照同样的预设删减比例进行删减，将使得在数据集删减比例一定的条件下，模型训练精度较低。
技术实现思路
本申请实施例提供了一种数据处理方法，用于精炼数据集，可以在数据集删减比例一定的条件下，提升训练精度。本申请实施例第一方面提本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取原始数据集；/n根据所述原始数据集中样本的类别标签，确定多个分类数据集；/n所述多个分类数据集包括第一分类数据集和第二分类数据集；/n确定所述第一分类数据集的第一离散程度和所述第二分类数据集的第二离散程度；/n根据所述第一离散程度和所述第二离散程度确定所述第一分类数据集的第一样本删减比例和所述第二分类数据集的第二样本删减比例，若所述第一离散程度大于所述第二离散程度，则所述第一样本删减比例小于所述第二样本删减比例，若所述第一离散程度小于或等于所述第二离散程度，则所述第一样本删减比例大于或等于所述第二样本删减比例；/n确定第一目标数据集，所述第一目标...

【技术特征摘要】
20190918 CN 20191088328271.一种数据处理方法，其特征在于，包括：
获取原始数据集；
根据所述原始数据集中样本的类别标签，确定多个分类数据集；
所述多个分类数据集包括第一分类数据集和第二分类数据集；
确定所述第一分类数据集的第一离散程度和所述第二分类数据集的第二离散程度；
根据所述第一离散程度和所述第二离散程度确定所述第一分类数据集的第一样本删减比例和所述第二分类数据集的第二样本删减比例，若所述第一离散程度大于所述第二离散程度，则所述第一样本删减比例小于所述第二样本删减比例，若所述第一离散程度小于或等于所述第二离散程度，则所述第一样本删减比例大于或等于所述第二样本删减比例；
确定第一目标数据集，所述第一目标数据集包括所述第一分类数据集保留的样本和所述第二分类数据集保留的样本，所述第一分类数据集保留的样本根据所述第一样本删减比例、所述第一分类数据集的样本量和预设的第一样本删减总量确定，所述第二分类数据集保留的样本根据所述第二样本删减比例、所述第二分类数据集的样本量和预设的样本删减总量确定。


2.根据权利要求1所述的方法，其特征在于，
所述第一离散程度为根据所述第一分类数据集中所有样本的特征向量确定的第一平均散度；所述第二离散程度为根据所述第二分类数据集中所有样本的特征向量确定的第二平均散度。


3.根据权利要求2所述的方法，其特征在于，
所述第一平均散度为第一相对熵KL散度或第一杰森香农JS散度的平均值，所述第一KL散度为所述第一分类数据集中任意两个样本的特征向量的KL散度，所述第一JS散度为所述第一分类数据集中任意两个样本的特征向量的JS散度；
所述第二平均散度为第二KL散度或第二JS散度的平均值，所述第二KL散度为所述第二分类数据集中任意两个样本的特征向量的KL散度，所述第二JS散度为所述第二分类数据集中任意两个样本的特征向量的JS散度。


4.根据权利要求2所述的方法，其特征在于，所述根据所述第一离散程度和所述第二离散程度确定所述第一分类数据集的第一样本删减比例和所述第二分类数据集的第二样本删减比例包括：
确定所述多个分类数据集中每个分类数据集的散度之和；
确定所述第一散度与所述散度之和的比例，以及所述第二散度与所述散度之和的比例；
根据所述第一散度与所述散度之和的比例、所述第二散度与所述散度之和的比例、所述第一分类数据集的样本量、所述第二分类数据集的样本量和预设的样本删减总量，确定所述第一样本删减比例与所述第二样本删减比例。


5.根据权利要求4所述的方法，其特征在于，所述预设的样本删减总量根据预设的总样本删减比例和所述原始数据集的样本总量确定。


6.根据权利要求1所述的方法，其特征在于，所述第一离散程度与所述第一样本删减比例负相关，所述第二离散程度与所述第二样本删减比例负相关。


7.根据权利要求1所述的方法，其特征在于，所述确定第一目标数据集包括：
根据所述第一样本删减比例和所述第一分类数据集的样本量确定所述第一分类数据集的第一样本删减量；
根据所述第二样本删减比例和所述第二分类数据集的样本量确定所述第二分类数据集的第二样本删减量；
基于所述第一样本删减量从所述第一分类数据集删减样本，以确定所述第一分类数据集保留的样本，所述第一分类数据集保留的样本的密度均值小于所述第一分类数据集的样本的密度均值；
基于所述第二样本删减量从所述第二分类数据集删减样本，以确定所述第二分类数据集保留的样本，所述第二分类数据集保留的样本的密度均值小于所述第二数据集的样本的密度均值；
所述密度均值为根据局部异常因子LOF算法计算的样本的异常度的均值。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将根据预设的第一样本删减总量确定的所述第一目标数据集输入神经网络训练模型的第一训练周期；
将根据预设的第二样本删减总量确定的第二目标数据集输入神经网络训练模型的第二训练周期，所述预设的第一样本删减总量与所述预设的第二样本删减总量不同。


9.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：
将所述第一目标数据集输入神经网络训练模型的第一训练周期，所述第一目标数据集包括第一训练样本；
获取所述第一训练样本输入所述第一训练周期的第一损失和/或第一判错率，所述第一判错率为所述第一训练样本的错判次数与训练次数之比；
在所述第一损失和/或所述第一判错率满足预设条件的情况下，将所述第一训练样本输入第二训练周期，所述第二训练周期为所述第一训练周期的下一个训练周期。


10.一种数据处理方法，其特征在于，包括：
获取第一训练样本输入第一训练周期的第一损失和/或第一判错率，所述第一判错率为所述第一训练样本的错判次数与训练次数之比，所述第一训练样本为训练数据集中的样本；
在所述第一损失和/或所述第一判错率满足预设条件的情况下，将所述第一训练样本输入第二训练周期，所述第二训练周期为所述第一训练周期的下一个训练周期。


11.根据权利要求10所述的方法，其特征在于，所述在所述第一损失和/或所述第一判错率满足预设条件的情况下，将所述第一训练样本输入第二训练周期包括：
若所述第一损失大于第一阈值，则将所述第一训练样本输入第二训练周期；或者，
若所述第一判错率大于第二阈值，则确定将所述第一训练样本输入第二训练周期。


12.根据权利要求11所述的方法，其特征在于，所述第一阈值为预设值，或者根据所述训练数据集的预设移除量和所有输入所述第一训练周期的样本的损失确定的阈值。


13.根据权利要求11所述的方法，其特征在于，所述第二阈值为预设值，或者根据所述训练数据集的预设移除量和输入所述第一训练周期的所有样本的判错率确定的阈值。


14.根据权利要求10所述的方法，其特征在于，所述若所述第一损失和/或所述第一判错率满足预设条件，则确定将所述第一训练样本输入第二训练周期包括：
根据所述第一损失和所述第一判错率确定所述第一训练样本的移除概率；
若所述移除概率小于第三阈值，则确定将所述第一训练样本输入第二训练周期。


15.根据权利要求14所述的方法，其特征在于，所述第三阈值为预设值，或者根据输入所述第一训练周期的所有样本的损失、判错率、密度以及输入所述下一个训练周期的样本的预设移除量确定的阈值，所述密度为所述样本在根据样本类别标签确定的分类数据集中的密度。


16.根据权利要求10所述的方法，其特征在于，所述在所述第一损失和/或所述第一判错率满足预设条件的情况下，将所述第一训练样本输入第二训练周期包括：
获取输入所述第一训练周期的所有样本的损失的平均值和判错率的平均值；
根据所述第一损失是否小于所述损失的平均值，以及所述第一判错率是否小于所述判错率的平均值，确定所述第一训练样本的目标组别，所述目标组别包括第一分组、第二分组、第三分组或第四分组，所述第一分组的样本的损失大于或等于所述损失的平均值，所述第一分组的样本的判错率大于或等于所述判错率的平均值；所述第二分组的样本的损失大于或等于所述损失的平均值，所述第二分组的样本的判错率小于所述判错率的平均值；所述第三分组的样本的损失小于所述损失的平均值，所述第三分组的样本的判错率小于所述判错率的平均值；所述第四分组的样本的损失小于所述损失的平均值，所述第四分组的样本的判错率大于或等于所述判错率的平均值；
根据所述目标组别的样本量和预设的所述目标组别的样本移除比例，确定所述目标组别的样本移除量，所述第一分组的移除比例小于所述第二分组的移除比例和所述第四分组的移除比例，所述第三分组的移除比例大于所述第二分组的移除比例和所述第四分组的移除比例；
根据所述第一损失和所述第一判错率确定所述第一训练样本的移除概率；
若所述第一训练样本的移除概率小于预设阈值，则确定将所述第一训练样本输入第二训练周期，所述概率阈值根据所述目标组别的所有样本的损失、判错率和所述目标组别的样本移除量确定。


17.一种数据处理装置，其特征在于，包括：
获取模块，用于获取原始数据集；
确定模块，用于根据所述原始数据集中样本的类别标签，确定多个分类数据集，所述多个分类数据集包括第一分类数据...

【专利技术属性】
技术研发人员：姜奕祺，应江勇，王君，朱雄威，薛洵，陈雷，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44