数据样本的均衡分布方法、装置及存储介质制造方法及图纸

本申请提供一种数据样本的均衡分布方法、装置及存储介质，该方法不仅对不同类别的样本添加不同的类别权重，而且考虑同一类别内数据样本之间本身存在差异，在样本层面对样本施加样本权重，使得同一类别内的样本的权重不同，能够一方面增大样本数量少的类别的作用，一方面缩小样本数量少的类别与样本数量多的类别之间的差异，从而整体有效缓解由于数据分布不均衡引起的模型的失衡。另外，本申请实施例根据网络训练过程中样本的输出结果来动态地设置每个样本的样本权重，不局限于给每个样本设置相同的权重，从而更好地调整样本对于网络的贡献，有效缓解样本分布不均衡对于模型性能的影响。

【技术实现步骤摘要】
数据样本的均衡分布方法、装置及存储介质
本申请涉及人工智能技术，尤其涉及一种数据样本的均衡分布方法、装置及存储介质。
技术介绍
随着神经网络至深度学习等人工智能(AI)领域技术的快速发展，人们已经能够使用这些AI技术来实现对周围环境的感知功能。例如，在自动驾驶中，可以利用神经网络对搭载于车辆上的摄像头所采集的图像进行目标检测，从而识别其属性。示例性的，对司机仪容仪表进行评价，需要对车辆上的摄像头所采集的图像进行检测，例如检测司机发型是否正常、是否戴眼镜墨镜、是否戴口罩、面部是否有明显伤痕等，从而，识别其属性，对其进行分类等，以便后续基于其属性确定司机状态，进而，避免司机处于异常状态时驾驶车辆。其中，想要获得高准确率的识别结果，需要首先对所使用的神经网络进行训练。例如，如需要使用神经网络对图像进行识别得到目标物体及其属性，则需要首先利用数据集(或称为训练集)对该神经网络进行训练，从而利用训练好的神经网络进行目标属性识别、分类等。然而，数据集中数据样本分布不均衡，例如，上述对司机仪容仪表进行评价，在发型数据集中奇异发型数据非常少，正常发型的数据非常多，使得训练好的神经网络不能很好进行目标属性识别、分类等。
技术实现思路
为解决现有技术中存在的问题，本申请提供一种数据样本的均衡分布方法、装置及存储介质。第一方面，本申请实施例提供一种数据样本的均衡分布方法，所述数据样本用于训练神经网络，所述数据样本为图像样本，所述方法包括：获取目标类别内的数据样本在所述神经网络训练过程中样本的输出结果；根据所述输出结果确定所述数据样本的样本权重；根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重；基于所述目标权重，对所述数据样本进行均衡分布处理。在一种可能的实现方式中，所述根据所述输出结果确定所述数据样本的样本权重，包括：通过第一权重函数和所述输出结果，确定所述样本权重；其中，所述第一权重函数是根据所述输出结果、所述数据样本对应的预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。在一种可能的实现方式中，上述的方法，还包括：判断所述数据样本的数量是否低于预设数量下限；若所述数量低于所述预设数量下限，则获取所述数据样本对应的预设结果；所述根据所述输出结果确定所述数据样本的样本权重，包括：根据所述预设结果和所述输出结果，确定所述样本权重。在一种可能的实现方式中，上述的方法，还包括：判断所述数据样本的数量是否高于预设数量上限；若所述数量高于所述预设数量上限，则确定所述数据样本对所述神经网络训练的影响参量；所述根据所述输出结果确定所述数据样本的样本权重，包括：根据所述影响参量和所述输出结果，确定所述样本权重。在一种可能的实现方式中，所述根据所述预设结果和所述输出结果，确定所述样本权重，包括：计算所述输出结果和所述预设结果之间差异；基于所述差异，确定所述样本权重。在一种可能的实现方式中，所述基于所述差异，确定所述样本权重，包括：通过第二权重函数和所述差异，确定所述样本权重；其中，所述第二权重函数是根据所述输出结果、所述预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。在一种可能的实现方式中，所述确定所述数据样本对所述神经网络训练的影响参量，包括：获得所述输出结果与所述数据样本对应的预设结果之间的差异；根据所述差异和所述神经网络的当前训练状态，确定所述影响参量。在一种可能的实现方式中，在所述根据所述影响参量和所述输出结果，确定所述样本权重之后，还包括：判断所述样本权重是否低于预设权重阈值；若所述样本权重低于所述预设权重阈值，则将相应数据样本设置为不再参与所述神经网络训练的数据样本。在一种可能的实现方式中，所述根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重，包括：计算所述样本权重和所述目标类别的类别权重的乘积；将所述乘积作为所述目标权重。在一种可能的实现方式中，所述图像样本为人脸图像样本。第二方面，本申请实施例提供一种神经网络的训练方法，包括：利用如第一方面所述的方法处理后的数据样本，对所述神经网络进行训练。第三方面，本申请实施例提供一种数据样本的均衡分布装置，所述数据样本用于训练神经网络，所述数据样本为图像样本，所述装置包括：第一获取模块，用于获取目标类别内的数据样本在所述神经网络训练过程中样本的输出结果；第一确定模块，用于根据所述输出结果确定所述数据样本的样本权重；第二确定模块，用于根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重；处理模块，用于基于所述目标权重，对所述数据样本进行均衡分布处理。在一种可能的实现方式中，所述第一确定模块，具体用于：通过第一权重函数和所述输出结果，确定所述样本权重；其中，所述第一权重函数是根据所述输出结果、所述数据样本对应的预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。在一种可能的实现方式中，上述的装置，还包括：第一判断模块，用于判断所述数据样本的数量是否低于预设数量下限；第二获取模块，用于若所述数量低于所述预设数量下限，则获取所述数据样本对应的预设结果；所述第一确定模块，具体用于：根据所述预设结果和所述输出结果，确定所述样本权重。在一种可能的实现方式中，上述的装置，还包括：第二判断模块，用于判断所述数据样本的数量是否高于预设数量上限；第三确定模块，用于若所述数量高于所述预设数量上限，则确定所述数据样本对所述神经网络训练的影响参量；所述第一确定模块，具体用于：根据所述影响参量和所述输出结果，确定所述样本权重。在一种可能的实现方式中，所述第一确定模块根据所述预设结果和所述输出结果，确定所述样本权重，包括：计算所述输出结果和所述预设结果之间差异；基于所述差异，确定所述样本权重。在一种可能的实现方式中，所述第一确定模块基于所述差异，确定所述样本权重，包括：通过第二权重函数和所述差异，确定所述样本权重；其中，所述第二权重函数是根据所述输出结果、所述预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。在一种可能的实现方式中，所述第三确定模块，具体用于：若所述数量高于所述预设数量上限，则获得所述输出结果与所述数据样本对应的预设结果之间的差异；根据所述差异和所述神经网络的当前训练状态，确定所述影响参量。在一种可能的实现方式中，在所述第一确定模块根据所述影响参量和所述输出结果，确定所述样本权重之后，还包括：第三判断模块，用于判断所述样本权重是否低于预设权重阈值；设置模块，用于若所述样本权重低于本文档来自技高网...

【技术保护点】
1.一种数据样本的均衡分布方法，其特征在于，所述数据样本用于训练神经网络，所述数据样本为图像样本，所述方法包括：/n获取目标类别内的所述数据样本在所述神经网络训练过程中样本的输出结果；/n根据所述输出结果确定所述数据样本的样本权重；/n根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重；/n基于所述目标权重，对所述数据样本进行均衡分布处理。/n

【技术特征摘要】
1.一种数据样本的均衡分布方法，其特征在于，所述数据样本用于训练神经网络，所述数据样本为图像样本，所述方法包括：
获取目标类别内的所述数据样本在所述神经网络训练过程中样本的输出结果；
根据所述输出结果确定所述数据样本的样本权重；
根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重；
基于所述目标权重，对所述数据样本进行均衡分布处理。


2.根据权利要求1所述的方法，其特征在于，所述根据所述输出结果确定所述数据样本的样本权重，包括：
通过第一权重函数和所述输出结果，确定所述样本权重；
其中，所述第一权重函数是根据所述输出结果、所述数据样本对应的预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。


3.根据权利要求1或2所述的方法，其特征在于，还包括：
判断所述数据样本的数量是否低于预设数量下限；
若所述数量低于所述预设数量下限，则获取所述数据样本对应的预设结果；
所述根据所述输出结果确定所述数据样本的样本权重，包括：
根据所述预设结果和所述输出结果，确定所述样本权重。


4.根据权利要求1或2所述的方法，其特征在于，还包括：
判断所述数据样本的数量是否高于预设数量上限；
若所述数量高于所述预设数量上限，则确定所述数据样本对所述神经网络训练的影响参量；
所述根据所述输出结果确定所述数据样本的样本权重，包括：
根据所述影响参量和所述输出结果，确定所述样本权重。


5.根据权利要求3所述的方法，其特征在于，所述根据所述预设结果和所述输出结果，确定所述样本权重，包括：
计算所述输出结果和所述预设结果之间差异
基于所述差异，确定所述样本权重。


6.根据权利要求5所述的方法，其特征在于，所述基于所述差异，确定所述样本权重，包括：
通过第二权重函数和所述差异，确定所述样本权重；
其中，所述第二权重函数是根据所述输出结果、所述预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。


7.根据权利要求4所述的方法，其...

【专利技术属性】
技术研发人员：王艳，张修宝，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11