数据样本的均衡分布方法、装置及存储介质制造方法及图纸

本申请提供一种数据样本的均衡分布方法、装置及存储介质，该方法不仅对不同类别的样本添加不同的类别权重，而且考虑同一类别内数据样本之间本身存在差异，在样本层面对样本施加样本权重，使得同一类别内的样本的权重不同，能够一方面增大样本数量少的类别的作用，一方面缩小样本数量少的类别与样本数量多的类别之间的差异，从而整体有效缓解由于数据分布不均衡引起的模型的失衡。另外，本申请实施例根据网络训练过程中样本的输出结果来动态地设置每个样本的样本权重，不局限于给每个样本设置相同的权重，从而更好地调整样本对于网络的贡献，有效缓解样本分布不均衡对于模型性能的影响。

【技术实现步骤摘要】
数据样本的均衡分布方法、装置及存储介质
本申请涉及人工智能技术，尤其涉及一种数据样本的均衡分布方法、装置及存储介质。
技术介绍
随着神经网络至深度学习等人工智能(AI)领域技术的快速发展，人们已经能够使用这些AI技术来实现对周围环境的感知功能。例如，在自动驾驶中，可以利用神经网络对搭载于车辆上的摄像头所采集的图像进行目标检测，从而识别其属性。示例性的，对司机仪容仪表进行评价，需要对车辆上的摄像头所采集的图像进行检测，例如检测司机发型是否正常、是否戴眼镜墨镜、是否戴口罩、面部是否有明显伤痕等，从而，识别其属性，对其进行分类等，以便后续基于其属性确定司机状态，进而，避免司机处于异常状态时驾驶车辆。其中，想要获得高准确率的识别结果，需要首先对所使用的神经网络进行训练。例如，如需要使用神经网络对图像进行识别得到目标物体及其属性，则需要首先利用数据集(或称为训练集)对该神经网络进行训练，从而利用训练好的神经网络进行目标属性识别、分类等。然而，数据集中数据样本分布不均衡，例如，上述对司机仪容仪表进行评价，在发型数据集中奇异发型数据非常少，正本文档来自技高网...

【技术保护点】
1.一种数据样本的均衡分布方法，其特征在于，所述数据样本用于训练神经网络，所述数据样本为图像样本，所述方法包括：/n获取目标类别内的所述数据样本在所述神经网络训练过程中样本的输出结果；/n根据所述输出结果确定所述数据样本的样本权重；/n根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重；/n基于所述目标权重，对所述数据样本进行均衡分布处理。/n

【技术特征摘要】
1.一种数据样本的均衡分布方法，其特征在于，所述数据样本用于训练神经网络，所述数据样本为图像样本，所述方法包括：
获取目标类别内的所述数据样本在所述神经网络训练过程中样本的输出结果；
根据所述输出结果确定所述数据样本的样本权重；
根据所述样本权重和所述目标类别的类别权重，确定所述数据样本的目标权重；
基于所述目标权重，对所述数据样本进行均衡分布处理。


2.根据权利要求1所述的方法，其特征在于，所述根据所述输出结果确定所述数据样本的样本权重，包括：
通过第一权重函数和所述输出结果，确定所述样本权重；
其中，所述第一权重函数是根据所述输出结果、所述数据样本对应的预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。


3.根据权利要求1或2所述的方法，其特征在于，还包括：
判断所述数据样本的数量是否低于预设数量下限；
若所述数量低于所述预设数量下限，则获取所述数据样本对应的预设结果；
所述根据所述输出结果确定所述数据样本的样本权重，包括：
根据所述预设结果和所述输出结果，确定所述样本权重。


4.根据权利要求1或2所述的方法，其特征在于，还包括：
判断所述数据样本的数量是否高于预设数量上限；
若所述数量高于所述预设数量上限，则确定所述数据样本对所述神经网络训练的影响参量；
所述根据所述输出结果确定所述数据样本的样本权重，包括：
根据所述影响参量和所述输出结果，确定所述样本权重。


5.根据权利要求3所述的方法，其特征在于，所述根据所述预设结果和所述输出结果，确定所述样本权重，包括：
计算所述输出结果和所述预设结果之间差异
基于所述差异，确定所述样本权重。


6.根据权利要求5所述的方法，其特征在于，所述基于所述差异，确定所述样本权重，包括：
通过第二权重函数和所述差异，确定所述样本权重；
其中，所述第二权重函数是根据所述输出结果、所述预设结果，以及所述神经网络的训练目标和训练阶段中一个或多个确定的。


7.根据权利要求4所述的方法，其...

【专利技术属性】
技术研发人员：王艳，张修宝，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11