一种数据处理方法、装置、系统及存储介质制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置、系统及存储介质，方法包括：从训练集中获取预定数量的训练数据作为当前轮训练数据子集，并基于当前轮训练数据子集对神经网络进行训练，确定当前轮的训练参数，当前轮训练数据子集包括N类训练样本集，N为正整数；根据训练参数确定下一轮训练数据子集中各类训练数据的占比；基于下一轮训练数据子集对神经网络进行训练，得到数据处理模型；利用数据处理模型对待处理数据进行分类，确定待处理数据的分类结果。根据本发明专利技术的方法、装置、系统及存储介质，通过计算当前轮训练的训练参数确定下一轮训练数据的各类数据的占比训练得到模型进行数据处理，提高了数据处理的效率和准确性。

【技术实现步骤摘要】
一种数据处理方法、装置、系统及存储介质
本专利技术涉及数据处理
，更具体地涉及图像处理。
技术介绍
目前基于深度学学习来进行数据处理应景普遍应用于各个方面，如图像处理中的人脸识别、行为识别等。而深度学习方法往往需要大量的训练数据，但实际应用中我们很可能由于条件限制等原因难以搜集到理想的数据，这时候就会出现所需的各类数据数量不均衡的情况，这对网络的收敛以及最终的效果都会产生影响。除此之外，即使所得数据各类已经达到了均衡，但对于用于数据处理的网络来说，部分类别可能是比较相近、或学习起来是十分困难的，在实际网络训练时，对于这些类别的准确率迟迟无法上升，影响网络的收敛速度，甚至影响网络最后对于这些类别的效果。因此，现有技术中的数据处理中效率低且准确性不高的问题。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种数据处理方法、装置、系统及计算机存储介质，通过计算当前轮训练的训练参数确定下一轮训练数据的各类数据的占比训练得到模型进行数据处理，提高了数据处理的效率和准确性。根据本专利技术的第一方面本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n对神经网络进行训练，得到数据处理模型；/n利用所述数据处理模型对待处理数据进行分类，确定所述待处理数据的分类结果；/n其中，所述对神经网络进行训练，得到数据处理模型，包括：/n从训练集中获取预定数量的训练数据作为当前轮训练数据子集，并基于所述当前轮训练数据子集对所述神经网络进行训练，确定当前轮的训练参数，所述当前轮训练数据子集包括N类训练样本集，N为正整数；/n根据所述训练参数确定下一轮训练数据子集中各类训练数据的占比；/n基于所述下一轮训练数据子集对所述神经网络进行训练，得到所述数据处理模型。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
对神经网络进行训练，得到数据处理模型；
利用所述数据处理模型对待处理数据进行分类，确定所述待处理数据的分类结果；
其中，所述对神经网络进行训练，得到数据处理模型，包括：
从训练集中获取预定数量的训练数据作为当前轮训练数据子集，并基于所述当前轮训练数据子集对所述神经网络进行训练，确定当前轮的训练参数，所述当前轮训练数据子集包括N类训练样本集，N为正整数；
根据所述训练参数确定下一轮训练数据子集中各类训练数据的占比；
基于所述下一轮训练数据子集对所述神经网络进行训练，得到所述数据处理模型。


2.如权利要求1所述的方法，其特征在于，根据所述训练参数确定下一轮训练数据子集中各类训练数据的占比，包括：
当所述训练参数满足预设条件时，计算所述当前轮训练数据子集的第k类训练样本集的平均误差，k＝1，2，……，N；
根据所述当前轮训练数据子集的第k类训练样本集的平均误差计算得到所述下一轮训练数据子集中各类训练数据的占比。


3.如权利要求2所述的方法，其特征在于，计算所述当前轮训练数据子集的第k类训练样本集的平均误差，包括：
计算所述当前轮训练数据子集中第k类训练样本集的每个样本的误差；
根据所述第k类训练样本集的数量和所述第k类训练样本集的每个样本的误差得到所述当前轮训练数据子集的第k类训练样本集的平均误差。


4.如权利要求2所述的方法，其特征在于，据所述当前轮训练数据子集的第k类训练样本集的平均误差计算得到所述下一轮训练数据子集中各类训练数据的占比，包括：
计算所述当前轮训练数据子集中的所述N类训练样本集的平均误差之和；
将所述第k类训练样本集的平均误差在所述N类训练样本集的平均误差之和中的占比作为所述下一轮训练数据子集中各类训练数据的...

【专利技术属性】
技术研发人员：叶年进，王光甫，蒋霆，刘帅成，
申请(专利权)人：成都旷视金智科技有限公司，北京旷视科技有限公司，
类型：发明
国别省市：四川;51