数据处理方法、装置及存储介质制造方法及图纸

本公开是关于一种数据处理方法、装置及存储介质。该方法可以包括：将训练集中的各个已标注训练数据输入待训练的预定模型，更新预定模型的模型参数；将验证集中的各个已标注验证数据输入模型参数更新后的预定模型，得到第一预测标签；根据第一预测标签与已标注验证数据的标注标签的差异得到验证损失值；根据预定模型当前的结构参数，确定辅助损失值；根据验证损失值和辅助损失值，确定是否停止训练预定模型，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。这样，在增加辅助损失值后，能使输出结果的取值向辅助损失值的导数方向移动，使各输出结果趋近设定参数值，进而减小输出结果的离散化偏差。

【技术实现步骤摘要】
数据处理方法、装置及存储介质
本公开涉及神经网络
，尤其涉及一种数据处理方法、装置及存储介质。
技术介绍
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。其主要依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。通过神经网络数据处理，例如，数据分类、语音分析和图像识别等领域有着广泛的应用。但是，目前基于神经网络输出的结果存在离散化偏差，会导致训练后的模型精度不高。
技术实现思路
本公开提供一种数据处理方法、装置及存储介质。根据本公开实施例的第一方面，提供一种数据处理方法，包括：将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；根据所述预定模型当前的结构参数，确定辅助损失值；根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。可选的，所述方法还包括：利用激活函数对所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；所述根据所述预定模型当前的结构参数，确定辅助损失值，包括：>根据所述归一化后的当前的结构参数，确定所述辅助损失值。可选的，所述根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型，包括：根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。可选的，所述在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成目标网络模型；基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。可选的，所述基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。可选的，所述模型参数还包括：网络参数；所述将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，包括：将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；基于所述训练损失值，更新所述预定模型的所述网络参数；将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。根据本公开实施例的第二方面，提供一种数据处理装置，包括：第一更新模块，配置为将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；第一获取模块，配置为将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；第二获取模块，配置为根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；第一确定模块，配置为根据所述预定模型当前的结构参数，确定辅助损失值；第二确定模块，配置为根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；分类模块，配置为在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。可选的，所述装置还包括：第一处理模块，配置为利用激活函数对所述所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；所述一确定模块，还配置为：根据所述归一化后当前的结构参数，确定所述辅助损失值。可选的，所述第二确定模块，还配置为：根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。可选的，所述装置还包括：第二处理模块，配置为在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；第三确定模块，配置为从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；构成模块，配置为基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成目标网络模型；所述分类模块，还配置为基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。可选的，所述分类模块，还配置为：将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。可选的，所述模型参数还包括：网络参数；所述第一更新模块，还配置为：将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；基于所述训练损失值，更新所述预定模型的所述网络参数；将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。根据本公开实施例的第三方面，提供一种数据处理装置，包括：处理器；配置为存储处理器可执行指令的存储器；其中，所述处理器配置为：执行时实现上述任一种数据处理方法中的步骤。根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据处理装置的处理器执行时，使得所述装置能够执行上述任一种数据处理方法。本公开的实施例提供的技术方案可以包括以下有益效果：由上述实施例可知，本公开可以根据预定模型当前的结构参数，确定辅助损本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；/n将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；/n根据所述第一预测标签与所述已标注验证数据的标注标签的差异，得到验证损失值；/n根据所述预定模型当前的结构参数，确定辅助损失值；/n根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；/n在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
根据所述第一预测标签与所述已标注验证数据的标注标签的差异，得到验证损失值；
根据所述预定模型当前的结构参数，确定辅助损失值；
根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用激活函数对所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述根据所述预定模型当前的结构参数，确定辅助损失值，包括：
根据所述归一化后的当前的结构参数，确定所述辅助损失值。


3.根据权利要求1所述的方法，其特征在于，所述根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型，包括：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。


4.根据权利要求1所述的方法，其特征在于，所述在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
从所述训练后的预定模型中，确定出所述归一化结构参数值大于设定参数阈值的网络结构；
基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成所述目标网络模型；
基于所述目标网络模型对所述待分类数据进行分类，得到所述分类结果。


5.根据权利要求1所述的方法，其特征在于，所述基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；
其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。


6.根据权利要求1所述的方法，其特征在于，所述模型参数还包括：网络参数；
所述将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，包括：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异，得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。


7.一种数据处理装置，其特征在于，包括：
第一更新模块，配置为将训练集中的各个已标注训练数据输入待训练的预定模...

【专利技术属性】
技术研发人员：初祥祥，张勃，周天宝，王斌，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11