有监督学习的标注异常处理方法、装置、存储介质及设备制造方法及图纸

本申请提供一种有监督学习的标注异常处理方法、装置、存储介质及设备，方法应用于深度学习的训练系统，方法包括：S11：基于样本集中的第一样本子集构建的第一元训练装置分别计算当前N个分类模型中每个分类模型对应的第一下降梯度；其中，N为大于0的整数；S12:基于当前N个第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，并将更新后获得的元模型确定为第二元模型；其中，第一样本子集与第二样本子集在样本集的基础上采用不同的采样方式分别获得；S13：判断综合梯度的值是否不再下降，若是，将当前的第二元模型确定为目标模型；若否，基于所述样本集中的新的第一样本子集重复S11和S12，以提高目标模型的通用性和准确性。

【技术实现步骤摘要】
有监督学习的标注异常处理方法、装置、存储介质及设备
本申请涉及深度学习
，具体而言，涉及一种有监督学习的标注异常处理方法、装置、存储介质及设备。
技术介绍
深度学习技术广泛的实际应用到现实生活中，如人脸识别、语音识别和智能客服等方面。深度学习模型通常由一组神经网络构成，在应用之前都需要经过训练系统进行样本训练，以提高学习的准确性。基于是否需要提前对训练样本打上标签，可以将训练过程分为有监督训练和无监督训练，有监督的训练需要提前准备好打上类别标签的样本，如一张图片属于“水果”还是“动物”。基于深度学习的训练系统采用梯度下降法更新模型参数，训练过程中从样本集每次取一小批样本出来训练更新参数，每一批样本数量可以是数个样本也可以是数千个，直到取完所有样本算完成一轮训练，训练过程中往往需要重复多轮训练，直到没办法朝着梯度下降的方向更新参数。现有技术中，难以避免出现错误的样本标注，这种标注异常的样本会使得模型做出较大的参数调整以适应该样本，从而降低模型对标注正常的样本预测的置信度，因此需要降低标注异常的样本对模型的影响。
技术实现思路
本申请的目的在于提供一种有监督学习的标注异常处理方法、装置、存储介质及设备，用以有效的改善现有技术解决标注异常中存在的通用性差和准确率不高的技术缺陷。第一方面，本申请实施例提供了一种有监督学习的标注异常处理方法，方法应用于深度学习的训练系统，方法包括以下步骤：S11：基于样本集中的第一样本子集构建的第一元训练装置分别计算当前N个分类模型中每个分类模型对应的第一下降梯度；其中，N为大于0的整数；S12:基于当前N个第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，并将更新后获得的元模型确定为第二元模型；其中，第一样本子集与第二样本子集在样本集的基础上采用不同的采样方式分别获得，元模型用于定义深度学习的训练系统的神经网络架构，元训练装置用于根据样本集训练元模型，分类模型为基于第二样本子集构建的第二元训练装置训练获得，每个分类模型分别对应一个第二训练装置；S13：判断综合梯度的值是否不再下降，若是，将当前的第二元模型确定为目标模型；若否，基于所述样本集中的新的第一样本子集重复S11和S12。在上述实现过程中，采用元模型作为目标模型，在训练过程中使用基于样本集中的多个第二样本子集训练获得多个分类模型，在这个训练过程中不能直接更新目标模型参数，从而，样本集中即使存在标注异常的样本也无法直接影响目标模型的参数，减少训练系统存在的异常波动问题；使用基于样本集中的一个第一样本子集在多个分类模型上计算下降梯度，再综合所有分类模型上的下降梯度获得综合梯度，根据获得的综合梯度更新元模型后获得目标模型，使用综合梯度的方式更新元模型的参数，最大程度消除了异常样本对目标模型的影响。结合第一方面，在第一种可能的实现方式中，在步骤S11之前，方法还包括：基于样本集中的若干个第二样本子集构建出L个第二元训练装置，其中，L为大于0的整数；基于当前第一元模型拷贝构建M个第一元模型副本，确定每个第二元训练装置对应一个第一元模型副本，其中，M为大于0的整数，第一元模型副本分别与对应的第一元模型参数结构一致；每个第二元训练装置分别对对应的第一元模型副本以梯度下降的方式更新参数，获得当前每个第二元训练装置对应的分类模型，共N个。在上述实现过程中，基于若干个第二样本子集构建的分别对应的第二元训练装置训练元模型从而获得对应的分类模型，这是基于拷贝第一元模型得到的第一元模型副本进行的，从而，即使某一批样本数据有问题，存在异常样本，也无法直接影响目标模型的参数，从而减小了异常样本对目标模型的波动影响。结合第一方面，在第二种可能的实现方式中，步骤S12中，基于当前N个第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，并将更新后获得的元模型确定为第二元模型，具体包括：从样本集中采样一组样本确定为当前第一样本子集，根据当前第一样本子集构建当前第一元训练装置；当前第一元训练装置分别对当前对应的每个分类模型计算梯度，获得当前每个分类模型对应的第一下降梯度；根据当前所有的第一下降梯度，确定出当前的综合梯度，并使用当前的综合梯度对第一元模型朝着梯度下降的方向更新参数，将更新后的元模型确定为第二元模型。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，根据当前所有的第一下降梯度，确定出当前的综合梯度，包括：获得当前所有的第一下降梯度；使用加法、求均值或非加法中的任一种方式对当前所有的第一下降梯度进行梯度综合，确定出当前的综合梯度。结合第一方面，在第四种可能的实现方式中，S13中，判断综合梯度的值是否不再下降，若是，将当前的第二元模型确定为目标模型；若否，基于样本集中的新的第一样本子集重复S11和S12，具体包括：获得当前综合梯度，判断当前综合梯度的值是否不再下降，若是，将当前的第二元模型确定为目标模型；若否，将当前的第二元模型更新确定成为新的第一元模型，并使用样本集中的新的第一样本子集构建新的第一元训练装置以重复S11和S12。结合第一方面，在第五种可能的实现方式中，在S13之后，方法还包括：使用目标模型对未知样本集预测对应的标签，检验目标模型的准确性，其中，未知样本集用于表示未参与训练系统中的训练过程的样本集。第二方面，本申请实施例提供了一种有监督学习的标注异常处理装置，装置包括：计算模块，用于基于样本集中的第一样本子集构建的第一元训练装置分别计算当前N个分类模型中每个分类模型对应的第一下降梯度，其中，N为大于0的整数；运算模块，用于基于当前N个第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，将更新后获得的元模型确定为第二元模型，其中，第一样本子集与第二样本子集在样本集的基础上采用不同的采样方式分别获得，元模型用于定义深度学习的训练系统的神经网络架构，元训练装置用于根据样本集训练元模型，分类模型为基于第二样本子集构建的第二元训练装置训练获得，每个分类模型分别对应一个第二训练装置；判断模块，用于判断综合梯度的值是否不再下降；第一处理模块，用于在综合梯度的值不再下降时，将当前的第二元模型确定为目标模型；第二处理模块，用于在综合梯度的值下降时，基于样本集中的新的第一样本子集重复执行计算模块和运算模块所执行的步骤。第三方面，本申请实施例提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被计算机运行时执行第一方面及第一方面任一种可能的实现方式提供的有监督学习的标注异常处理方法。第四方面，本申请实施例提供了一种电子设备，电子设备包括：处理器、通信总线、通信接口以及存储器；通信总线分别连接处理器、通信接口和存储器；存储器存储有计算机可读取指令，当处理器执行可读取指令时，运行如第一方面及第一方面任一种可能的实现方式提供的有监督学习的标注异常处理方法。与现有技术相比，本专利技术的有益效果为:一方面，本申请使用元模型作为目标模型，在训练中样本使用不同的样本更新对应的目标模型的副本，通过这样的新型训练结构使本文档来自技高网...

【技术保护点】
1.一种有监督学习的标注异常处理方法，所述方法应用于深度学习的训练系统，其特征在于，所述方法包括以下步骤：/nS11：基于样本集中的第一样本子集构建的第一元训练装置分别计算当前N个分类模型中每个所述分类模型对应的第一下降梯度；其中，N为大于0的整数；/nS12:基于当前N个所述第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，并将更新后获得的元模型确定为第二元模型；其中，所述第一样本子集与第二样本子集在所述样本集的基础上采用不同的采样方式分别获得，元模型用于定义深度学习的训练系统的神经网络架构，元训练装置用于根据所述样本集训练元模型，所述分类模型为基于所述第二样本子集构建的第二元训练装置训练获得，每个所述分类模型分别对应一个所述第二训练装置；/n S13：判断所述综合梯度的值是否不再下降，若是，将当前的第二元模型确定为目标模型；/n若否，基于所述样本集中的新的第一样本子集重复S11和S12。/n

【技术特征摘要】
1.一种有监督学习的标注异常处理方法，所述方法应用于深度学习的训练系统，其特征在于，所述方法包括以下步骤：
S11：基于样本集中的第一样本子集构建的第一元训练装置分别计算当前N个分类模型中每个所述分类模型对应的第一下降梯度；其中，N为大于0的整数；
S12:基于当前N个所述第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，并将更新后获得的元模型确定为第二元模型；其中，所述第一样本子集与第二样本子集在所述样本集的基础上采用不同的采样方式分别获得，元模型用于定义深度学习的训练系统的神经网络架构，元训练装置用于根据所述样本集训练元模型，所述分类模型为基于所述第二样本子集构建的第二元训练装置训练获得，每个所述分类模型分别对应一个所述第二训练装置；
S13：判断所述综合梯度的值是否不再下降，若是，将当前的第二元模型确定为目标模型；
若否，基于所述样本集中的新的第一样本子集重复S11和S12。


2.根据权利要求1所述的有监督学习的标注异常处理方法，其特征在于，在所述S11之前，所述方法还包括：
基于所述样本集中的若干个所述第二样本子集构建出L个所述第二元训练装置，其中，L为大于0的整数；
基于当前第一元模型拷贝构建M个第一元模型副本，确定每个第二元训练装置对应一个第一元模型副本，其中，M为大于0的整数，所述第一元模型副本分别与对应的第一元模型参数结构一致；
每个第二元训练装置分别对对应的第一元模型副本以梯度下降的方式更新参数，获得当前每个第二元训练装置对应的分类模型，共N个。


3.根据权利要求1所述的有监督学习的标注异常处理方法，其特征在于，所述S12中，基于当前N个所述第一下降梯度确定出的综合梯度对当前第一元模型朝着梯度下降的方向更新参数，并将更新后获得的元模型确定为第二元模型，具体包括：
从所述样本集中采样一组样本确定为当前第一样本子集，根据当前第一样本子集构建当前第一元训练装置；
当前所述第一元训练装置分别对当前对应的每个分类模型计算梯度，获得当前每个分类模型对应的第一下降梯度；
根据当前所有的第一下降梯度，确定出当前的综合梯度，并使用当前的综合梯度对第一元模型朝着梯度下降的方向更新参数，将更新后的元模型确定为第二元模型。


4.根据权利要求3所述的有监督学习的标注异常处理方法，其特征在于，所述根据当前所有的第一下降梯度，确定出当前的综合梯度，包括：
获得当前所有的第一下降梯度；
使用加法、求均值或非加法中的任一种方式对当前所有的第一下降梯度进行...

【专利技术属性】
技术研发人员：张翀，江岭，黄鹏，
申请(专利权)人：成都晓多科技有限公司，
类型：发明
国别省市：四川;51