数据处理方法、装置及设备制造方法及图纸

本申请提供一种数据处理方法、装置及设备，包括：确定学习模型的各个参数的初始值和调整因子的初始值；其中，调整因子用于调整各个参数的大小和/或各个参数构成的向量的方向；获取多个小样本学习任务；根据多个小样本学习任务更新各个参数的初始值和调整因子的初始值，分别得到各个参数的更新值和调整因子的更新值；获取待测试的学习任务；待测试的学习任务包括：多个第一训练数据和至少一个第一测试数据；根据各个参数的更新值、调整因子的更新值和多个第一训练数据确定待测试的学习任务对应的各个参数的数值；对每个第一测试数据采用各个参数的数值对应的学习模型确定对应的待测试结果。从而可以降低过拟合的问题，进而提高预测精度。

【技术实现步骤摘要】
数据处理方法、装置及设备
本申请涉及计算机
，尤其涉及一种数据处理方法、装置及设备。
技术介绍
目前，机器学习已经取得了很大成功，大多数的机器学习依赖于大量的训练数据。然而在很多领域中，无法获取大量的训练数据。例如：智能驾驶领域、医疗领域等都无法获取大量的训练数据，或者若要获取大量的训练数据需要付出很大代价。因此，利用小样本的训练数据进行机器学习有巨大的商业价值。小样本机器学习和传统机器学习可应用范围是一样的，包括分类、回归、增强学习、机器翻译、自然对话等等。元-学习(Meta-Learning)是小样本机器学习的一种学习方式。元-学习主要从众多的历史小样本学习任务中学习如何进行小样本机器学习。元-学习的主要任务在于学习一种机器学习算法(Meta-Learner)，该机器学习算法能够从小样本学习任务中训练出一个学习模型(Learner)。该学习模型用于待测试的学习任务的预测。即对测试数据采用该学习模型可以预测该测试数据对应的测试结果。其中上述机器学习算法可以是随机梯度下降(StochasticGradientDescent，SGD)等。上述学习模型可以是卷积神经网络(ConvolutionalNeuralNetwork，CNN)，也可以是一个连续的回归函数等。现有技术的无关元学习(ModelAgnosticMetaLearning，MAML)中，采用SGD公式确定学习模型的各个参数的数值θ′i。其中表示第i个小样本学习任务。θ表示学习模型的各个参数的初始值。α表示调整数值。该调整数值用于调整各个参数的大小。f为学习模型。表示第i个小样本学习任务的训练损失关于的θ梯度。通过该SGD公式仅仅只能调整各个参数的大小，并且各个参数每次的调整大小都是固定的α。在小样本机器学习中，由于训练数据较少，沿着固定方向、固定大小调整各个参数，通过调整后的各个参数对应的学习模型进行预测时，容易造成过拟合的问题。即通过该学习模型，训练数据之间的关系很容易影响预测结果。进而造成预测精度较低的问题。
技术实现思路
本申请提供一种数据处理方法、装置及设备。通过该方法可以降低过拟合的问题，进而提高预测精度。第一方面，本申请提供一种数据处理方法，包括：确定学习模型的各个参数的初始值和调整因子的初始值；其中，调整因子用于调整各个参数的大小和/或各个参数构成的向量的方向；获取多个小样本学习任务；根据多个小样本学习任务更新各个参数的初始值和调整因子的初始值，分别得到各个参数的更新值和调整因子的更新值；获取待测试的学习任务；其中，待测试的学习任务包括：多个第一训练数据和至少一个第一测试数据；根据各个参数的更新值、调整因子的更新值和多个第一训练数据确定待测试的学习任务对应的各个参数的数值；对每个第一测试数据采用各个参数的数值对应的学习模型确定每个第一测试数据对应的待测试结果。本申请提供的数据处理方法，可以联合动态更新各个参数以及调整因子，使得各个参数不是固定调整的，而是随着调整因子的更新，各个参数在不断地动态调整，从而使得通过各个参数对应的学习模型进行预测时，可以降低过拟合的问题，进而提高预测精度。可选地，多个小样本学习任务被划分为M组小样本学习任务，M为大于或者等于1的正整数。相应的，根据多个小样本学习任务更新各个参数的初始值和调整因子的初始值，分别得到各个参数的更新值和调整因子的更新值，包括：步骤1：根据各个参数的初始值、调整因子的初始值和多组小样本学习任务的第j组小样本学习任务确定各个参数的第一中间值和调整因子的中间值。步骤2：判断第j组小样本学习任务的更新结果是否满足预设条件；若更新结果满足预设条件，则执行步骤3；否则，则执行步骤4。步骤3：将各个参数的第一中间值作为各个参数的更新值，并将调整因子的中间值作为调整因子的更新值。步骤4：将各个参数的第一中间值作为各个参数的新的初始值，并将调整因子的中间值作为调整因子的新的初始值，令j＝j+1，并执行步骤1。通过多组小样本学习任务可以有效地确定各个参数的更新值和调整因子的更新值。可选地，每个小样本学习任务包括：多个第二训练数据、至少一个第二测试数据和每个第二测试数据对应的测试结果；相应的，根据各个参数的初始值、调整因子的初始值和第j组小样本学习任务确定各个参数的第一中间值和调整因子的中间值，包括：根据各个参数的初始值和第j组小样本学习任务中的第i个小样本学习任务的多个第二训练数据确定第i个小样本学习任务的训练损失；根据各个参数的初始值、调整因子的初始值和第i个小样本学习任务的训练损失确定各个参数的第二中间值；根据各个参数的第二中间值、第i个小样本学习任务的每个第二测试数据和每个第二测试数据对应的测试结果确定第i个小样本学习任务的测试损失；其中i＝1,2……N，其中N为第j组小样本学习任务包括的小样本学习任务的个数；根据调整因子的初始值、各个参数的初始值和第j组小样本学习任务中的每个小样本学习任务的测试损失确定各个参数的第一中间值和调整因子的中间值。通过小样本学习任务可以有效地确定确定各个参数的第一中间值和调整因子的中间值。可选地，每个第二训练数据包括：特征数据和标签数据，特征数据与第一测试数据对应，标签数据与待测试结果对应；相应的，根据各个参数的初始值和第j组小样本学习任务中的第i个小样本学习任务的多个第二训练数据确定第i个小样本学习任务的训练损失，包括：对第i个小样本学习任务的每个特征数据采用各个参数的初始值对应的学习模型预测每个特征数据对应的标签数据的预测数据；根据第i个小样本学习任务的每个标签数据和每个标签数据对应的预测数据确定第i个小样本学习任务的训练损失。即通过该方法可以有效的确定第i个小样本学习任务的训练损失。可选地，根据各个参数的第二中间值、第i个小样本学习任务的至少一个第二测试数据和每个第二测试数据对应的测试结果确定第i个小样本学习任务的测试损失，包括：对第i个小样本学习任务的每个第二测试数据采用所述各个参数的第二中间值对应的学习模型预测每个第二测试数据对应的测试结果的预测数据；根据第i个小样本学习任务的每个测试结果和每个测试结果对应的预测数据确定第i个小样本学习任务的测试损失。即通过该方法可以有效的确定第i个小样本学习任务的测试损失。可选地，判断第j组小样本学习任务的更新结果是否满足预设条件，包括：判断各个参数的第一中间值的确定次数以及调整因子的中间值的确定次数是否均达到预设次数；或者，判断各个参数的第一中间值和各个参数的初始值的差值的绝对值是否小于第一预设值，且调整因子的中间值和调整因子的初始值的差值的绝对值是否小于第二预设值。可选地，根据各个参数的更新值、调整因子的更新值和多个第一训练数据确定待测试的学习任务对应的各个参数的数值，包括：根据各个参数的更新值和待测试的学习任务的多个第一训练数据确定待测试的学习任务的训练损失；根据各个参数的更新值、调整因子的更新值和待测试的学习任务的训练损失确定待测试的学习任务对应的各个参数的数值。即通过该方法可以有效的确定待测试的学习任务对应的各个参数的数值。从而使得通过各个参数对应的学习模型进行预测时，可以降低过拟合的问题，进而提高预测精度。下面将介绍专利技术实施例提供一种数据处理装置，其中装置部分与上述方法对应，对应内容技本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：确定学习模型的各个参数的初始值和调整因子的初始值；其中，所述调整因子用于调整所述各个参数的大小和/或所述各个参数构成的向量的方向；获取多个小样本学习任务；根据所述多个小样本学习任务更新所述各个参数的初始值和所述调整因子的初始值，分别得到所述各个参数的更新值和所述调整因子的更新值；获取待测试的学习任务；其中，所述待测试的学习任务包括：多个第一训练数据和至少一个第一测试数据；根据所述各个参数的更新值、所述调整因子的更新值和所述多个第一训练数据确定所述待测试的学习任务对应的所述各个参数的数值；对每个第一测试数据采用所述各个参数的数值对应的学习模型确定所述每个第一测试数据对应的待测试结果。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：确定学习模型的各个参数的初始值和调整因子的初始值；其中，所述调整因子用于调整所述各个参数的大小和/或所述各个参数构成的向量的方向；获取多个小样本学习任务；根据所述多个小样本学习任务更新所述各个参数的初始值和所述调整因子的初始值，分别得到所述各个参数的更新值和所述调整因子的更新值；获取待测试的学习任务；其中，所述待测试的学习任务包括：多个第一训练数据和至少一个第一测试数据；根据所述各个参数的更新值、所述调整因子的更新值和所述多个第一训练数据确定所述待测试的学习任务对应的所述各个参数的数值；对每个第一测试数据采用所述各个参数的数值对应的学习模型确定所述每个第一测试数据对应的待测试结果。2.根据权利要求1所述的方法，其特征在于，所述多个小样本学习任务被划分为M组小样本学习任务，M为大于或者等于1的正整数；相应的，所述根据所述多个小样本学习任务更新所述各个参数的初始值和所述调整因子的初始值，分别得到所述各个参数的更新值和所述调整因子的更新值，包括：步骤1：根据所述各个参数的初始值、所述调整因子的初始值和所述多组小样本学习任务的第j组小样本学习任务确定所述各个参数的第一中间值和所述调整因子的中间值；步骤2：判断所述第j组小样本学习任务的更新结果是否满足预设条件；若所述更新结果满足所述预设条件，则执行步骤3；否则，则执行步骤4；步骤3：将所述各个参数的第一中间值作为所述各个参数的更新值，并将所述调整因子的中间值作为所述调整因子的更新值；步骤4：将所述各个参数的第一中间值作为所述各个参数的新的初始值，并将所述调整因子的中间值作为所述调整因子的新的初始值，令j＝j+1，并执行步骤1。3.根据权利要求2所述的方法，其特征在于，每个小样本学习任务包括：多个第二训练数据、至少一个第二测试数据和每个第二测试数据对应的测试结果；相应的，所述根据所述各个参数的初始值、所述调整因子的初始值和第j组小样本学习任务确定所述各个参数的第一中间值和所述调整因子的中间值，包括：根据所述各个参数的初始值和所述第j组小样本学习任务中的第i个小样本学习任务的多个第二训练数据确定所述第i个小样本学习任务的训练损失；根据所述各个参数的初始值、所述调整因子的初始值和所述第i个小样本学习任务的训练损失确定所述各个参数的第二中间值；根据所述各个参数的第二中间值、所述第i个小样本学习任务的每个第二测试数据和每个第二测试数据对应的测试结果确定所述第i个小样本学习任务的测试损失；其中i＝1,2……N，其中N为所述第j组小样本学习任务包括的小样本学习任务的个数；根据所述调整因子的初始值、所述各个参数的初始值和所述第j组小样本学习任务中的每个小样本学习任务的测试损失确定所述各个参数的第一中间值和所述调整因子的中间值。4.根据权利要求3所述的方法，其特征在于，每个第二训练数据包括：特征数据和标签数据，所述特征数据与所述第一测试数据对应，所述标签数据与所述待测试结果对应；相应的，所述根据所述各个参数的初始值和所述第j组小样本学习任务中的第i个小样本学习任务的多个第二训练数据确定所述第i个小样本学习任务的训练损失，包括：对所述第i个小样本学习任务的每个特征数据采用所述各个参数的初始值对应的学习模型预测所述每个特征数据对应的标签数据的预测数据；根据第i个小样本学习任务的每个标签数据和所述每个标签数据对应的预测数据确定所述第i个小样本学习任务的训练损失。5.根据权利要求3或4所述的方法，其特征在于，所述根据所述各个参数的第二中间值、所述第i个小样本学习任务的至少一个第二测试数据和每个第二测试数据对应的测试结果确定所述第i个小样本学习任务的测试损失，包括：对所述第i个小样本学习任务的每个第二测试数据采用所述各个参数的第二中间值对应的学习模型预测所述每个第二测试数据对应的测试结果的预测数据；根据第i个小样本学习任务的每个测试结果和所述每个测试结果对应的预测数据确定所述第i个小样本学习任务的测试损失。6.根据权利要求2-5任一项所述的方法，其特征在于，所述判断所述第j组小样本学习任务的更新结果是否满足预设条件，包括：判断所述各个参数的第一中间值的确定次数以及所述调整因子的中间值的确定次数是否均达到预设次数；或者，判断所述各个参数的第一中间值和所述各个参数的初始值的差值的绝对值是否小于第一预设值，且所述调整因子的中间值和所述调整因子的初始值的差值的绝对值是否小于第二预设值。7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述各个参数的更新值、所述调整因子的更新值和所述多个第一训练数据确定所述待测试的学习任务对应的所述各个参数的数值，包括：根据所述各个参数的更新值和所述待测试的学习任务的多个第一训练数据确定所述待测试的学习任务的训练损失；根据所述各个参数的更新值、所述调整因子的更新值和所述待测试的学习任务的训练损失确定所述待测试的学习任务对应的所述各个参数的数值。8.一种数据处理装置，其特征在于，包括：第一确定模块，用于确定学习模型的各个参数的初始值和调整因子的初始值；其中，所述调整因子用于调整所述各个参数的大小和/或所述各个参数构成的向量的方向；第一获取模块，用于获取多个小样本学习任务；更新模块，用于根据所述多个小样本学习任务更新所述各个参数的初始值和所述调整因子的初始值，分别得到所述各个参数的更新值和所述调整因子的更新值；第二获取模块，用于获取待测试的学习任务；其中，所述待测试的学习任务包括：多个第一训练数据和至少一个第一测试数据；第二确定模块，用于根据所述各个参数的更新值、所述调整因子的更新值和所述多个第一训练数据确定所述待测试的学习任务对应的所述各个参数的数值；第三确定模块，用于对每个第一测试数据采用所述各个参数的数值对应的学习模型确定所述每个第一测试数据对应的待测试结果。9.根据权利要求8所述的装置，其特征在于，所述多个小样本学习任务被划分为M组小样本学习任务，M为大于或者等于1的正整数；相应的，所述更新模块具体用于：步骤1：根据所述各个参数的初始值、所述调整因子的初始值和所述多组小样本学习任务的第j组小样本学习任务确定所述各个参数的第一中间值和所述调整因子的中间值；步骤2：判断所述第j组小样本学习任务的更新结果是否满足预设条件；若所述更新结果满足所述预设条件，则执行步骤3；否则，则执行步骤4；步骤3：将所述各个参数的第一中间值作为所述各个参数的更新值，并将所述调整因子的中间值作为所述调整因子的更新值；步骤4：将所述各个参数的第一中间值作为所述各个参数的新的初始值，并将所述调整因子的中间值作为所述调整因子的新的初始值，令j＝j+1，并执行步骤1。10.根据权利要求9所述的装置，其特征在于，每个小样本学习任务包括：多个第二训练数据、至少一个第二测试数据和每个第二测试...

【专利技术属性】
技术研发人员：李震国，陈飞，周峰暐，李航，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44