数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：基于初始神经网络模型获取第一候选任务的噪声衡量指标；基于第一候选任务的噪声衡量指标，获取第一候选任务的采样概率；从第一候选任务中选取采样概率满足第一选取条件的参考任务；基于参考任务更新初始神经网络模型的参数，基于参数更新后的神经网络模型学习目标任务，得到目标神经网络模型，目标神经网络模型用于数据处理。通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率，基于此种采样概率从候选任务中选取的参考任务的可靠性较高，有利于提高模型的参数的更新质量，从而提高数据处理的准确性。的准确性。的准确性。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
，特别涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的发展，数据处理的方法越来越多，例如，先基于元学习的模型训练过程获取一个模型，然后利用该模型进行数据处理。元学习是解决小样本问题常用的方法，利用基于元学习的模型训练过程，能够在较少数据的基础上训练得到一个性能较好的模型。
[0003]相关技术中，基于元学习的模型训练过程包括：通过均匀采样的方式从候选任务中选取任务，基于选取的任务更新神经网络模型的参数，基于参数更新后的模型学习目标任务，获取目标神经网络模型。
[0004]均匀采样的方式赋予不同的候选任务相同的采样概率，难以保证选取的任务的可靠性，容易导致模型的参数的更新质量不佳，基于参数更新后的模型难以较为准确的学习目标任务，得到的目标神经网络模型的质量较差，利用目标神经网络模型难以对与目标任务匹配的数据进行较为准确的处理。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法、装置、设备及存储介质，可用于提高数据处理的准确性。所述技术方案如下：
[0006]一方面，本申请实施例提供了一种数据处理方法，所述方法包括：
[0007]基于初始神经网络模型获取第一候选任务的噪声衡量指标，所述噪声衡量指标用于衡量所述第一候选任务对更新所述初始神经网络模型的参数的干扰程度，所述第一候选任务为与待学习的目标任务匹配的任务；
[0008]基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率；从所述第一候选任务中选取采样概率满足第一选取条件的参考任务；
[0009]基于所述参考任务更新所述初始神经网络模型的参数；基于参数更新后的神经网络模型学习所述目标任务，得到目标神经网络模型，所述目标神经网络模型用于数据处理。
[0010]还提供了一种数据处理方法，所述方法包括：
[0011]获取与目标任务匹配的待处理数据以及目标神经网络模型，所述目标神经网络模型通过上述任一所述的数据处理方法得到；
[0012]调用所述目标神经网络模型对所述待处理数据进行处理，得到所述待处理数据对应的处理结果。
[0013]另一方面，提供了一种数据处理装置，所述装置包括：
[0014]第一获取单元，用于基于初始神经网络模型获取第一候选任务的噪声衡量指标，所述噪声衡量指标用于衡量所述第一候选任务对更新所述初始神经网络模型的参数的干
扰程度，所述第一候选任务为与待学习的目标任务匹配的任务；
[0015]第二获取单元，用于基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率；从所述第一候选任务中选取采样概率满足第一选取条件的参考任务；
[0016]更新单元，用于基于所述参考任务更新所述初始神经网络模型的参数；
[0017]第三获取单元，用于基于参数更新后的神经网络模型学习所述目标任务，得到目标神经网络模型，所述目标神经网络模型用于数据处理。
[0018]在一种可能实现方式中，所述第一候选任务对应有训练数据和测试数据；所述第一获取单元，用于基于所述第一候选任务对应的训练数据和所述初始神经网络模型，获取所述第一候选任务对应的任务处理模型；利用所述第一候选任务对应的测试数据对所述第一候选任务对应的任务处理模型进行测试，得到所述第一候选任务对应的任务处理模型的测试性能；基于所述第一候选任务对应的训练数据获取所述初始神经网络模型的参数对应的第一更新梯度；基于所述第一候选任务对应的测试数据获取所述初始神经网络模型的参数对应的第二更新梯度；基于所述第一更新梯度与所述第二更新梯度之间的相似性以及所述第一候选任务对应的任务处理模型的测试性能，获取所述第一候选任务的噪声衡量指标。
[0019]在一种可能实现方式中，所述第一候选任务对应有训练数据和测试数据；所述第一获取单元，用于基于所述第一候选任务对应的训练数据和所述初始神经网络模型，获取所述第一候选任务对应的任务处理模型；利用所述第一候选任务对应的测试数据对所述第一候选任务对应的任务处理模型进行测试，得到所述第一候选任务对应的任务处理模型的测试性能；基于所述第一候选任务对应的任务处理模型的测试性能，获取所述初始神经网络模型的参数对应的二阶更新梯度，将所述二阶更新梯度作为所述第一候选任务的噪声衡量指标。
[0020]在一种可能实现方式中，所述第二获取单元，用于调用目标调度模型基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率。
[0021]在一种可能实现方式中，所述第二获取单元，用于调用所述目标调度模型对当前参数更新轮数进行编码，得到第一编码信息；对所述第一候选任务的噪声衡量指标进行编码，得到第二编码信息；对所述第一编码信息和所述第二编码信息进行拼接，得到目标编码信息；基于所述目标编码信息预测所述第一候选任务的采样概率。
[0022]在一种可能实现方式中，所述第二获取单元，还用于调用初始调度模型基于第二候选任务的噪声衡量指标，获取所述第二候选任务的初始采样概率；从所述第二候选任务中选取初始采样概率满足第二选取条件的初始任务；
[0023]所述更新单元，还用于基于所述初始任务和所述初始神经网络模型，获取待验证模型；基于验证任务获取所述待验证模型的验证性能，基于所述验证性能获取所述初始调度模型的参数对应的第三更新梯度；基于所述第三更新梯度更新所述初始调度模型的参数，得到所述目标调度模型。
[0024]在一种可能实现方式中，所述验证任务对应有训练数据和测试数据；所述更新单元，还用于基于所述验证任务对应的训练数据对所述待验证模型进行训练，得到所述验证任务对应的任务处理模型；利用所述验证任务对应的测试数据对所述验证任务对应的任务处理模型进行测试，得到所述验证任务对应的任务处理模型的测试性能；基于所述验证任
务对应的任务处理模型的测试性能，获取所述待验证模型的验证性能。
[0025]在一种可能实现方式中，所述第二获取单元，还用于获取样本任务的样本噪声衡量指标以及所述样本任务的标准采样概率；调用初始调度模型基于所述样本噪声衡量指标，获取所述样本任务的初始采样概率；
[0026]所述更新单元，还用于基于所述样本任务的初始采样概率和标准采样概率，获取目标损失；基于所述目标损失获取所述初始调度模型的参数对应的第四更新梯度；基于所述第四更新梯度更新所述初始调度模型的参数，得到所述目标调度模型。
[0027]在一种可能实现方式中，所述第二获取单元，用于基于噪声衡量指标与采样概率之间的映射关系，将所述第一候选任务的噪声衡量指标映射为所述第一候选任务的采样概率。
[0028]在一种可能实现方式中，所述参考任务的数量为至少一个，任一参考任务对应有训练数据和测试数据；所述更新单元，用于基于所述任一参考任务对应的训练数据和所述初始神经网络模型，获取所述任一参考任务对应的任务处理模型；利用所述任一参考任务对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：基于初始神经网络模型获取第一候选任务的噪声衡量指标，所述噪声衡量指标用于衡量所述第一候选任务对更新所述初始神经网络模型的参数的干扰程度，所述第一候选任务为与待学习的目标任务匹配的任务；基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率；从所述第一候选任务中选取采样概率满足第一选取条件的参考任务；基于所述参考任务更新所述初始神经网络模型的参数；基于参数更新后的神经网络模型学习所述目标任务，得到目标神经网络模型，所述目标神经网络模型用于数据处理。2.根据权利要求1所述的方法，其特征在于，所述第一候选任务对应有训练数据和测试数据；所述基于初始神经网络模型获取第一候选任务的噪声衡量指标，包括：基于所述第一候选任务对应的训练数据和所述初始神经网络模型，获取所述第一候选任务对应的任务处理模型；利用所述第一候选任务对应的测试数据对所述第一候选任务对应的任务处理模型进行测试，得到所述第一候选任务对应的任务处理模型的测试性能；基于所述第一候选任务对应的训练数据获取所述初始神经网络模型的参数对应的第一更新梯度；基于所述第一候选任务对应的测试数据获取所述初始神经网络模型的参数对应的第二更新梯度；基于所述第一更新梯度与所述第二更新梯度之间的相似性以及所述第一候选任务对应的任务处理模型的测试性能，获取所述第一候选任务的噪声衡量指标。3.根据权利要求1所述的方法，其特征在于，所述第一候选任务对应有训练数据和测试数据；所述基于初始神经网络模型获取第一候选任务的噪声衡量指标，包括：基于所述第一候选任务对应的训练数据和所述初始神经网络模型，获取所述第一候选任务对应的任务处理模型；利用所述第一候选任务对应的测试数据对所述第一候选任务对应的任务处理模型进行测试，得到所述第一候选任务对应的任务处理模型的测试性能；基于所述第一候选任务对应的任务处理模型的测试性能，获取所述初始神经网络模型的参数对应的二阶更新梯度，将所述二阶更新梯度作为所述第一候选任务的噪声衡量指标。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率，包括：调用目标调度模型基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率。5.根据权利要求4所述的方法，其特征在于，所述调用目标调度模型基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率，包括：调用所述目标调度模型对当前参数更新轮数进行编码，得到第一编码信息；对所述第一候选任务的噪声衡量指标进行编码，得到第二编码信息；对所述第一编码信息和所述第二编码信息进行拼接，得到目标编码信息；基于所述目标编码信息预测所述第一候选任务的采样概率。6.根据权利要求4所述的方法，其特征在于，所述调用目标调度模型基于所述第一候选
任务的噪声衡量指标，获取所述第一候选任务的采样概率之前，所述方法还包括：调用初始调度模型基于第二候选任务的噪声衡量指标，获取所述第二候选任务的初始采样概率；从所述第二候选任务中选取初始采样概率满足第二选取条件的初始任务；基于所述初始任务和所述初始神经网络模型，获取待验证模型；基于验证任务获取所述待验证模型的验证性能，基于所述验证性能获取所述初始调度模型的参数对应的第三更新梯度；基于所述第三更新梯度更新所述初始调度模型的参数，得到所述目标调度模型。7.根据权利要求6所述的方法，其特征在于，所述验证任务对应有训练数据和测试数据；所述基于验证任务获取所述待验证模型的验证性能，包括：基于所述验证任务对应的训练数据对所述待验证模型进行训练，得到所述验证任务对应的任务处理模型；利用所述验证任务对应的测试数据对所述验证任务对应的任务处理模型进行测试，得到所述验证任务对应的任务处理模型的测试性能；基于所述验证任务对应的任务处理模型的测试性能，获取所述待验证模型的验证性能。8.根据权利要求4所述的方法，其特征在于，所述调用目标调度模型基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率之前，所述方法还包括：获取样本任务的样本噪声衡量指标以及所述样本任务的标准采样概率；调用初始调度模型基于所述样本噪声衡量指标，获取所述样本任务的初始采样概率；基于所述样本任务的初始采样概率和标准采样概率，获取目标损失；基于所述目标损失获取所述初始调度模型的参数对应的第四更新梯度；基于所述第四更新梯度更新所述初始调度模型的参数，得到所述目标调度模型。9.根据权利要求1
‑
3任一所述的方法，其特征在于，所述基于所述第一候选任务的噪声衡量指标，获取所述第一候选任务的采样概率，包括：基于噪声衡量指标与采样概率之间的映射关系，将所述第一候选任务的噪声衡量指标映射为所述第一候选任务的采样概率。10.根据权利要求1
‑
3、5
‑
8任一所述的方法，其特征在于，所述参考任务的数量为至少一个，任一参考任务对应有训练数据和测试数据；所述基于所述参考...

【专利技术属性】
技术研发人员：杨云桥，魏颖，黄隆锴，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：