一种模型训练及图数据的处理方法、装置、介质及设备制造方法及图纸

本说明书公开了一种模型训练及图数据的处理方法、装置、介质及设备。生成对抗网络包含目标模型和对抗模型。通过将根据图数据确定的各训练样本输入目标模型，得到目标模型对各训练样本的预测结果，并根据预测结果和各训练样本的标注，确定目标模型对各训练样本进行预测的损失，作为第一损失。将各训练样本输入对抗模型，通过对抗模型模拟对各训练样本的分布进行调整。以根据第一损失预估目标模型对模拟出的调整分布后的各训练样本进行预测的损失，作为第二损失。以第二损失最小为目标训练目标模型，并以第二损失最大为目标训练对抗模型。通过生成对抗网络中目标模型与对抗模型间对抗性训练方式，最大化目标模型的最低性能，提升目标模型鲁棒性。目标模型鲁棒性。目标模型鲁棒性。

【技术实现步骤摘要】
一种模型训练及图数据的处理方法、装置、介质及设备


[0001]本说明书涉及机器学习
，尤其涉及一种模型训练及图数据的处理方法、装置、介质及设备。

技术介绍

[0002]目前，用户对自己的隐私数据越来越关注。在机器学习领域，在训练模型时采用的训练数据，与在使用训练后的模型执行任务时应用的任务数据通常存在差异。
[0003]若训练数据与任务数据间的差异使得训练数据与任务数据存在分布差异，在根据任务数据进行预测时，模型会出行性能下降的情况。
[0004]特别是在数据为图结构的数据时，由于能够导致不同图数据间存在差异的因素更多样，于是训练数据与任务数据间更容易出现分布差异，模型的性能更难以得到保持。
[0005]因此，如何保障在根据不同分布的图数据进行预测时模型的性能是亟需解的问题。

技术实现思路

[0006]本说明书提供一种模型训练及图数据的处理方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。
[0007]本说明书采用下述技术方案：
[0008]本说明书提供了一种模型训练方法，生成对抗网络包含目标模型和对抗模型，所述方法包括：
[0009]根据图数据确定各训练样本，并获取所述各训练样本的标注；
[0010]将所述各训练样本输入所述目标模型，得到所述目标模型对所述各训练样本的预测结果，并根据所述预测结果和所述各训练样本的标注，确定所述目标模型对所述各训练样本进行预测的损失，作为第一损失；
[0011]将所述各训练样本输入对抗模型，以通过所述对抗模型模拟对所述各训练样本的分布进行调整；
[0012]根据所述第一损失，预估所述目标模型对模拟出的调整分布后的各训练样本进行预测的损失，作为第二损失；
[0013]以所述第二损失最小为目标，对所述目标模型进行训练，并以所述第二损失最大为目标，对所述对抗模型进行训练。
[0014]本说明书提供了一种图数据的处理方法，包括：
[0015]接收待处理图数据；
[0016]将所述待处理图数据输入训练后的目标模型；其中，所述目标模型为通过上述模型训练方法训练得到的生成对抗网络中的目标模型；
[0017]获得所述目标模型输出的对所述待处理图数据的处理结果。
[0018]本说明书提供了一种模型训练装置，生成对抗网络包含目标模型和对抗模型，所
述装置包括：
[0019]样本确定模块，用于根据图数据确定各训练样本，并获取所述各训练样本的标注；
[0020]预测模块，用于将所述各训练样本输入所述目标模型，得到所述目标模型对所述各训练样本的预测结果，并根据所述预测结果和所述各训练样本的标注，确定所述目标模型对所述各训练样本进行预测的损失，作为第一损失；
[0021]模拟模块，用于将所述各训练样本输入对抗模型，以通过所述对抗模型模拟对所述各训练样本的分布进行调整；
[0022]预估模块，用于根据所述第一损失，预估所述目标模型对模拟出的调整分布后的各训练样本进行预测的损失，作为第二损失；
[0023]训练模块，用于以所述第二损失最小为目标，对所述目标模型进行训练，并以所述第二损失最大为目标，对所述对抗模型进行训练。
[0024]本说明书提供了一种图数据的处理装置，包括：
[0025]接收模块，用于接收待处理图数据；
[0026]处理模块，用于将所述待处理图数据输入训练后的目标模型；其中，所述目标模型为通过上述模型训练方法训练得到的生成对抗网络中的目标模型；
[0027]预测模块，用于获得所述目标模型输出的对所述待处理图数据的处理结果。
[0028]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练或图数据的处理方法。
[0029]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练或图数据的处理方法。
[0030]本说明书采用的上述至少一个技术方案能够达到以下有益效果：
[0031]在本说明书提供的模型训练方法中，生成对抗网络包含目标模型和对抗模型。通过将根据图数据确定的各训练样本输入目标模型，得到目标模型对各训练样本的预测结果，并根据预测结果和各训练样本的标注，确定目标模型对各训练样本进行预测的损失，作为第一损失。将各训练样本输入对抗模型，通过对抗模型模拟对各训练样本的分布进行调整。以根据第一损失，预估目标模型对模拟出的调整分布后的各训练样本进行预测的损失，作为第二损失。最终，通过以第二损失最小为目标训练目标模型，并以第二损失最大为目标训练对抗模型。
[0032]从上述方法中可以看出，通过生成对抗网络中目标模型与对抗模型互相“较劲”式的对抗性训练方式，能够通过对抗模型模拟将训练样本的分布调整至使得目标模型性能最差的分布。并能够使得在输入目标模型的数据为使得目标模型性能最差的分布的数据时，实现最大化目标模型输出的预测结果的准确性。即，能够实现最大化目标模型的最低性能，提升目标模型的鲁棒性。
附图说明
[0033]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附
[0034]图中：
[0035]图1为本说明书中一种模型训练方法的流程示意图；
[0036]图2为本说明书提供的一种模型训练过程的示意图；
[0037]图3为本说明书提供的一种图数据的处理方法的流程示意图；
[0038]图4为本说明书提供的模型训练装置的示意图；
[0039]图5为本说明书提供的一种图数据的处理装置的示意图；
[0040]图6为本说明书提供的一种电子设备的结构示意图。
具体实施方式
[0041]在本说明书中，通过本说明书提供的模型训练方法训练得到目标模型。该模型训练方法可用于风控场景。该目标模型可用于输出风控结果。
[0042]为了至少部分解决现有问题，提升训练得到的目标模型在面临具体不同分布的数据时的性能，通过本说明书提供的模型训练方法，采用分布鲁棒优化法对目标模型进行训练，以提高训练得到的目标模型的性能下限。
[0043]在本说明书中，目标模型可为生成对抗网络中的分类器。该生成对抗网络中还可包括对抗器(后续称之为对抗模型)。在对目标模型进行训练时，该目标模型与对抗模型以相斥的训练目标进行训练。即，本说明书中以一种互相对抗的方式对目标模型与对抗模型进行训练，使得目标模型与对抗模型皆能够在对方为自身造成干扰的情况下，也能够训练得到优异的性能，能够具有更好的鲁棒性。
[0044]具体的，由于现有模型性能下降的原因为：在训练模型时作为训练样本的分布是固定的，而应用模型进行预测时的输入数据分布会改变。若能够在训练模型时采用具有不同分布的训练样本，则能够提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，生成对抗网络包含目标模型和对抗模型，所述方法包括：根据图数据确定各训练样本，并获取所述各训练样本的标注；将所述各训练样本输入所述目标模型，得到所述目标模型对所述各训练样本的预测结果，并根据所述预测结果和所述各训练样本的标注，确定所述目标模型对所述各训练样本进行预测的损失，作为第一损失；将所述各训练样本输入对抗模型，以通过所述对抗模型模拟对所述各训练样本的分布进行调整；根据所述第一损失，预估所述目标模型对模拟出的调整分布后的各训练样本进行预测的损失，作为第二损失；以所述第二损失最小为目标，对所述目标模型进行训练，并以所述第二损失最大为目标，对所述对抗模型进行训练。2.如权利要求1所述的方法，根据图数据确定各训练样本，具体包括：获取图数据；针对所述图数据中的每个节点，确定所述图数据中该节点对应的子图；根据该节点对应的子图确定训练样本。3.如权利要求1所述的方法，通过所述对抗模型模拟对所述各训练样本的分布进行调整，具体包括：通过所述对抗模型输出用于调整所述各训练样本的分布的扰动分布；根据所述第一损失，预估所述目标模型对调整分布后的各训练样本进行预测的损失，具体包括：根据所述第一损失和所述扰动分布，预估所述目标模型对调整分布后的各训练样本进行预测的损失。4.如权利要求3所述的方法，通过所述对抗模型输出用于调整所述各训练样本的分布的扰动分布，具体包括：针对每个训练样本，通过所述对抗模型输出用于调整该训练样本在所述各训练样本中出现概率的扰动权重；根据每个训练样本对应的扰动权重，得到用于调整所述各训练样本的分布的扰动分布。5.如权利要求4所述的方法，根据所述第一损失和所述扰动分布，预估所述目标模型对调整分布后的各训练样本进行预测的损失，具体包括：针对每个训练样本，根据所述扰动分布中该训练样本对应的扰动权重，对所述目标模型预测该训练样本的第一损失加权，得到该训练样本的加权损失；根据各训练样本的加权损失，预估所述目标模型对模拟出的调整分布后的各训练样本进行预测的损失。6.如权利要求1所述的方法，以所述第二损失最小为目标，对所述目标模型进行训练，并以所述第二损失最大为目标，对所述对抗模型进行训练，具体包括：固定所述对抗模型的参数，以所述第二损失最小为目标，调整所述目标模型的参数，并固定所述目标模型的参数，以所述第二损失最大为目标，调整所述对抗模型的参数。7.一种图数据的处理方法，包括：
接收待处理图数据；将所述待处理图数据输入训练后的目标模型；其中，所述目标模型为通过权利要求1～6任一项所述的方法训练得到的生成对抗网络中的目标模型；获得所述目标模型输出的对所述待处理图数据的处理结果。8.一种模型训练装置，生成对抗网络包含目标模型...

【专利技术属性】
技术研发人员：许轶珂，吴若凡，田胜，但家旺，王宝坤，孟昌华，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：