一种数据处理方法、系统、存储介质及电子设备技术方案

本发明专利技术公开了一种数据处理方法、系统、存储介质及电子设备，在迭代计算过程中，若当前迭代次数符合第一预设条件，将模型参数对本地模型参数进行更新，若当前迭代次数符合第二预设条件，将获取到的本地模型参数对本地模型参数进行更新，通过额外梯度算法将更新后的本地模型参数进行计算，得到随机梯度方向并确定目标模型参数，基于目标模型参数执行网络模型训练操作。通过上述方案，结合额外梯度算法和自适应学习速率，可同时实现在抗学习进行训练时自适应学习速率与分布式计算，降低对抗学习进行训练的局限性。此外，自适应学习速率的计算在本地上进行，无需设备之间进行通信，从而减轻工程师试错式的模型训练，提高工程实践效率。提高工程实践效率。提高工程实践效率。

【技术实现步骤摘要】
一种数据处理方法、系统、存储介质及电子设备


[0001]本专利技术涉及对抗学习
，更具体地说，涉及一种数据处理方法、系统、存储介质及电子设备。

技术介绍

[0002]对抗学习是一种机器学习方法。对抗学习实现的方法，是让两个网络相互竞争对抗，其中一个是生成器网络，它不断捕捉训练库里真实图片的概率分布，将输入的随机噪声转变成新的样本(假数据)，另一个是判别器网络，它可以同时观察真实和假造的数据，判断这个数据的真假。通过反复对抗，生成器和判别器的能力都会不断增强，直到达成一个平衡，最后生成器可生成高质量的、以假乱真的图片。
[0003]在对抗学习中，模型效果十分依赖所采用的学习速率，因此自适应的学习速率在实践中具有重要意义。自适应的学习速率不需要工程师手动调整学习速率，消除了模型学习中人为因素的干扰，因此也是实现可靠人工智能的重要技术。
[0004]由于对抗学习的数据集通常数量巨大，在训练时需要使用分布式的训练方式。另外。在对抗学习中，模型效果十分依赖所采用自适应学习速率。由于对抗学习的损失函数具有最小化
‑
最大化的结构，使得现有的技术方案无法同时实现自适应学习速率与分布式计算。
[0005]因此，在对抗学习进行训练的训练方式的局限性高。

技术实现思路

[0006]有鉴于此，本专利技术公开了一种数据处理方法、系统、存储介质及电子设备，实现降低了对抗学习进行训练的局限性和提高工程实践效率的目的。
[0007]为了实现上述目的，其公开的技术方案如下：/>[0008]本专利技术第一方面公开了一种数据处理方法，所述方法包括：
[0009]在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学习速率；
[0010]若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新；
[0011]若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新；
[0012]通过额外梯度算法，将更新后的本地模型参数进行计算，得到随机梯度方向，并基于所述随机梯度方向，确定目标模型参数；
[0013]基于所述目标模型参数，执行网络模型训练操作。
[0014]优选的，所述在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学
习速率，包括：
[0015]在迭代计算过程中，获取可行集的直径、预设梯度上界的估计值、预设基础学习速率和各个并行设备的当前迭代次数；
[0016]当所述当前迭代次数等于预设次数时，计算得到本地模型参数本地模型参数和本地模型参数
[0017]将所述可行集的直径、预设梯度上界的估计值、预设基础学习速率、各个并行设备的当前迭代次数、本地模型参数本地模型参数和本地模型参数进行计算，得到自适应学习速率。
[0018]优选的，所述若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新，包括：
[0019]将所述当前迭代次数与预设次数进行求差计算，得到差值；
[0020]若所述差值属于各个设备通信时间节点集合，则确定各个并行设备之间处于通信状态，所述各个设备通信时间节点集合由并行设备本地更新步数和总迭代数目确定，所述总迭代数目由并行设备间通信次数和并行设备本地更新的步数确定；
[0021]在各个并行设备之间处于通信状态下，使各个并行设备发送本地模型参数和所述自适应学习速率至中心设备，触发所述中心设备将所述本地模型参数所述自适应学习速率和预先获取到的并行设备数的总和进行加权平均计算，得到权重和加权平均后的模型参数所述加权平均后的模型参数由所述权重、所述获取到的本地模型参数和所述并行设备数的总和确定；
[0022]将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新。
[0023]优选的，所述若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新，包括：
[0024]将所述当前迭代次数与预设次数进行求差计算，得到差值；
[0025]若所述差值不属于各个并行设备通信时间节点集合，则确定各个并行设备之间处于非通信状态，所述各个设备通信时间节点集合由并行设备本地更新步数和总迭代数目确定，所述总迭代数目由并行设备间通信次数和并行设备本地更新的步数确定；
[0026]在各个设备之间处于非通信状态下，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数
[0027]将所述本地模型参数对所述本地模型参数进行更新。
[0028]优选的，在所述获取各个并行设备的当前迭代次数的自适应学习速率之前，还包括：
[0029]获取可行集的直径、预设基础学习速率和预设梯度上界的估计值；
[0030]对所述可行集的直径、所述预设基础学习速率和预设梯度上界的估计值进行初始
化计算，得到初始学习速率。
[0031]优选的，在所述获取各个并行设备的当前迭代次数的自适应学习速率之前，还包括：
[0032]初始化各个并行设备的本地模型参数。
[0033]本专利技术第二方面公开了一种数据处理系统，所述系统包括：
[0034]获取单元，用于在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学习速率；
[0035]第一更新单元，用于若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到权重和加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新；
[0036]第二更新单元，用于若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新；
[0037]确定单元，用于通过额外梯度算法，将更新后的本地模型参数进行计算，得到随机梯度方向，并基于所述随机梯度方向，确定目标模型参数；
[0038]执行单元，用于基于所述目标模型参数，执行网络模型训练操作。
[0039]优选的，所述获取单元，包括：
[0040]获取模块，用于获取可行集的直径、预设梯度上界的估计值、预设基础学习速率和各个并行设备的当前迭代次数；
[0041]第一计算模块，用于当所述当前迭代次数等于预设次数时，计算得到本地模型参数本地模型参数和本地模型参数
[0042]第二计算模块，用于将所述可行集的直径、预设梯度上界的估计值、预设基础学习速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学习速率；若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到权重和加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新；若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新；通过额外梯度算法，将更新后的本地模型参数进行计算，得到随机梯度方向，并基于所述随机梯度方向，确定目标模型参数；基于所述目标模型参数，执行网络模型训练操作。2.根据权利要求1所述的方法，其特征在于，所述在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学习速率，包括：在迭代计算过程中，获取可行集的直径、预设梯度上界的估计值、预设基础学习速率和各个并行设备的当前迭代次数；当所述当前迭代次数等于预设次数时，计算得到本地模型参数本地模型参数和本地模型参数将所述可行集的直径、预设梯度上界的估计值、预设基础学习速率、各个并行设备的当前迭代次数、本地模型参数本地模型参数和本地模型参数进行计算，得到自适应学习速率。3.根据权利要求1所述的方法，其特征在于，所述若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到权重和加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新，包括：将所述当前迭代次数与预设次数进行求差计算，得到差值；若所述差值属于各个设备通信时间节点集合，则确定各个并行设备之间处于通信状态，所述各个设备通信时间节点集合由并行设备本地更新步数和总迭代数目确定，所述总迭代数目由并行设备间通信次数和并行设备本地更新的步数确定；在各个并行设备之间处于通信状态下，使各个并行设备发送本地模型参数和所述自适应学习速率至中心设备，触发所述中心设备将所述本地模型参数所述自适应学习速率和预先获取到的并行设备数的总和进行加权平均计算，得到权重和加权平均后的模型参数所述加权平均后的模型参数由所述权重、所述获取到的本地模型参数和所述并行设备数的总和确定；将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新。
4.根据权利要求1所述的方法，其特征在于，所述若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新，包括：将所述当前迭代次数与预设次数进行求差计算，得到差值；若所述差值不属...

【专利技术属性】
技术研发人员：沈力，廖烙锋，段佳，陶大程，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：