风控模型的训练方法和装置制造方法及图纸

本说明书实施例提供了一种风控模型的训练方法和装置

【技术实现步骤摘要】
风控模型的训练方法和装置


[0001]本说明书一个或多个实施例涉及电子信息技术，尤其涉及风控模型的训练方法和装置
。

技术介绍

[0002]随着互联网技术的迅猛发展，人们越来越多地利用互联网进行通信
、
学习
、
工作，甚至通过互联网进行交易
、
支付
、
转账
、
投资等行为
。
一方面这些行为可能存在一定的风险；另一方面也有一些不法分子容易利用互联网的技术缺陷
、
法律缺陷等进行不法行为
。
这些都对网络行为的安全性带来了威胁，因此风险识别就尤为重要
。
目前，机器学习作为人工智能技术的重要分支，已经广泛应用于多种风控场景中
。
通过训练出的用于风险识别的人工神经网络模型
(
简称为风控模型
)
，就可以对发生的事件进行风险识别
。
[0003]在互联网高速发展的时代，数据安全和隐私已经成为了重要的问题
。
在这种情况下，越来越多的用户希望将数据留存在本地进行模型的训练
。
一种可行的方案是去中心化的联邦学习
。
也就是说，在进行风控模型的训练时，模型的更新和聚合都是在本地的节点上实现，无需云端的服务器参与，然后使用分布式共识协议将本地的更新数据传递到全部节点，使得全部节点都得到所有节点均值的近似值
。
然后每个节点再用共识得到的均值结果进行模型更新
。
[0004]但是，在现有的去中心化的联邦学习方法中，每一个端节点需要将自己计算出的梯度信息发送给参与去中心化的联邦学习中的其他所有节点，这样就很可能会导致梯度信息被泄露，从而造成了用户的隐私信息的泄露
。

技术实现思路

[0005]本说明书一个或多个实施例描述了风控模型的训练方法和装置，能够减少隐私被泄露的风险，并减少对网络资源的占用
。
[0006]根据第一方面，提供了一种风控模型的训练方法，其中，该方法包括
:
[0007]在至少一轮的模型训练中，每一个端节点在每一轮训练中作为当前端节点均执行：
[0008]当前端节点从本地得到本轮模型训练中使用的本地数据；
[0009]当前端节点利用该本地数据和在之前轮训练出的本地的风控模型，计算并保存梯度信息；
[0010]当前端节点确定参与所述风控模型训练的各端节点中与自己具有邻居关系的各邻居端节点；
[0011]当前端节点向各邻居端节点发送当前保存的梯度信息；
[0012]当前端节点利用各邻居端节点发来的梯度信息，更新当前端节点保存的梯度信息，以进行梯度同步；
[0013]当前端节点得到在本轮模型训练中梯度同步结束后最终保存的梯度信息；
[0014]当前端节点利用该最终保存的梯度信息得到本轮训练出的本地的风控模型，直至该风控模型收敛
。
[0015]其中，一个端节点的邻居关系在不同阶段中不完全相同；
[0016]和
/
或，
[0017]在每一轮模型训练开始时，并在所述当前端节点从本地得到本轮模型训练中使用的本地数据之前，该方法进一步包括：当前端节点判断当前的训练轮次是否小于预先设置的模型迭代轮次阈值，如果是，则继续执行所述当前端节点从本地得到本轮模型训练中使用的本地数据的步骤；否则，所述风控模型收敛
。
[0018]其中，在至少一轮的梯度同步中，每一个端节点在每一轮梯度同步中作为当前端节点均执行“当前端节点向各邻居端节点发送当前保存的梯度信息；当前端节点利用各邻居端节点发来的梯度信息，更新当前端节点保存的梯度信息，以进行梯度同步”的步骤，直至梯度同步结束
。
[0019]其中，所述梯度同步结束，包括：
[0020]当前端节点已经向各邻居端节点发送梯度信息的梯度同步轮次等于预先设置的梯度同步轮次阈值；
[0021]或者，
[0022]在本轮训练中当前端节点在第一轮梯度同步时开始计时，当前的计时时长等于预先设置的时间阈值
。
[0023]其中，所述当前端节点利用各邻居端节点发来的梯度信息更新当前端节点保存的梯度信息，包括：
[0024]当前端节点利用如下计算式计算出在每一轮梯度同步中被更新并保存的梯度信息：
[0025][0026]其中，表示在第
s+1
轮的梯度同步中当前端节点更新并保存的梯度信息，
γ
为预先设置的权重值；表示在第
s
轮的梯度同步中当前端节点更新并保存的梯度信息，表示在第
s+1
轮的梯度同步中当前端节点接收到的第
v
个邻居端节点发来的梯度信息，
v
为变量，
v
的取值为从1至当前端节点的邻居端节点的数量；
w
v
表示当前端节点接收到的第
v
个邻居端节点发来的梯度信息的权重值
。
[0027]其中，所述
w
v
为：当前端节点的度的倒数与第
v
个邻居端节点的度的倒数中的最小值；其中，度为端节点的邻居数量
。
[0028]其中，所述当前端节点向各邻居端节点发送当前保存的梯度信息，包括：
[0029]当前端节点根据预设的裁剪阈值和噪声方差为当前保存的梯度信息添加噪声，然后再将添加噪声后的梯度信息发送给各邻居端节点
。
[0030]所述当前端节点利用该最终保存的梯度信息得到本轮训练出的本地的风控模型，包括：
[0031]当前端节点利用如下计算式得到本轮训练出的本地的风控模型：
[0032][0033]其中，
x
i,t+1
表示本轮训练出的本地的风控模型，
x
i,t
表示上一轮训练出的本地的风
控模型；
x
i,t
‑1表示上上轮训练出的本地的风控模型，
α
为权重值；
η
为预设的权重值，表示在本轮训练中在梯度同步结束后最终保存的梯度信息
。
[0034]其中，所述
α
为：预设的固定权重值，或者为每次计算时随机采样的0‑1之间的一个随机值
。
[0035]根据第二方面，提供了一种风控模型的训练装置，其中，该装置设置在参与风控模型训练的每一个端节点中，该装置包括
:
[0036]本地数据获取模块，配置为从本地得到本轮模型训练中使用的本地数据；
[0037]梯度信息计算模块，配置为利用本地数据获取模块所得到的该本地数据和在之前轮训练出的本地的风控模型，计算并保存梯度信息；
[0038]邻居关系确定模块，配置为确定参与所述风控模型训练的各端节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
风控模型的训练方法，其中，该方法包括
:
在至少一轮的模型训练中，每一个端节点在每一轮训练中作为当前端节点均执行：当前端节点从本地得到本轮模型训练中使用的本地数据；当前端节点利用该本地数据和在之前轮训练出的本地的风控模型，计算并保存梯度信息；当前端节点确定参与所述风控模型训练的各端节点中与自己具有邻居关系的各邻居端节点；当前端节点向各邻居端节点发送当前保存的梯度信息；当前端节点利用各邻居端节点发来的梯度信息，更新当前端节点保存的梯度信息，以进行梯度同步；当前端节点得到在本轮模型训练中梯度同步结束后最终保存的梯度信息；当前端节点利用该最终保存的梯度信息得到本轮训练出的本地的风控模型，直至该风控模型收敛
。2.
根据权利要求1所述的方法，其中，一个端节点的邻居关系在不同阶段中不完全相同；和
/
或，在每一轮模型训练开始时，并在所述当前端节点从本地得到本轮模型训练中使用的本地数据之前，该方法进一步包括：当前端节点判断当前的训练轮次是否小于预先设置的模型迭代轮次阈值，如果是，则继续执行所述当前端节点从本地得到本轮模型训练中使用的本地数据的步骤；否则，所述风控模型收敛
。3.
根据权利要求1所述的方法，其中，在至少一轮的梯度同步中，每一个端节点在每一轮梯度同步中作为当前端节点均执行“当前端节点向各邻居端节点发送当前保存的梯度信息；当前端节点利用各邻居端节点发来的梯度信息，更新当前端节点保存的梯度信息，以进行梯度同步”的步骤，直至梯度同步结束
。4.
根据权利要求3所述的方法，其中，所述梯度同步结束，包括：当前端节点已经向各邻居端节点发送梯度信息的梯度同步轮次等于预先设置的梯度同步轮次阈值；或者，在本轮训练中当前端节点在第一轮梯度同步时开始计时，当前的计时时长等于预先设置的时间阈值
。5.
根据权利要求1所述的方法，其中，所述当前端节点利用各邻居端节点发来的梯度信息更新当前端节点保存的梯度信息，包括：当前端节点利用如下计算式计算出在每一轮梯度同步中被更新并保存的梯度信息：其中，表示在第
s+1
轮的梯度同步中当前端节点更新并保存的梯度信息，
γ
为预先设置的权重值；表示在第
s
轮的梯度同步中当前端节点更新并保存的梯度信息，表示在第
s+1
轮的梯度同步中当前端节点接收到的第
v
个邻居端节点发来的梯度信息，
v
为变量，
v
的取值为从1至当前端节点的邻居端节点的数量；
w
v
表示当前端节点接收到的第
...

【专利技术属性】
技术研发人员：夏天宇，姚苏，申书恒，傅欣艺，王维强，徐恪，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：