【技术实现步骤摘要】
数据处理方法、装置、设备及介质
本申请涉及金融科技(Fintech)的人工智能
,尤其涉及一种数据处理方法、装置、设备及介质。
技术介绍
随着金融科技,尤其是互联网科技金融的不断发展,越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域,但金融业也对技术提出了更高的要求,如对金融业对数据处理也有更高的要求。目前,一方面由于任何一个单一的参与方都不能收集足够的数据来准确构建有效的机器学习模型,另一方面由于隐私保护的需求,致使某一参与方通过联邦学习的方式联合不同的参与方合作训练适合自身任务的模型成为构建需要的目标机器学习模型的主要方式。现有技术中,在某一参与方联合其他参与方联邦训练自身模型时,各个参与方是具有相同的训练比重或者预测比重的,各个参与方具有相同的训练比重或者预测比重,致使某一参与方数据中部分无效的训练数据占用训练比重或者预测比重,致使训练效率低下且得到的目标模型的预测性能低下。
技术实现思路
本申请的主要目的在于提供一种数据处理方法、装置、 ...
【技术保护点】
1.一种数据处理方法,其特征在于,应用于第一参与方,所述第一参与方与第二参与方进行通信连接,所述第二参与方为多个,所述数据处理方法包括:/n确定各所述第二参与方各自的第二样本数据中,与第一参与方数据特征一致的目标数据在所述第二样本数据中的数据占比率;/n基于各所述数据占比率,确定各第二样本数据的第一参与方预测权重;/n基于所述第一参与方预测权重,以及所述第一参与方的第一样本数据,通过联邦学习确定所述第一参与方的预设预测模型。/n
【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于第一参与方,所述第一参与方与第二参与方进行通信连接,所述第二参与方为多个,所述数据处理方法包括:
确定各所述第二参与方各自的第二样本数据中,与第一参与方数据特征一致的目标数据在所述第二样本数据中的数据占比率;
基于各所述数据占比率,确定各第二样本数据的第一参与方预测权重;
基于所述第一参与方预测权重,以及所述第一参与方的第一样本数据,通过联邦学习确定所述第一参与方的预设预测模型。
2.如权利要求1所述数据处理方法,其特征在于,所述确定各所述第二参与方各自的第二样本数据中,与第一参与方数据特征一致的目标数据在所述第二样本数据中的数据占比率的步骤,包括:
接收每个第二参与方发送的数据占比率,其中,每个第二参与方将对应第二样本数据输入至相应预设领域分类模型中后,对所述第二样本数据进行预测处理,得到第二样本数据中,与第一参与方数据特征一致的目标数据在所述第二样本数据中的数据占比率;
其中,所述预设领域分类模型是基于具有预设参与方来源标签的训练样本数据,通过执行第一预设联邦流程,对第一预设待训练预测模型进行迭代训练后,获得的预测各参与方数据来源占比率的第一目标模型。
3.如权利要求1所述数据处理方法,其特征在于,第一参与方中的样本数据为第一样本数据,所述基于所述第一参与方预测权重,以及所述第一参与方的第一样本数据,通过联邦学习确定所述第一参与方的预设预测模型的步骤,包括:
基于所述第一参与方预测权重,以及所述第一参与方的第一样本数据,通过执行第二预设联邦流程,对第二预设待训练预测模型进行迭代训练,获得第二目标模型;
将所述第二目标模型设置为所述第一参与方的预设预测模型。
4.如权利要求3所述数据处理方法,其特征在于,所述基于所述第一参与方预测权重,以及所述第一参与方的第一样本数据,通过执行第二预设联邦流程,对第二预设待训练预测模型进行迭代训练,获得第二目标模型的步骤,包括:
接收第二参与方发送的第二模型初始梯度,其中,所述第二模型初始梯度是各第二参与方在执行第二预设联邦流程过程中,基于对应第二样本数据确定的;
基于所述第二模型初始梯度以及对应所述第一参与方预测权重,获取各第二参与方的第二模型更新梯度;
基于所述第二模型更新梯度,以及第一参与方在执行第二预设联邦流程中,基于所述第一样本数据确定的第一模型更新梯度,确定替换更新模型参数;
基于所述替换更新模型参数,对第二预设待训练预测模型中的模型参数进行迭代更新,以获得第二目标模型。
5.如权利要求4所述数据处理方法,其特征在于,所述第一参与方与第二参与...
【专利技术属性】
技术研发人员:高大山,刘洋,杨强,鞠策,
申请(专利权)人:深圳前海微众银行股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。