一种基于联邦学习的特征筛选方法、装置、设备及介质制造方法及图纸

技术编号:38751493 阅读:9 留言:0更新日期:2023-09-09 11:18
本发明专利技术涉及数据处理技术领域,尤其涉及一种基于联邦学习的特征筛选方法、装置、设备及介质。上述方法应用于金融领域,获取待训练模型所属的本地端的训练特征集,采集M次联邦训练后对应特征类别的M个更新参数,根据特征类别的M个更新参数,确定每个特征类别对应的变化趋势,获取预设的变化条件,确定不满足变化条件的特征类别,本发明专利技术中,通过使用待训练模型中特征类别的更新参数,检测特征类别更新参数的变化趋势,判断特征类别是否为真实特征类别,保留真实特征类别对应的特征量,筛选过程中,在不需要先验知识的情况下,可以判断出每个特征类别对应的真实性,并进行特征类别筛选,使筛选结果更合理,从而提高筛选结果的精度。度。度。

【技术实现步骤摘要】
一种基于联邦学习的特征筛选方法、装置、设备及介质


[0001]本专利技术涉及数据处理
,尤其涉及一种基于联邦学习的特征筛选方法、装置、设备及介质。

技术介绍

[0002]在信贷风控领域,针对中小微企业信贷评审数据稀缺、不全面、历史信息沉淀不足等问题,通过联邦学习,银行可以在确保数据提供方数据安全以及隐私保护的情况下,融汇企业经营数据、税务数据、工商数据、支付数据等多源信息,丰富建模特征体系,共同提升模型的有效性,联邦学习又名联邦机器学习,联合学习,联盟学习。联邦学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护和数据安全的要求下,进行数据使用和机器学习建模,实现数据共享。在联邦学习的业务落地中筛选出合适的特征是提高模型的整体效果的关键点。
[0003]在现有技术中,通常采用手动筛选的方式,来进行特征筛选,然而,上述特征筛选方式过分依赖于主观的经验,且在联邦建模中不同参与方的建模人员对特征筛选的经验和认知不尽相同,使筛选的精度较差,因此,在特征筛选过程中,如何提高筛选精度成为亟待解决的问题。

技术实现思路

[0004]基于此,有必要针对上述技术问题,提供一种基于联邦学习的特征筛选方法、装置、设备及介质,以解决的筛选精度较低的问题。
[0005]本申请实施例的第一方面提供了一种基于联邦学习的特征筛选方法,所述特征筛选方法包括:
[0006]获取待训练模型所属的本地端的训练特征集,所述训练特征集包括N种特征类别对应的特征量,所述训练特征集用于对所述待训练模型进行训练,并将训练好的模型的N个参数发送至中心服务端进行联邦训练,N为大于1的整数;
[0007]采集M次联邦训练后所述中心服务端发送的N个更新参数,得到对应特征类别的M个更新参数,M为大于1的整数;
[0008]针对任一特征类别,根据所述特征类别的M个更新参数,确定所述特征类别对应更新参数的变化趋势,得到每个特征类别对应的变化趋势;
[0009]获取预设的变化条件,将所有特征类别的变化趋势与所述变化条件进行比对,确定不满足所述变化条件的特征类别,从所述训练特征集中把对应特征量剔除。
[0010]本申请实施例的第二方面提供了一种基于联邦学习的特征筛选装置,所述特征筛选装置包括:
[0011]获取模块,用于获取待训练模型所属的本地端的训练特征集,所述训练特征集包括N种特征类别对应的特征量,所述训练特征集用于对所述待训练模型进行训练,并将训练好的模型的N个参数发送至中心服务端进行联邦训练,N为大于1的整数;
[0012]采集模块,用于采集M次联邦训练后所述中心服务端发送的N个更新参数,得到对应特征类别的M个更新参数,M为大于1的整数;
[0013]确定模块,用于针对任一特征类别,根据所述特征类别的M个更新参数,确定所述特征类别对应更新参数的变化趋势,得到每个特征类别对应的变化趋势;
[0014]筛选模块,用于获取预设的变化条件,将所有特征类别的变化趋势与所述变化条件进行比对,确定不满足所述变化条件的特征类别,从所述训练特征集中把对应特征量剔除。
[0015]第三方面,本专利技术实施例提供一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的特征筛选方法。
[0016]第四方面,本专利技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的特征筛选方法。
[0017]本专利技术与现有技术相比存在的有益效果是:
[0018]获取待训练模型所属的本地端的训练特征集,训练特征集包括N种特征类别对应的特征量,训练特征集用于对待训练模型进行训练,并将训练好的模型的N个参数发送至中心服务端进行联邦训练,N为大于1的整数,采集M次联邦训练后中心服务端发送的N个更新参数,得到对应特征类别的M个更新参数,M为大于1的整数,针对任一特征类别,根据特征类别的M个更新参数,确定特征类别对应更新参数的变化趋势,得到每个特征类别对应的变化趋势,获取预设的变化条件,将所有特征类别的变化趋势与变化条件进行比对,确定不满足变化条件的特征类别,从训练特征集中把对应特征量剔除。本专利技术中,通过使用待训练模型中特征类别的更新参数,检测特征类别更新参数的变化趋势,判断特征类别是否为真实特征类别,保留真实特征类别对应的特征量,筛选过程中,在不需要先验知识的情况下,可以判断出每个特征类别对应的真实性,并进行特征类别筛选,使筛选结果更合理,从而提高筛选结果的精度。根据筛选后的特征训练得到的联邦学习模型,可以提高模型的精度,从而降低基于联邦学习模型进行信贷操作的风险。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案,下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术一实施例提供的一种基于联邦学习的特征筛选方法的一应用环境示意图;
[0021]图2是本专利技术一实施例提供的一种基于联邦学习的特征筛选方法的流程示意图;
[0022]图3是本专利技术一实施例提供的一种基于联邦学习的特征筛选装置的结构示意图;
[0023]图4是本专利技术一实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0025]应当理解,当在本专利技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0026]还应当理解,在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
[0027]如在本专利技术说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0028]另外,在本专利技术说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0029]在本专利技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的特征筛选方法,其特征在于,所述特征筛选方法包括:获取待训练模型所属的本地端的训练特征集,所述训练特征集包括N种特征类别对应的特征量,所述训练特征集用于对所述待训练模型进行训练,并将训练好的模型的N个参数发送至中心服务端进行联邦训练,N为大于1的整数;采集M次联邦训练后所述中心服务端发送的N个更新参数,得到对应特征类别的M个更新参数,M为大于1的整数;针对任一特征类别,根据所述特征类别的M个更新参数,确定所述特征类别对应更新参数的变化趋势,得到每个特征类别对应的变化趋势;获取预设的变化条件,将所有特征类别的变化趋势与所述变化条件进行比对,确定不满足所述变化条件的特征类别,从所述训练特征集中把对应特征量剔除。2.如权利要求1所述的特征筛选方法,其特征在于,所述获取待训练模型所属的本地端的训练特征集,包括:采集所述本地端提供的多个特征类别,从所述多个特征类别中随机选取N个特征类别,组成待训练模型所属的本地端的训练特征集。3.如权利要求1所述的特征筛选方法,其特征在于,所述采集M次联邦训练后所述中心服务端发送的N个更新参数,得到对应特征类别的M个更新参数,包括:针对每次联邦训练,所述本地端对所述待训练模型进行训练,得到所述本地端中的N种特征类别对应的N个本地更新参数;将所述N个本地更新参数发送至所述中心服务端;针对任一特征类别,所述中心服务端对所述特征类别对应的本地更新参数进行整合,得到所述中心服务端对应的更新参数,所述中心服务端将所述更新参数发送至所述本地端;所述本地端根据接收到的更新参数,对所述待训练模型进行M次联邦训练,得到对应特征类别的M个更新参数。4.如权利要求3所述的特征筛选方法,其特征在于,所述针对任一特征类别,所述中心服务端对所述特征类别对应的本地更新参数进行整合,得到所述中心服务端对应的更新参数,包括:当所述本地端为多个时,所述中心服务端计算所述本地更新参数的均值,将所述均值作为所述中心服务端对应的更新参数。5.如权利要求1所述的特征筛选方法,其特征在于,所述针对任一特征类别,根据所述特征类别的M个更新参数,确定所述特征类别对应更新参数的变化趋势,得到每个特征类别对应的变化趋势,包括...

【专利技术属性】
技术研发人员:瞿晓阳王健宗刘承昊
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1