System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于数据风控,尤其是涉及一种基于联邦学习的电力数据风控方法、设备和介质。
技术介绍
1、电力大数据作为企业生产经营的必须信息,具有实时性、真实性和连续性的特点,是衡量企业是否正常经营的一个重要指标。深度融合企业电力数据和工商、税务等外部数据,通过机器学习、人工智能算法搭建企业反欺诈、授信辅助、风险预警等模型,构建贷前反欺诈、贷中授信辅助、贷后风险预警等覆盖企业全生命周期的金融风控体系,可以有效化解银企信息不对称难题。
2、中国专利申请cn115130880a公开了一种非对称场景下基于联邦学习金融电力数据融合方法及介质,包括以下步骤:首先,使用不经意传输和伪随机函数以及线性同余法抽样生成混淆集合,以保护数据提供方和需求方的隐私,可以不经意地生成与原始数据唯一标识符相对应的伪随机标识符,使得数据提供方和需求方可以在不暴露真实数据的情况下进行交互和共享;其次,使用同态加密来更新逻辑回归模型的参数信息,可以确保模型训练过程中的计算不会泄露任何敏感信息;最后,使用训练完成的模型对银行和电力企业的数据进行处理,得到金融电力评分结果。该方法构建的纵向逻辑回归模型可以有效结合内外部数据进行建模,完成金融电力评分任务。然而,该方法对于联邦学习的使用效率不够好,需要多个设备或机器之间共享模型参数进行模型训练,在某些情况下可能会出现训练效率低下的问题,当多个客户端需要同时更新模型参数时,会产生大量的通信开销,从而影响训练效率;同时,该方法无法准确提取获取的金融数据和电力数据的特征,导致模型无法有效识别和区分不同等级的风险,从而影
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于联邦学习的电力数据风控方法、设备和介质,解决现有电力大数据风控方法学习效率低和特征提取不全面的问题。
2、本专利技术的目的可以通过以下技术方案来实现:
3、一种基于联邦学习的电力数据风控方法,包括以下步骤:
4、s1、获取金融数据集和电力数据集并进行预处理;
5、s2、将预处理后的电力数据集和金融数据集进行特征提取和特征分析;
6、s3、建立基于区块链的联邦学习框架,基于特征分析结果建立本地电力数据风控模型并进行训练,将训练结果发送至可信第三方,根据可信第三方聚合获得的全局电力数据风控模型参数,更新本地电力数据风控模型参数;
7、s4、根据参数更新后的本地电力数据风控模型计算风险指数,根据所述风险指数进行风险等级划分,采取相应的风控措施。
8、进一步地,步骤s1中,所述预处理包括数据清洗、填补缺失值和异常值处理。
9、进一步地,步骤s2中,特征提取的具体过程如下:
10、s201、提取预处理后金融数据集中的财务数据特征,包括财务比率和现金流,提取预处理后电力数据集和金融数据集中的非财务数据特征,包括社会责任指标和技术研发水平;
11、s202、提取预处理后电力数据集中的高相关度特征,所述高相关度特征包括电力消耗情况、电费缴纳情况和电力供需情况;
12、s203、提取预处理后电力数据集的时序特征和空间特征;
13、s204、将提取的各项特征进行关联性分析、标准化和归一化处理。
14、进一步地,步骤s2中,特征分析的具体过程如下:
15、计算提取特征的信息价值iv和证据权重woe,进行特征可行性分析,筛选与风险评估相关性高的特征。
16、进一步地,步骤s3的具体过程如下:
17、s301、建立基于区块链的联邦学习框架,由可信第三方初始化全局电力数据风控模型参数并广播到区块链中;
18、s302、基于特征分析结果,在各本地设备中建立本地电力数据风控模型;
19、s303、基于本地设备中的电力数据集和金融数据集,以及通过区块链中相应参与节点传递的全局电力数据风控模型参数,训练本地电力数据风控模型,将各本地电力数据风控模型模型参数通过区块链中相应的参与节点上传至可信第三方进行聚合,更新全局电力数据风控模型参数;
20、s304、可信第三方将更新后的全局电力数据风控模型参数广播到区块链各参与节点,更新本地电力数据风控模型参数,判断本地电力数据风控模型是否收敛,若是,则结束模型训练;若否,则返回步骤s303。
21、进一步地,区块链的参数传递过程中,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理。
22、进一步地,步骤s303中,通过梯度下降算法和随机下降算法加速本地电力数据风控模型的训练。
23、进一步地,步骤s4中,所述风险指数为本地电力数据风控模型输出的风险概率与风险影响程度的乘积。
24、本专利技术还提供一种电子设备,包括存储器、处理器,以及存储于所述存储器中的程序,所述处理器执行所述程序时实现上述方法。
25、本专利技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法。
26、与现有技术相比,本专利技术具有以下有益效果:
27、1、本专利技术对获取的电力数据集和金融数据集进行预处理后,进行特征提取和特征分析,基于特征分析结果筛选与风险评估相关性高的特征,指导本地电力数据风控模型的建立和训练,有助于提高模型预测结果的准确性、可靠性和稳定性,更好的反映出数据的规律性和风险变化。
28、2、本专利技术考虑了财务数据特征和非财务数据特征,可以更全面地评估企业的风险;提取了预处理后电力数据集中的高相关度特征,可以提高模型的准确性和鲁棒性;提取电力数据集的时序特征和空间特征,可以更好地反映电力数据的规律性和风险变化;最后将不同指标的量纲和单位的电力数据的特征进行标准化和归一化处理,将不同指标的特征值进行规范化处理,以避免特征差异对模型性能的影响。
29、3、本专利技术建立基于区块链的联邦学习框架,不需要将所有数据都上传到服务端,采用去中心化的方式,基于区块链框架消除对中心化服务端的依赖,将数据交互过程分散到各个节点之间,从而减少数据传输的开销和时间成本;将各个参与方的模型参数保存到区块链上进行传递,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理,可以很好地防止参数泄露或被篡改,保障数据安全。
本文档来自技高网...【技术保护点】
1.一种基于联邦学习的电力数据风控方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S1中,所述预处理包括数据清洗、填补缺失值和异常值处理。
3.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S2中,特征提取的具体过程如下:
4.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S2中,特征分析的具体过程如下:
5.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S3的具体过程如下:
6.根据权利要求5所述的一种基于联邦学习的电力数据风控方法,其特征在于,区块链的参数传递过程中,通过加密技术和安全协议保护数据的传输和存储,并对数据进行脱敏处理。
7.根据权利要求5所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤S303中,通过梯度下降算法和随机下降算法加速本地电力数据风控模型的训练。
8.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步
9.一种电子设备,包括存储器、处理器,以及存储于所述存储器中的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种基于联邦学习的电力数据风控方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤s1中,所述预处理包括数据清洗、填补缺失值和异常值处理。
3.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤s2中,特征提取的具体过程如下:
4.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤s2中,特征分析的具体过程如下:
5.根据权利要求1所述的一种基于联邦学习的电力数据风控方法,其特征在于,步骤s3的具体过程如下:
6.根据权利要求5所述的一种基于联邦学习的电力数据风控方法,其特征在于,区块链的参数传递过程中,通过加密...
【专利技术属性】
技术研发人员:吴裔,李倩,宋淑星,奚增辉,田英杰,许唐云,郭乃网,苏运,李凡,郑成,张梦圆,
申请(专利权)人:国网上海市电力公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。