模型数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:32003142 阅读:19 留言:0更新日期:2022-01-22 18:18
本申请涉及一种模型数据处理方法、装置、计算机设备和存储介质。该方法包括:获取目标模块数据集,根据目标模块数据集构建得到目标子模型集;在目标模块数据集完整时,将目标子模型集进行模型融合,得到第一主模型;在目标模块数据集发生数据缺失时,确定缺失模块数据;对缺失模块数据进行编码,得到编码后的缺失模块数据;根据编码后的缺失模块数据从目标子模型集中筛选得到中间子模型集;将中间子模型集进行模型融合,得到第二主模型;获取第一主模型对应的第一模型融合分,获取第二主模型对应的第二模型融合分;根据第一模型融合分和第二模型融合分得到缺失模块数据对应的缺失数据评估报告。采用本方法能够节约了大量的人力成本。力成本。力成本。

【技术实现步骤摘要】
模型数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
,特别是涉及一种模型数据处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]在金融风控建模领域,模型的稳定性能对于公司的风控政策制定及实施极为重要。模型的稳定性强,拥有优秀的抗波动能力,鲁棒性高,能极大的降低公司因风控模型变动而造成的业务影响,有利于公司把控全局,平稳发展。
[0003]但是,在实际业务当中,模型稳定性会受到诸多因素的干扰,其中最大的影响因素在于模型所使用到的变量突然缺失,例如数据供应商下线,政策禁止等等,这对模型的预测准确性及模型效果造成极大的影响。
[0004]然而,在已有的解决方案中,大多数情况下是通过对模型的重新评估、迭代,将缺失的变量数据剔除出模型的输入项,重新进行模型的开发,这种工作量巨大,且模型的开发周期较长,难以及时的应对缺失数据的影响。

技术实现思路

[0005]基于此,有必要针对上述技术问题,提供一种模型数据处理方法、装置、计算机设备和存储介质,能够极大的降低因部分数据缺失对模型造成的影响,模型开发人员不需要对模型进行重新迭代开发,仅需业务人员进行策略微调即可,减少了大量的工作量,极大提升工作效率,节约了大量的人力成本。
[0006]一种模型数据处理方法,该方法包括:
[0007]获取目标模块数据集,根据目标模块数据集构建得到目标子模型集,目标模块数据集包括至少一个目标模块数据,目标模块数据包括多个目标数据;
[0008]在目标模块数据集完整时,将目标子模型集进行模型融合,得到第一主模型;
[0009]在目标模块数据集发生数据缺失时,确定目标模块数据集发生数据缺失对应的缺失模块数据;
[0010]对缺失模块数据进行编码,得到编码后的缺失模块数据;
[0011]根据编码后的缺失模块数据从目标子模型集中筛选得到中间子模型集;
[0012]将中间子模型集进行模型融合,得到第二主模型;
[0013]获取第一主模型对应的第一模型融合分,获取第二主模型对应的第二模型融合分;
[0014]根据第一模型融合分和第二模型融合分得到缺失模块数据对应的缺失数据评估报告,缺失数据评估报告用于指示制定缺失模块数据对应的风险应对策略。
[0015]在其中一个实施例中,获取目标模块数据集,根据目标模块数据集构建得到目标子模型集,包括:获取当前数据集,当前数据集包括至少一个当前数据,当前数据携带当前数据信息和当前数据供应商信息,根据当前数据信息或当前数据供应商信息对当前数据集
中的各当前数据进行模块化分类,得到目标模块数据集,目标模块数据集包括目标预设数目个目标模块数据,在目标模块数据集中,随机抽取当前预设数目个当前模块数据,根据各当前模块数据进行模型构建,得到目标子模型,获取下一个预设数目,将下一个预设数目确定为当前预设数目,返回步骤在目标模块数据集中,随机抽取当前预设数目个当前模块数据,直至得到目标子模型集。
[0016]在其中一个实施例中,将目标子模型集进行模型融合,得到第一主模型,包括:获取各目标子模型对应的第一模型评估指标值和第二模型评估指标值,第一模型评估指标值和第二模型评估指标值是目标子模型在进行模型训练时计算得到的,第一模型评估指标值和第二模型评估指标值都是反映模型对好坏样本的区分能力的评价指标,根据各目标子模型对应的第一模型评估指标值或第二模型评估指标值将各目标子模型进行模型融合,得到第一主模型。
[0017]在其中一个实施例中,在目标模块数据集发生数据缺失时,确定目标模块数据集发生数据缺失对应的缺失模块数据,包括:检测目标模块数据集中各目标模块数据中的各目标数据是否存在对应的反馈信息,将不存在反馈信息对应的目标数据所在的模块数据确定为目标模块数据集发生数据缺失对应的缺失模块数据。
[0018]在其中一个实施例中,根据编码后的缺失模块数据从目标子模型集中筛选得到中间子模型集,包括:将目标子模型集中使用到编码后的缺失模块数据的目标子模型进行剔除,将目标子模型集中剩余的目标子模型组成得到中间子模型集,其中,中间子模型集为目标子模型集中未使用到编码后的缺失模块数据的目标子模型的集合。
[0019]在其中一个实施例中,获取第一主模型对应的第一模型融合分,获取第二主模型对应的第二模型融合分,包括:获取各目标子模型对应的目标模型评估指标值,以及获取各目标子模型对应的目标模型输出分数,根据各目标模型评估指标值和各目标模型输出分数计算得到第一主模型对应的第一模型融合分,获取中间子模型集中各中间子模型对应的中间模型评估指标值,以及获取各中间子模型对应的中间模型输出分数,根据各中间模型评估指标值和各中间模型输出分数计算得到第二主模型对应的第二模型融合分。
[0020]在其中一个实施例中,根据第一模型融合分和第二模型融合分得到缺失模块数据对应的缺失数据评估报告,缺失数据评估报告用于指示制定缺失模块数据对应的风险应对策略,包括:计算第一模型融合分与第二模型融合分的模型融合分差值,根据融合分差值与预设融合分阈值得到缺失数据评估报告,根据缺失评估报告制定缺失模块数据对应的风险应对策略。
[0021]一种模型数据处理装置,该装置包括:
[0022]第一获取模块,用于获取目标模块数据集,根据目标模块数据集构建得到目标子模型集,目标模块数据集包括至少一个目标模块数据,目标模块数据包括多个目标数据;
[0023]第一融合模块,用于在目标模块数据集完整时,将目标子模型集进行模型融合,得到第一主模型;
[0024]确定模块,用于在目标模块数据集发生数据缺失时,确定目标模块数据集发生数据缺失对应的缺失模块数据;
[0025]编码模块,用于对缺失模块数据进行编码,得到编码后的缺失模块数据;
[0026]筛选模块,用于根据编码后的缺失模块数据从目标子模型集中筛选得到中间子模
型集;
[0027]第二融合模块,用于将中间子模型集进行模型融合,得到第二主模型;
[0028]第二获取模块,用于获取第一主模型对应的第一模型融合分,获取第二主模型对应的第二模型融合分;
[0029]生成模块,用于根据第一模型融合分和第二模型融合分得到缺失模块数据对应的缺失数据评估报告,缺失数据评估报告用于指示制定缺失模块数据对应的风险应对策略。
[0030]一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0031]获取目标模块数据集,根据目标模块数据集构建得到目标子模型集,目标模块数据集包括至少一个目标模块数据,目标模块数据包括多个目标数据;
[0032]在目标模块数据集完整时,将目标子模型集进行模型融合,得到第一主模型;
[0033]在目标模块数据集发生数据缺失时,确定目标模块数据集发生数据缺失对应的缺失模块数据;
[0034]对缺失模块数据进行编码,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种模型数据处理方法,所述方法包括:获取目标模块数据集,根据所述目标模块数据集构建得到目标子模型集,所述目标模块数据集包括至少一个目标模块数据,所述目标模块数据包括多个目标数据;在所述目标模块数据集完整时,将所述目标子模型集进行模型融合,得到第一主模型;在所述目标模块数据集发生数据缺失时,确定所述目标模块数据集发生数据缺失对应的缺失模块数据;对所述缺失模块数据进行编码,得到编码后的缺失模块数据;根据所述编码后的缺失模块数据从所述目标子模型集中筛选得到中间子模型集;将所述中间子模型集进行模型融合,得到第二主模型;获取所述第一主模型对应的第一模型融合分,获取所述第二主模型对应的第二模型融合分;根据所述第一模型融合分和第二模型融合分得到所述缺失模块数据对应的缺失数据评估报告,所述缺失数据评估报告用于指示制定所述缺失模块数据对应的风险应对策略。2.根据权利要求1所述的方法,其特征在于,所述获取目标模块数据集,根据所述目标模块数据集构建得到目标子模型集,包括:获取当前数据集,所述当前数据集包括至少一个当前数据,所述当前数据携带当前数据信息和当前数据供应商信息;根据所述当前数据信息或所述当前数据供应商信息对所述当前数据集中的各所述当前数据进行模块化分类,得到目标模块数据集,所述目标模块数据集包括目标预设数目个目标模块数据;在所述目标模块数据集中,随机抽取当前预设数目个当前模块数据,根据各所述当前模块数据进行模型构建,得到目标子模型;获取下一个预设数目,将所述下一个预设数目确定为当前预设数目,返回步骤在所述目标模块数据集中,随机抽取当前预设数目个当前模块数据,直至得到目标子模型集。3.根据权利要求1所述的方法,其特征在于,所述将所述目标子模型集进行模型融合,得到第一主模型,包括:获取各所述目标子模型对应的第一模型评估指标值和第二模型评估指标值,所述第一模型评估指标值和所述第二模型评估指标值是目标子模型在进行模型训练时计算得到的,所述第一模型评估指标值和所述第二模型评估指标值都是反映模型对好坏样本的区分能力的评价指标;根据各所述目标子模型对应的第一模型评估指标值或第二模型评估指标值将各所述目标子模型进行模型融合,得到第一主模型。4.根据权利要求1所述的方法,其特征在于,所述在所述目标模块数据集发生数据缺失时,确定所述目标模块数据集发生数据缺失对应的缺失模块数据,包括:检测所述目标模块数据集中各所述目标模块数据中的各目标数据是否存在对应的反馈信息;将不存在反馈信息对应的目标数据所在的模块数据确定为所述目标模块数据集发生数据缺失对应的缺失模块数据。5.根据权利要求1所述的方法,其特征在于,所述根据所述编码后的缺失模块数据从所
述目标子模型集中筛选得到中间子模型集,包括:将所述目标子模型...

【专利技术属性】
技术研发人员:丁开荣
申请(专利权)人:上海数禾信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1