System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种评分卡模型的后台数据监控方法及系统技术方案_技高网

一种评分卡模型的后台数据监控方法及系统技术方案

技术编号:40468066 阅读:7 留言:0更新日期:2024-02-22 23:22
本发明专利技术提供了一种评分卡模型的后台数据监控方法及系统,方法包括:采集第三方数据平台变量信息,变量信息为客户机构、评分产品、模型版本和时点信息所对应的子数据源以及各数据源;对采集的子数据源的特殊子分以及子数据源变量进行映射处理;计算六大维度指标,评分卡模型对第三方数据信息采用六大维度进行实时监控;使用静态画面软件对六大维度指标进行可视化处理;便精准定位数据生产故障。系统包括:数据源模块,数据预处理模块,六大维度指标计算模块,可视化模块,精准定位模块。本发明专利技术对第三方数据信息各维度实时监控,并全方位、多角度、跨时间的监控,及时了解数据源生产调用的变化,保障各条业务线正常且稳定的运行。

【技术实现步骤摘要】

本专利技术涉及数据信息监控,特别涉及一种评分卡模型的后台数据监控方法及系统


技术介绍

1、评分卡模型是一种风控模型,在业务系统的决策流程中,风控模型能为业务决策者提供有效的数据支撑和决策依据,可以对潜在的业务风险进行前瞻性的识别、分类和预警,多维度地自动评估和智能量化业务对象的风险明细和等级,并能进一步统计和分析风险的变化趋势,从而最大程度降低企业的风险成本。基于大数据的风控模型的流程一般为:从业务对象各方面的历史特征数据出发,先经过数据处理和特征工程,再利用机器学习算法进行风险标签的二分类建模。最后,以评分卡的形式输出业务对象各个特征项的评分明细和整体评分等级。

2、随着各个行业对大数据的认识不断加深,大数据的战略意义及重要性也在不断的展现,而战略的完成度则大大的依赖于产品的稳定性。随着产品的多元化逐渐体现,传统的数据库监控将无法及时发现系统运行过程中潜在的问题,容易造成数据库数据丢失,给企业带来影响,而且数据复杂和多元增加了运维人员的工作,导致监控不全面,效率低下等问题。

3、现有技术一,cn202011378824.4基于模型的小微企业信贷评估方法、设备及存储介质,该方法通过根据已知逻辑关系和各行业情况,基于预设的决策配置结构,建立定量模型和定性模型,从而实现对小微企业的信贷评估,提高了对小微企业的信贷评估的效率,能够最终为小微信贷的申请企业输出信贷是否通过、利率及额度的建议信息。

4、现有技术二,cn202010750308.3信贷风控模型生成方法、装置、评分卡生成方法、机器可读介质及设备,包括:利用预先训练的基分类器节点最大深度为1的gbdt模型确定对信贷业务对象的原始属性数据进行特征工程处理;基于所述特征工程处理后的数据训练生成lr评分卡模型,将所述lr评分卡模型作为信贷风控模型。根据最大树深限制为1的梯度提升树会退化为线性模型的特点,实现了lr评分卡模型自动化、端到端的训练,并达到了显著优于启发式规则的特征筛选和连续变量分箱的预测性能,从而实现了线性、可解释、高性能机器学习分类模型的自动化、端到端训练。

5、现有技术三,cn201810810972.5一种分布式自动特征组合的纳税人信用评估方法,步骤包括:1)利用训练样本采用mapreduce分布式计算框架进行随机森林模型的训练,得到一分布式随机森林模型;2)将训练样本输入该分布式随机森林模型,生成输入的每一训练样本的多个组合特征;3)将生成的组合特征与对应纳税人的特征信息进行合并;4)利用合并后的特征训练评分卡模型;5)对于一待信用评估的纳税人,利用该分布式随机森林模型生成该纳税人的组合特征并与该纳税人的特征信息进行合并,然后将该纳税人合并后的特征输入训练好的评分卡模型,预测该纳税人的信用评分。能够进行纳税人的精准信用评估。

6、目前现有技术一、现有技术二和现有技术三存在后台数据监控无法及时发现系统运行过程中潜在的问题,容易造成数据库数据丢失;而且数据复杂和多元增加了运维人员的工作强度,导致监控不全面,效率低下,因而,本专利技术为了更好地巩固产品的稳定性,需要将相关业务数据导入可视化的监控系统,通过不同的指标和数据得出相应的结论,从而在可控的时间范围内,超前的找出问题并解决问题。


技术实现思路

1、为了解决上述技术问题,本专利技术提供了一种评分卡模型的后台数据监控方法及系统,包括以下步骤:

2、采集第三方数据平台变量信息;

3、对采集的子数据源的特殊子分以及子数据源变量进行映射处理;

4、通过计算评分科尔莫戈罗夫检验、接受者操作特征曲线、变量的证据权重、信息量、各分箱的占比以及评分群体稳定性指标六大维度指标;

5、使用静态画面软件对六大维度指标进行可视化处理,以方便查找问题;

6、精准监控各个第三方数据平台在不同时间段对于不同客户使用不同产品的子数据源变化,以便精准定位数据生产故障。

7、可选的,变量信息为客户机构、评分产品、模型版本和时点信息所对应的子数据源以及各数据源。

8、可选的,特殊子分为累计坏占比曲线和接受者操作特征曲线,根据子数据源的累计坏占比曲线和接受者操作特征曲线的数值是否出现异常,以及变量随月份的波动,从底层分析出评分卡模型异常的原因。

9、可选的,六大维度指标的计算方法分别为:

10、科尔莫戈罗夫检验值ks:衡量评分卡模型对好坏客户的区分度,公式如下:

11、ks=max{|cum(badrate)-cum(goodrate)|}

12、其中badrate表示评分卡模型的坏客户,goodrate示评分卡模型的好客户,cum(badrate)表示累计坏客户占总坏客户的比值,cum(goodrate)表示累计好客户占总好客户的比值,|cum(badrate)-cum(goodrate)|表示累计坏客户占总坏客户的比值与累计好客户占总好客户的比值差值的绝对值,max表示绝对值的最大值;

13、接受者操作特征曲线:描述在一定累计好客户比例下的累计坏客户的比例;

14、信息量iv:计算出变量的信息价值,信息量iv的计算公式如下所示:

15、

16、其中,i为变量的分组,badi表示第i组坏客户的价值,badt表示坏客户的价值总量,goodi表示第i组好客户的价值,goodt表示好客户的价值总量,ln表示求对数。

17、可选的,变量的证据权重woe:计算出变量各分箱的好坏占比woei,计算公式如下所示:

18、

19、评分群体稳定性指标psi:计算公式:

20、

21、其中,development为预期群体评分,validation为实际群体评分;

22、各分箱占比:计算个变量分箱占总权重的比例。

23、可选的,对六大维度指标进行可视化处理,具体包括两部分:

24、第一部分为可视化图例;

25、第二部分为可视化报表;

26、可视化图例展示使用选中评分卡模型在各家客户机构的科尔莫戈罗夫检验值与接受者操作特征曲线的情况,使用到颜色rbg色号从上到下依次为242,142,43、78,161,167;使用选中评分卡模型在各家客户机构上评分群体稳定性指标的折线图,使用到颜色rbg色号从上到下依次为242,142,43、78,161,167、225,87,89、120,182,178;

27、可视化报表展示使用选中子数据源变量在各家客户机构上的信息量与评分群体稳定性指标的折线图,使用到颜色rbg色号从上到下依次为242,142,43、78,161,167、225,87,89、120,182,178;展示使用选中子数据源变量的各分享占比随月份变化情况,使用到颜色rbg色号从上到下依次为78,121,167、242,142,43、225,88,87、118,183,178、89,161,79、23本文档来自技高网...

【技术保护点】

1.一种评分卡模型的后台数据监控方法,其特征在于,包括以下步骤:

2.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,变量信息为客户机构、评分产品、模型版本和时点信息所对应的子数据源以及各数据源。

3.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,特殊子分包含科尔莫戈罗夫检验和接受者操作特征曲线,根据子数据源的科尔莫戈罗夫检验和接受者操作特征曲线的数值是否出现异常,以及变量随月份的波动,从底层分析出评分卡模型异常的原因。

4.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,科尔莫戈罗夫检验值KS:衡量评分卡模型对好坏客户的区分度,公式如下:

5.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,

6.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,对六大维度指标进行可视化处理,具体包括两部分:

7.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,筛选器采用时间单位、第三方数据平台单位、产品服务编码单位、产品版本单位及客户机构单位调用量单位进行筛选,以精准监控各个第三方数据平台在不同时间段对于不同客户使用不同产品的子数据源变化,以便精准定位数据生产故障。

8.如权利要求7所述的评分卡模型的后台数据监控方法,其特征在于,精准定位数据生产故障采用调节筛选器精准监控各个评分卡模型的变化,在不同时间段对于不同客户使用不同产品的子数据源以及子分变量。

9.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,对六大维度指标进行可视化处理,具体包括:

10.一种评分卡模型的后台数据监控系统,其特征在于,包括:

...

【技术特征摘要】

1.一种评分卡模型的后台数据监控方法,其特征在于,包括以下步骤:

2.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,变量信息为客户机构、评分产品、模型版本和时点信息所对应的子数据源以及各数据源。

3.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,特殊子分包含科尔莫戈罗夫检验和接受者操作特征曲线,根据子数据源的科尔莫戈罗夫检验和接受者操作特征曲线的数值是否出现异常,以及变量随月份的波动,从底层分析出评分卡模型异常的原因。

4.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,科尔莫戈罗夫检验值ks:衡量评分卡模型对好坏客户的区分度,公式如下:

5.如权利要求1所述的评分卡模型的后台数据监控方法,其特征在于,

6.如权利要求1所述的评分卡模型的后台数...

【专利技术属性】
技术研发人员:王世今龙泳先孙冬琦杨磊磊
申请(专利权)人:睿智合创北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1