风控模型的评估方法及装置制造方法及图纸

本申请公开了一种风控模型的评估方法及装置。其中，该方法包括：评估风控模型的影响性质，得到第一评估结果；分析风控模型的预测失败事件产生的业务影响，得到第二评估结果；审核用于训练风控模型的数据集，得到第三评估结果，其中，数据集包括：训练集和测试集，对数据集的审核内容包括以下至少之一：数据集的来源、数据集的拆分以及数据集的处理；对风控模型进行外部测试，得到第四评估结果；基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值。本申请解决了相关技术缺乏在模型应用方维度对风控模型进行审计评价的技术问题。题。题。

【技术实现步骤摘要】
风控模型的评估方法及装置


[0001]本申请涉及模型审计
，具体而言，涉及一种风控模型的评估方法及装置。

技术介绍

[0002]目前，随着人工智能技术的不断发展，大多数企业已经开始使用人工智能算法驱动其相关业务流程，因此越来越多的人工智能技术将广泛覆盖绝大数行业，但其面临的风险不言而喻。尤其是金融领域，例如银行在不同业务流程中均涉及到运用人工智能构建的风控模型，通过风控模型不仅可以减轻银行人员的工作量，提升工作效率，还可以有效提升对客户的风险评估准确性。因此，需要通过必要的手段确保风控模型能够准确运行并实现预期目的，但目前相关技术缺乏对银行风控模型进行审计评价。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种风控模型的评估方法及装置，以至少解决相关技术缺乏在模型应用方维度对银行风控模型进行审计评价的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种风控模型的评估方法，包括：评估风控模型的影响性质，得到第一评估结果；分析风控模型的预测失败事件所产生的业务影响，得到第二评估结果；审核用于训练风控模型的数据集，得到第三评估结果，其中，数据集包括：训练集和测试集，对数据集的审核内容包括以下至少之一：数据集的来源、数据集的拆分以及数据集的处理；对风控模型进行外部测试，得到第四评估结果；基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值。
[0006]可选地，分析风控模型的预测失败事件产生的业务影响，得到第二评估结果，包括：通过模糊综合评价法确定预测失败事件的先验风险指数；基于先验风险指数确定第二评估结果。
[0007]可选地，通过模糊综合评价法确定预测失败事件的先验风险指数，包括：确定评估预测失败事件对应用方的业务影响的评价因素，其中，评价因素中包括以下至少之一：发生概率、影响程度、事前识别机制；按照预设的划分规则划分评价因素，并确定评估每个预测失败事件对应的评价值；对于每个预测失败事件，将各个评价因素对应的评价值之和作为预测失败事件的先验风险指数。
[0008]可选地，对风控模型进行外部测试，得到第四评估结果，包括：获取外部测试数据集，其中，外部测试数据集用于反映风控模型的模型输出结果；基于外部测试数据集确定第四评估结果。
[0009]可选地，基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值，包括：分别获取第一评估结果的第一权重值，第二评估结果的第二权重值，第三评估结果的第三权重值以及第四评估结果的第四权重值；
基于第一评估结果和第一权重值，第二评估结果和第二权重值，第三评估结果和第三权重值以及第四评估结果和第四权重值确定第一评估值。
[0010]可选地，在基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值之后，依据第一评估值确定对应的第一模型调优措施，其中，第一模型调优措施中包括：增加模型使用限制、调整模型训练数据集。
[0011]可选地，在基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值之后，该方法还包括：以报告形式输出第一评估结果、第二评估结果、第三评估结果和第四评估结果。
[0012]根据本申请实施例的另一方面，还提供了一种风控模型的评估方法，包括：评估风控模型的目标用途，得到第五评估结果；分析风控模型的外围资源，得到第六评估结果，其中，外围资源用于反映风控模型的使用方的资源信息；审核风控模型，得到第七评估结果，其中，对风控模型的审核内容包括以下至少之一：模型设计思路、数据处理方式；对风控模型进行内部测试，得到第八评估结果；基于第五评估结果、第六评估结果、第七评估结果和第八评估结果确定风控模型的使用方对风控模型的第二评估值。
[0013]可选地，在对风控模型进行内部测试，得到第八评估结果之后，该方法还包括：通过亚组分析法对风控模型进行内部测试，得到第一测试结果，其中，第一测试结果用于反映风控模型是否存在算法歧视。
[0014]可选地，在对风控模型进行内部测试，得到第八评估结果之后，该方法还包括：依据风控模型的应用场景创建对抗样本；基于对抗样本对风控模型进行对抗测试，得到第二测试结果，其中，第二测试结果用于反映风控模型的鲁棒性。
[0015]可选地，基于第五评估结果、第六评估结果、第七评估结果和第八评估结果确定风控模型的使用方对风控模型的第二评估值，包括：分别获取第五评估结果的第五权重值，第六评估结果的第六权重值，第七评估结果的第七权重值以及第八评估结果的第八权重值；基于第五评估结果和第五权重值，第六评估结果和第六权重值，第七评估结果和第七权重值以及第八评估结果和第八权重值确定第二评估值。
[0016]可选地，在基于第五评估结果、第六评估结果、第七评估结果和第八评估结果确定风控模型的使用方对风控模型的第二评估值之后，依据第二评估值确定对应的第二模型调优举措，其中，第二模型调优举措中包括：调整模型使用流程、调整模型阈值、调整模型算法设计。
[0017]可选地，在基基于第五评估结果、第六评估结果、第七评估结果和第八评估结果确定风控模型的使用方对风控模型的第二评估值之后，该方法还包括：以报告形式输出第五评估结果、第六评估结果、第七评估结果和第八评估结果。
[0018]根据本申请实施例的另一方面，还提供了一种风控模型的评估装置，包括：评估模块，用于评估风控模型的影响性质，得到第一评估结果；分析模块，用于分析风控模型的预测失败事件产生的业务影响，得到第二评估结果，其中，外围资源用于反映风控模型的使用方的资源信息；审核模块，用于审核用于训练风控模型的数据集，得到第三评估结果，其中，数据集包括：训练集和测试集，对数据集的审核内容包括以下至少之一：数据集的来源、数据集的拆分以及数据集的处理；测试模块，用于对风控模型进行外部测试，得到第四评估结果；确定模块，用于基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定
应用方对风控模型的第一评估值。
[0019]根据本申请实施例的另一方面，还提供了一种风控模型的评估装置，包括：评估模块，用于评估风控模型的目标用途，得到第五评估结果；分析模块，用于分析风控模型的外围资源，得到第六评估结果，其中，外围资源用于反映风控模型的使用方的资源信息；审核模块，用于审核风控模型，得到第七评估结果，其中，对风控模型的审核内容包括以下至少之一：模型设计思路、数据处理方式；测试模块，用于对风控模型进行内部测试，得到第八评估结果；确定模块，用于基于第五评估结果、第六评估结果、第七评估结果和第八评估结果确定风控模型的使用方对风控模型的第二评估值。
[0020]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，非易失性存储介质所在设备通过运行该程序执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风控模型的评估方法，其特征在于，包括：评估所述风控模型的影响性质，得到第一评估结果；分析所述风控模型的预测失败事件产生的业务影响，得到第二评估结果；审核用于训练所述风控模型的数据集，得到第三评估结果，其中，所述数据集包括：训练集和测试集，对所述数据集的审核内容包括以下至少之一：所述数据集的来源、所述数据集的拆分以及所述数据集的处理；对所述风控模型进行外部测试，得到第四评估结果；基于所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果确定所述风控模型的应用方对所述风控模型的第一评估值。2.根据权利要求1所述的方法，其特征在于，分析所述风控模型的预测失败事件产生的业务影响，得到第二评估结果，包括：通过模糊综合评价法确定所述预测失败事件的先验风险指数；基于所述先验风险指数确定所述第二评估结果。3.根据权利要求2所述的方法，其特征在于，通过模糊综合评价法确定所述预测失败事件的先验风险指数，包括：确定评估所述预测失败事件对所述应用方的业务影响的评价因素，其中，所述评价因素中包括以下至少之一：发生概率、影响程度、事前识别机制；按照预设的划分规则划分所述评价因素，并确定评估每个所述预测失败事件对应的评价值；对于每个所述预测失败事件，将各个所述评价因素对应的评价值之和作为所述预测失败事件的所述先验风险指数。4.根据权利要求1所述的方法，其特征在于，对所述风控模型进行外部测试，得到第四评估结果，包括：获取外部测试数据集，其中，所述外部测试数据集用于反映所述风控模型的模型输出结果；基于所述外部测试数据集确定所述第四评估结果。5.根据权利要求1所述的方法，其特征在于，基于所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果确定所述风控模型的应用方对所述风控模型的第一评估值，包括：分别确定所述第一评估结果的第一权重值，所述第二评估结果的第二权重值，所述第三评估结果的第三权重值以及所述第四评估结果的第四权重值；基于所述第一评估结果和第一权重值，所述第二评估结果和所述第二权重值，所述第三评估结果和所述第三权重值以及所述第四评估结果和所述第四权重值确定所述第一评估值。6.根据权利要求1所述的方法，其特征在于，在基于所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果确定所述风控模型的应用方对所述风控模型的第一评估值之后，所述方法还包括：依据所述第一评估值确定对应的第一模型调优措施，其中，所述第一模型调优措施中包括：增加模型使用限制、调整模型训练数据集。
7.根据权利要求1所述的方法，其特征在于，在基于所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果确定所述风控模型的应用方对所述风控模型的第一评估值之后，所述方法还包括：以报告形式输出所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果。8.一种风控模型的评估方法，其特征在于，包括：评估所述风控模型的目标用途，得到第五评估结果；分析所述风控模型的外围资源，得到第六评估结果，其中，所述外围资源用于反映所述风控模型的使用方的资源信息；审核所述风控模型，得到第七评估结果，其中，对所述风控模型的审核内容包括以下至少之一：模型设计思路、数据处理方式；对所述风控模型进行内部测试，得到第八评估结果；基于所述第五评估结果、所述第六评估结果、所述第七评估结果和所述第八评估结果确定所述风控模型的使用方对所述风控模型的第二评估值。9.根据权利要求8所述的方法，其特征在于，在对所述风控模型进行内部测试，得到第八评估结果之后，所述方法还包括：通过亚组分析法对所述风控模型进行内部...

【专利技术属性】
技术研发人员：张杰，
申请(专利权)人：北京银行股份有限公司，
类型：发明
国别省市：