模型验证方法及装置制造方法及图纸

本申请实施例提供了一种模型验证方法及装置

【技术实现步骤摘要】
模型验证方法及装置、存储介质、电子设备


[0001]本申请实施例涉及计算机领域，具体而言，涉及一种模型验证方法及装置
、
存储介质
、
电子设备
。

技术介绍

[0002]目前市面上还没有现成的闭源或开源的可自动化完成模型验证的装置
。
例如，银行模型验证人员通过编写统计分析系统
(Statistical Analysis System
，简称为
SAS)
代码完成对模型的投产前和投产后验证
。SAS
是在银行业应用最广泛的统计和数据分析软件，使用
SAS
可以完成对模型关键定义
、
数据质量
、
建模过程
、
建模结果的验证，但需要模型验证人员完成大量
SAS
代码编写工作，需要用户熟练掌握数据库表加工
、
统计学原理
、
数据挖掘方法
、
机器学习算法和模型验证方法论等技术和理论知识
。
模型验证中涉及到的验证方法和指标，例如，针对评分卡模型的账龄分析
、
滚动率分析
、
变量分布分析
、
相关性分析和共线性诊断
、WOE、IV、KS、AUC、PSI、
卡方检验
、
二项检验
、
排序性检验等等，均需要通过代码编写开发相应的功能单元，对模型验证人员构成较高技术门槛，且自动化程度较低，严重影响模型验证效率
。

技术实现思路

[0003]本申请实施例提供了一种模型验证方法及装置
、
存储介质
、
电子设备，以至少解决相关技术中对模型的验证效率低的问题
。
[0004]根据本申请的一个实施例，提供了一种模型验证方法，包括：确定目标模型的验证数据，其中，上述验证数据包括以下至少之一：上述目标模型的数据集，上述目标模型的运行参数；按照上述验证数据中包括的数据的数据类型加载上述验证数据；利用加载的上述验证数据对上述目标模型的架构和运行性能进行验证
。
[0005]根据本申请的另一个实施例，提供了一种模型验证装置，包括：第一确定模块，用于确定目标模型的验证数据，其中，上述验证数据包括以下至少之一：上述目标模型的数据集，上述目标模型的运行参数；第一加载模块，用于按照上述验证数据中包括的数据的数据类型加载上述验证数据；第一验证模块，用于利用加载的上述验证数据对上述目标模型的架构和运行性能进行验证
。
[0006]在一个示例性实施例中，上述第一确定模块，包括：第一接收单元，用于通过客户端接收输入的对上述目标模型进行验证的验证参数；第一保存单元，用于按照
JS
对象简谱的数据格式保存上述验证参数，得到上述验证数据
。
[0007]在一个示例性实施例中，上述第一加载模块，包括：第一加载单元，用于在上述验证数据中包括上述目标模型的数据集的情况下，从存储上述验证数据的数据库中加载上述目标模型的数据集，其中，上述数据集包括上述以下至少之一：训练上述目标模型的训练数据集，验证上述目标模型的验证数据集，监控上述目标模型运行的运行数据集
。
[0008]在一个示例性实施例中，上述第一验证模块，包括：第一获取单元，用于获取上述
数据集所在的第一数据表的表头字段和元数据信息，其中，上述表头字段中包括上述目标模型的数据集的属性信息，上述元数据信息中包括上述数据集的数据信息；第一验证单元，用于利用上述表头字段和元数据信息对上述数据集的数据质量和数据分布进行验证，以验证上述目标模型的架构和运行性能
。
[0009]在一个示例性实施例中，上述第一验证模块，包括：第一确定单元，用于在上述数据集包括训练上述目标模型的训练数据集的情况下，利用上述训练数据集确定上述目标模型的滚动率和账龄；第二验证单元，用于利用上述滚动率和上述账龄对上述目标模型的架构和运行性能进行验证，其中，上述滚动率用于验证上述目标模型对目标对象的分类，上述账龄用于验证上述目标对象的分类变化周期
。
[0010]在一个示例性实施例中，上述第一加载模块，包括：第二加载单元，用于在上述验证数据中包括上述目标模型的运行参数的情况下，从存储上述验证数据的数据库中加载上述运行参数，其中，上述运行参数包括以下至少之一：上述目标模型的属性信息，构建上述目标模型的过程中生成的模型信息
。
[0011]在一个示例性实施例中，上述第一验证模块，包括：第三验证单元，用于在上述验证数据包括上述目标模型的数据集和上述目标模型的运行参数的情况下，利用上述运行参数验证上述数据集的变量，以验证上述目标模型的架构和运行性能
。
[0012]在一个示例性实施例中，上述第一验证模块，包括：第一重现单元，用于在上述验证数据包括上述目标模型的运行参数的情况下，利用上述运行参数重现上述目标模型的构建过程；第四验证单元，用于基于上述构建过程验证上述目标模型的区分性
、
稳定性和准确性，其中，上述区分性用于验证上述目标模型对目标对象进行分类的能力，上述稳定性用于验证上述目标模型中的数据集的分布情况，上述准确性用于验证上述目标模型预测的能力
。
[0013]在一个示例性实施例中，上述装置还包括：第一设置模块，用于利用加载的上述验证数据对上述目标模型的架构和运行性能进行验证之后，将验证结果设置在验证文档中，生成验证报告，其中，上述验证报告中包括以下至少之一：上述验证结果的目录数据，上述验证结果的分析数据，上述验证结果的属性数据
。
[0014]根据本申请的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤
。
[0015]根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤
。
[0016]通过本申请，由于确定了目标模型的验证数据，并按照验证数据中包括的数据的数据类型加载验证数据；利用加载的验证数据对目标模型的架构和运行性能进行验证
。
并不需要模型验证人员进行代码编写，降低了模型验证的技术门槛，提高了模型验证的效率，避免由于模型带病运行而造成的模型风险
。
因此，可以解决相关技术中对模型的验证效率低的问题，达到提高模型验证效率的效果
。
附图说明
[0017]图1是本申请实施例的一种模型验证方法的移动终端的硬件结构框图；
[0018]图2是根据本申请实施例的模型验证方法的流程图；
[0019]图3是根据本申请实施例的加载验证数据的流程图；
[0020本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型验证方法，其特征在于，包括：确定目标模型的验证数据，其中，所述验证数据包括以下至少之一：所述目标模型的数据集，所述目标模型的运行参数；按照所述验证数据中包括的数据的数据类型加载所述验证数据；利用加载的所述验证数据对所述目标模型的架构和运行性能进行验证
。2.
根据权利要求1所述的方法，其特征在于，确定目标模型的验证数据，包括：通过客户端接收输入的对所述目标模型进行验证的验证参数；按照
JS
对象简谱的数据格式保存所述验证参数，得到所述验证数据
。3.
根据权利要求1所述的方法，其特征在于，按照所述验证数据中包括的数据的数据类型加载所述验证数据，包括：在所述验证数据中包括所述目标模型的数据集的情况下，从存储所述验证数据的数据库中加载所述目标模型的数据集，其中，所述数据集包括所述以下至少之一：训练所述目标模型的训练数据集，验证所述目标模型的验证数据集，监控所述目标模型运行的运行数据集
。4.
根据权利要求3所述的方法，其特征在于，利用加载的所述验证数据对所述目标模型的架构和运行性能进行验证，包括：获取所述数据集所在的第一数据表的表头字段和元数据信息，其中，所述表头字段中包括所述目标模型的数据集的属性信息，所述元数据信息中包括所述数据集的数据信息；利用所述表头字段和元数据信息对所述数据集的数据质量和数据分布进行验证，以验证所述目标模型的架构和运行性能
。5.
根据权利要求3所述的方法，其特征在于，利用加载的所述验证数据对所述目标模型的架构和运行性能进行验证，包括：在所述数据集包括训练所述目标模型的训练数据集的情况下，利用所述训练数据集确定所述目标模型的滚动率和账龄；利用所述滚动率和所述账龄对所述目标模型的架构和运行性能进行验证，其中，所述滚动率用于验证所述目标模型对目标对象的分类，所述账龄用于验证所述目标对象的分类变化周期
。6.
根据权利要求1所述的方法，其特征在于，按照所述验证数据中包括的数据的数据类型加载所述验证数据，包括：在所述验证数据中包括所述目标模型的运行参数的情况下，从存储所述验证数据的数据库中加载所述运行参数，其中，所述运行参数包括以下至少之一：...

【专利技术属性】
技术研发人员：杨俊，狄梦瑶，马远刚，池燕玲，杨洁，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：