一种模型入模变量异常监控方法和装置制造方法及图纸

本发明专利技术涉及一种模型入模变量异常监控方法和装置，其中，该方法包括：获取目标模型的有效特征变量以及所述有效特征变量的分箱；获取所述目标模型的所述有效特征变量的值，并计算所述目标模型的所述有效特征变量的每个分箱的特征占比；根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常。通过本申请，解决了相关技术中模型入模变量监控系统监控方式内容单一导致监控准确度较低的问题，通过对每一个特征变量在其对应模型下的分箱监控，充分的把握特征变量每一个分箱的情况以及模型整体的效果，实现了更加细致化，全面化，准确化的监控。的监控。的监控。

【技术实现步骤摘要】
一种模型入模变量异常监控方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种模型入模变量异常监控方法、装置、计算机设备和计算机可读存储介质。

技术介绍

[0002]在相关技术中，风控模型入模变量监控流程主要包括以下步骤：
[0003]步骤S101，特征变量入模，即模型系统实时从库中获取每个模型对应所需的特征变量，按照一定规则进行计算；
[0004]步骤S102，结果数据入数据库，即将整个模型系统中的任何事件和结果都记录在数据库中；
[0005]步骤S103，读取文件配置，即读取监控系统中所需的所有配置文件，如线上运行的模型；
[0006]步骤S104，模型维度计算特征空值率，即按照模型维度，计算每一个模型对应的每一个特征空值占比；
[0007]步骤S105，结果与固定阈值比较告警，即将步骤S104计算的结果与读取的配置文件中设置的固定阈值进行比较，如果大于或者小于设定值将会告警；
[0008]步骤S106，全部特征可视化展示，即线上运行的模型全部进行可视化展示。
[0009]上述监控流程存在以下技术缺陷：
[0010]1、这套监控系统监控的方式内容比较单一，只是简单的监控特征变量的个数，空值，缺失率等。这种监控系统比较大，不能体现细节，不太准确，仅仅反应模型整体特征变量的情况。对于细节，如每个模型中的每一特征对应的各个分箱里面的特征值的占比情况不得而知，比如模型A中有一个变量B，IV值二点多，有五个分箱[
‑
inf，3)，[3，5)，[5，6)，[6，9)，[9，inf)，其中[
‑
inf，3)是最好的分数区间，[9，inf)是这个特征变量最差的区间，突然有一天[
‑
inf，3)的个数为0，[9，inf)的个数特别多，但是整体的空值率在阈值范围内，这样的现象会导致模型效果受到影响，如果是特征计算或者获取出现问题，并且一直没有发现，这是一个比较严重的问题。
[0011]2、对于特征变量是否异常的判断现有监控系统全部采用固定阈值的方式，在运行一段时间内，发现此方式有非常大的弊端。就是对阈值的选取要求非常高，如果选取太小，则告警的内容会非常多，如果选取的特别大，那么异常的特征变量可能就检测不到，不能够发现模型中存在的问题，如果不能及时解决，有可能对整个模型有不可预估的风险。为了避免检测不到异常数据，普遍阈值都偏小，最终造成的结果是告警的内容非常多，有时候需要多个部门配合查找具体原因，人工排查成本非常大。
[0012]3、可视化部分是全部在线模型进行展示，可视化的内容以及个数就非常的多，这将导致不想去查看这部分内容，或者查看忽略了其中的一些内容，导致整体的监控效果不是很好。
[0013]4、模型入模变量的异常监控系统中所有的配置是手动配置，有时候会存在忘记配
置的情况，导致最新上线的模型特征变量没有及时得到监控。
[0014]目前，针对相关技术中模型入模变量监控系统监控方式内容单一导致监控准确度较低的问题，尚未提出有效的解决方案。

技术实现思路

[0015]本申请的目的是针对现有技术中的不足，提供一种模型入模变量异常监控方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中模型入模变量监控系统监控方式内容单一导致监控准确度较低的问题。
[0016]为实现上述目的，本申请采取的技术方案是：
[0017]第一方面，本申请实施例提供了一种模型入模变量异常监控方法，包括：
[0018]获取目标模型的有效特征变量以及所述有效特征变量的分箱；
[0019]获取所述目标模型的所述有效特征变量的值，并计算所述目标模型的所述有效特征变量的每个分箱的特征占比；
[0020]根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常。
[0021]在其中一些实施例中，所述获取目标模型的有效特征变量以及所述有效特征变量的分箱包括：
[0022]获取训练模型的训练结果，其中，所述训练模型用于利用历史数据作为训练数据进行训练得到训练结果，所述训练结果包括：所述有效特征变量以及所述有效特征变量的分箱。
[0023]在其中一些实施例中，还包括：
[0024]基于所述历史数据计算所述训练模型的所述有效特征变量的每个分箱的特征占比；
[0025]将所述目标模型的所述有效特征变量的每个分箱的特征占比与所述训练模型的所述有效特征变量的每个分箱的特征占比进行对比分析。
[0026]在其中一些实施例中，根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常包括：
[0027]对所述目标模型的所述有效特征变量的每个分箱执行下述步骤：
[0028]计算当天所述目标模型的所述有效特征变量的目标分箱的特征占比，其中，所述目标分箱为所述有效特征变量的多个分箱中的其中之一；
[0029]计算前目标数量天的所述目标分箱的特征占比的平均值和标准差；
[0030]判断当天的所述目标分箱的特征占比与所述平均值的差值的绝对值是否大于目标倍数的所述标准差；
[0031]若当天的所述目标分箱的特征占比与所述平均值的差值的绝对值大于目标倍数的所述标准差，则确定当天的所述目标分箱的特征占比异常。
[0032]在其中一些实施例中，根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常还包括：
[0033]判断当天的所述目标分箱的特征占比是否在预设数值范围内；
[0034]若当天的所述目标分箱的特征占比不在预设数值范围内，则确定当天的所述目标
分箱的特征占比异常。
[0035]在其中一些实施例中，根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常包括：
[0036]确定所述目标模型的所述有效特征变量中的目标特征变量，其中，所述目标特征变量为所述有效特征变量中的其中之一；
[0037]基于所述历史数据计算所述训练模型的所述目标特征变量的每个分箱的特征占比；
[0038]按照以下公式计算PSI值：
[0039][0040]其中，Ai为所述目标模型的所述目标特征变量的第i个分箱的特征占比，Ei为所述训练模型的所述目标特征变量的第i个分箱的特征占比，n为所述目标模型的所述目标特征变量的分箱数量；
[0041]在所述PSI值大于第一目标阈值时，确定所述目标模型的所述目标特征变量异常。
[0042]在其中一些实施例中，还包括：
[0043]从生产环境模型执行日志中提取在线模型以及所述在线模型对应的被调用次数；
[0044]将被调用次数高于第二目标阈值的在线模型确定为所述目标模型。
[0045]在其中一些实施例中，还包括：
[0046]在确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型入模变量异常监控方法，其特征在于，包括：获取目标模型的有效特征变量以及所述有效特征变量的分箱；获取所述目标模型的所述有效特征变量的值，并计算所述目标模型的所述有效特征变量的每个分箱的特征占比；根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常。2.根据权利要求1所述的模型入模变量异常监控方法，其特征在于，所述获取目标模型的有效特征变量以及所述有效特征变量的分箱包括：获取训练模型的训练结果，其中，所述训练模型用于利用历史数据作为训练数据进行训练得到训练结果，所述训练结果包括：所述有效特征变量以及所述有效特征变量的分箱。3.根据权利要求2所述的模型入模变量异常监控方法，其特征在于，还包括：基于所述历史数据计算所述训练模型的所述有效特征变量的每个分箱的特征占比；将所述目标模型的所述有效特征变量的每个分箱的特征占比与所述训练模型的所述有效特征变量的每个分箱的特征占比进行对比分析。4.根据权利要求2所述的模型入模变量异常监控方法，其特征在于，根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常包括：对所述目标模型的所述有效特征变量的每个分箱执行下述步骤：计算当天所述目标模型的所述有效特征变量的目标分箱的特征占比，其中，所述目标分箱为所述有效特征变量的多个分箱中的其中之一；计算前目标数量天的所述目标分箱的特征占比的平均值和标准差；判断当天的所述目标分箱的特征占比与所述平均值的差值的绝对值是否大于目标倍数的所述标准差；若当天的所述目标分箱的特征占比与所述平均值的差值的绝对值大于目标倍数的所述标准差，则确定当天的所述目标分箱的特征占比异常。5.根据权利要求4所述的模型入模变量异常监控方法，其特征在于，根据所述目标模型的所述有效特征变量的每个分箱的特征占比，确定所述目标模型的所述有效特征变量有无异常还包括：判断当天的所述目标分箱的特征占比是否在预设数值范围内；若当天的所述目标分箱的特征占比不在预设数值范围内，则确定...

【专利技术属性】
技术研发人员：陈秋石，杨佳文，
申请(专利权)人：上海旭荣网络科技有限公司，
类型：发明
国别省市：