一种模型性能衰减评价方法、模型训练方法及装置制造方法及图纸

本发明专利技术提供一种模型性能衰减评价方法、模型训练方法及装置，该方法包括：获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应；根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。通过本发明专利技术提供的模型性能衰减评价方法，可以提高模型性能衰减评价的效率。

【技术实现步骤摘要】
一种模型性能衰减评价方法、模型训练方法及装置
本专利技术涉及信息处理
，尤其涉及一种模型性能衰减评价方法、模型训练方法及装置。
技术介绍
随着人工智能技术的不断发展，机器学习模型在各个
的应用越来越广泛。以互联网金融领域为例，在金融风控审批中建立以逻辑回归、集成树、神经网络等为基础的反欺诈、贷前审批、贷中管理及贷后催收模型，以帮助风控业务人员更加有效的结合规则进行业务操作，并最大程度的找到优质客户最大集合，最小程度的误判还款意愿或还款能力低的客户为正常或优质客户。为了保证模型的有效性，往往需要对模型进行性能评价，以确认模型是否衰减。目前，在模型验证性能无问题上线后，往往是通过对模型分数(例如、KS(Kolmogorov-Smirnov)、AUC(AreaUnderCurve，ROC曲线下的面积)、PSI(PopulationStabilityIndex，群体稳定性指标)等性能指标值)、变量分布进行实时监控，以评价模型在线上的性能表现，当某指标变化异常或触发设定阈值时，则会提示异常，由相应模型开发人员评估异常提示，判断模型是否衰减，可见，现有技术中模型衰减评价的效率较低。
技术实现思路
本专利技术实施例提供一种模型性能衰减评价方法、模型训练方法及装置，以解决现有技术中模型衰减评价的效率较低的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种模型性能衰减评价方法。该方法包括：获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。第二方面，本专利技术实施例提供了一种模型训练方法。该方法包括：分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。第三方面，本专利技术实施例还提供一种模型性能衰减评价装置。该模型性能衰减评价装置包括：第一获取模块，用于获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；第一确定模块，用于根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；输入模块，用于将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。第四方面，本专利技术实施例还提供一种模型训练装置。该模型训练装置包括：第二获取模块，用于分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；第三确定模块，用于分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；训练模块，用于根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。第五方面，本专利技术实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的模型性能衰减评价方法的步骤，或者实现上述的模型训练方法的步骤。第六方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型性能衰减评价方法的步骤，或者实现上述的模型训练方法的步骤。本专利技术实施例中，通过预先训练的性能衰减评价模型直接对目标模型进行性能衰减评价，而无需借助人工判断，可以提高模型性能衰减评价的效率。此外，在考虑所述评价样本输入所述目标模型的各个输入变量值、所述评价样本输入所述目标模型所得到的日志信息和所述评价样本输入所述目标模型所得到的样本评分等业务相关特征对目标模型进行性能衰减评价的情况下，不仅可以提高模型衰减评价的准确性，还便于快速定位到模型性能下降的原因。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的模型性能衰减评价方法的流程图；图2是本专利技术实施例提供的不同月份上线的模型组在其不同MOB下的衰减模型占比的示意图；图3是本专利技术实施例提供的模型训练方法的流程图；图4是本专利技术实施例提供的模型性能衰减评价系统的示意图；图5是本专利技术实施例提供的模型性能衰减评价装置的结构图；图6是本专利技术实施例提供的模型训练装置的结构图；图7是本专利技术又一实施例提供的模型性能衰减评价装置的结构图；图8是本专利技术又一实施例提供的模型训练装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全本文档来自技高网...

【技术保护点】
1.一种模型性能衰减评价方法，其特征在于，包括：/n获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；/n根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；/n将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。/n

【技术特征摘要】
1.一种模型性能衰减评价方法，其特征在于，包括：
获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；
根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；
将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。


2.根据权利要求1所述的方法，其特征在于，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征，所述N个评价样本包括以同一统计周期为统计基准的M个统计时间内输入所述目标模型的评价样本，M为正整数；
所述根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征，包括：
分别将所述目标模型的N组业务相关特征中对应同一统计时间的业务相关特征进行聚合计算，得到所述目标模型的每个统计时间对应的聚合评价特征；
根据所述目标模型的M个统计时间对应的聚合评价特征确定所述目标模型的目标评价特征。


3.根据权利要求2所述的方法，其特征在于，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型的各个输入变量值，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的第一变量指标值，所述目标模型的第一变量指标值为所述目标模型的输入变量值矩阵与所述目标模型的基准变量值矩阵之间的相似度，所述目标模型的输入变量值矩阵为所述目标模型的第一变量值集合形成的矩阵，所述目标模型的基准变量值矩阵为与所述目标模型的第一变量值集合对应的基准变量值集合形成的矩阵，所述目标模型的第一变量值集合包括同一统计时间内所述目标模型的各个输入变量值；
所述目标模型的第二变量指标值，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的各个输入变量对应的第一变量值分别为所述目标模型的各个输入变量对应的第二变量值集合中与对应的基准变量值不同的变量值，所述目标模型的各个输入变量对应的第二变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第三变量指标值，所述目标模型的第三变量指标值为根据所述目标模型的各个输入变量对应的第二变量值的数量确定的值，所述目标模型的各个输入变量对应的第二变量值分别为所述目标模型的各个输入变量对应的第三变量值集合中已知异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第四变量指标值，所述目标模型的第四变量指标值为根据所述目标模型的各个输入变量对应的统计异常值的数量确定的值，所述目标模型的各个输入变量对应的统计异常值分别为所述目标模型的各个输入变量对应的第三变量值中经由预设异常值检验方法确定为异常的输入变量值，所述目标模型的各个输入变量对应的第三变量值分别为所述目标模型的各个输入变量对应的第四变量值集合中除已知异常的输入变量值之外的输入变量值，所述目标模型的各个输入变量对应的第四变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值；
所述目标模型的第五变量指标值，所述目标模型的第五变量指标值根据所述目标模型的各个输入变量对应的PSI值确定，所述目标模型的各个输入变量对应的PSI值分别为根据所述目标模型的各个输入变量对应的第五变量值集合与第六变量值集合计算得到的PSI值，所述目标模型的各个输入变量对应的第五变量值集合分别包括同一统计时间内所述目标模型的各个输入变量对应的输入变量值，所述目标模型的各个输入变量对应的第六变量值集合分别为基准统计时间内所述目标模型的各个输入变量对应的变量值。


4.根据权利要求2所述的方法，其特征在于，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的日志信息，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的日志码向量集合，所述目标模型的日志码向量集合包括对所述目标模型的第一日志信息集合中的各个日志码进行独热编码得到的向量，所述目标模型的第一日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息；
所述目标模型的格式检测值集合，所述目标模型的格式检测值集合包括所述目标模型的第二日志信息集合中各个日志信息对应的格式检测值，所述目标模型的第二日志信息集合包括N个所述日志信息中属于同一统计时间内的日志信息，所述格式检测值用于指示对应的日志信息中的出入参格式与参考格式是否一致。


5.根据权利要求2所述的方法，其特征在于，所述目标模型的每组业务相关特征均包括所述评价样本输入所述目标模型所得到的样本评分，所述目标模型的每个统计时间对应的聚合评价特征均包括如下至少一项：
所述目标模型的分数异常指标值，所述目标模型的分数异常指标值为根据所述目标模型的异常样本评分的数量确定的值，所述目标模型的异常样本评分为所述目标模型的第一样本评分集合中与对应的基准样本评分不同的样本评分，所述目标模型的第一样本评分集合为N个所述样本评分中属于同一统计时间内的样本评分；
所述目标模型的分数异常检测值集合，所述目标模型的分数异常检测值集合包括所述目标模型的第二样本评分集合中的各个样本评分对应的分数异常检测值，所述目标模型的第二样本评分集合为N个所述样本评分中属于同一统计时间内的样本评分，所述分数异常检测值用于指示对应的样本评分是否位于预设区间内。


6.根据权利要求2所述的方法，其特征在于，M为大于1的整数，所述目标模型的目标评价特征至少包括所述目标模型的RFM特征，所述目标模型的RFM特征为对所述目标模型的M个统计时间对应的聚合评价特征进行RFM分析得到的特征。


7.根据权利要求6所述的方法，其特征在于，所述目标模型的每个统计时间对应的聚合评价特征均包括所述目标模型的第二变量指标值、所述目标模型的格式检测值集合和所述目标模型的分数异常指标值；
其中，所述目标模型的第二变量指标值为根据所述目标模型的各个输入变量对应的第一变量值的数量确定的值，所述目标模型的输入变...

【专利技术属性】
技术研发人员：朱惠嘉，高民东，蒋宁，卞正，吴海英，林亚臣，陈俊旭，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：重庆;50