评价模型的更新方法及系统技术方案

本发明专利技术提供了一种评价模型的更新方法及系统。本发明专利技术的评价模型的更新方法，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。本发明专利技术的评价模型的更新方法及系统，可实时更新评价算法，缩短周期，提高系统性能，降低成本。

【技术实现步骤摘要】

本专利技术涉及数据处理
，具体涉及一种评价模型的更新方法及系统。
技术介绍
评价模型(评分模型)的应用广泛。例如，借贷款等等应用，需要评价用户的信用，就会利用到信用评分模型；又例如，投放广告、分析用户购买需求等等应用，需要评价用户的需求，就会利用到需求评分模型。目前采用的技术方案通常是，线下完成样本训练，建立评价模型，然后人为对评价模型进行线下验证，验证通过后上线运行。以借贷款流程为例，其评价用户信用的评价模型的生成及更新过程如下：利用已有的样本进行训练，建立评价模型；等待样本的表现，待一段表现期之后，得到样本的表现结果，人为根据样本的表现结果验证评价模型；验证通过后，上线运行。可以按照设定的周期或者根据需求，人为启动上述过程，从而更新评价模型。其中，一个客户对应一个样本。现有的评价模型的更新周期较长、成本较高。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种评价模型的更新方法及系统，以减少评价模型的更新周期，降低成本。第一方面，本专利技术提供的评价模型的更新方法，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。可选地，所述监控运行平台运行的当前评价模型的稳定性，包括：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。可选地，所述监控运行平台运行的当前评价模型的准确性，包括：根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控所述当前评价模型的准确性。可选地，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型，包括：按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大；若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。可选地，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，包括：利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。第二方面，本专利技术提供的评价模型的更新装置，包括：当前模型监控单元，用于监控运行平台运行的当前评价模型的稳定性和/或准确性；新模型测试单 元，用于若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；模型更新单元，用于将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。可选地，所述前模型监控单元具体用于：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。可选地，所述当前模型监控单元具体用于：根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控所述当前评价模型的准确性。可选地，所述新模型测试单元具体用于：按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大；若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。可选地，所述新模型测试单元具体用于：利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。由上述技术方案可知，本专利技术提供的评价模型的更新方法及装置，可实时更新评价算法，缩短周期，提高系统性能，降低成本。附图说明图1为本专利技术实施例所提供的一种评价模型的更新方法的流程图；图2为本专利技术实施例所提供的一种评价模型的更新装置的结构框图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只是作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。如图1所示，本专利技术实施例的评价模型的更新方法包括：步骤S10，监控运行平台运行的当前评价模型的稳定性和/或准确性；步骤S20，若当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；步骤S30，将运行平台运行的当前评价模型替换为可用的所述新评价模型。本专利技术实施例提供的方法，可实时、自动化地更新评价模型，缩短周期，提高系统性能，降低成本。本专利技术实施例中，监控模型的稳定性的技术手段有多种。为了更好地监控评价模型的稳定性，本专利技术实施例提供步骤S10的一种优选实现方式：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示当前评价模型不稳定。实时监控PSI指标，以PSI指标是否超出阈值作为更新的触发条件，实现了实时、自动化地更新评价模型。其中，PSI的取值在0～1之间；阈值可以选取0.02、0.05等等，也可根据实际需求设置。PSI监控的具体实现方式不限。例如，在样本量较多的情况下，每天监控当天的新样本，根据当天的PSI取值判断稳定性；在样本量较少的情况下，每天监控之前7天内的新样本，根 据之前7天的PSI的取值判断稳定性。一旦判定模型不稳定，即触发生成新的评价模型。本专利技术实施例中，监控模型的准确性的技术手段有多种。为了更好地监控评价模型的准确性，本专利技术实施例还提供步骤S10的另一种优选实现方式：根据运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控当前评价模型的准确性。具体以借贷款为例说明上述方案：假设客户的借贷分为3期，每期1个月，即每月还款，共还3个月。那么，每次还款都会有至少如下结果：按期还款、逾期还款，据此更新样本，并判断按期还款的比例，当按期还款的比例达到设定值，则模型准确，否则模型不准确。本专利技术实施例中，上述步骤S20的实现方式有多种。为了得到准确的评价模型，本专利技术实施例提供步骤S20的一种优选实现方式：包括：按照多种算法分别生成新评价模型；在测试平台分别运行各个新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最本文档来自技高网...

【技术保护点】
一种评价模型的更新方法，其特征在于，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。

【技术特征摘要】
1.一种评价模型的更新方法，其特征在于，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。2.根据权利要求1所述的方法，其特征在于，所述监控运行平台运行的当前评价模型的稳定性，包括：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。3.根据权利要求1所述的方法，其特征在于，所述监控运行平台运行的当前评价模型的准确性，包括：根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控所述当前评价模型的准确性。4.根据权利要求1～3任一项所述的方法，其特征在于，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型，包括：按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最
\t大；若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。5.根据权利要求1～3任一项所述的方法，其特征在于，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，包括：利用预设比例的已有样本生成新评价模型，并在测试平台运行...

【专利技术属性】
技术研发人员：刘慧，贾西贝，
申请(专利权)人：深圳市华傲数据技术有限公司，
类型：发明
国别省市：广东;44