一种风控分析模型的评估方法及装置制造方法及图纸

本申请提供的风控分析模型的评估方法及装置，针对原始风控分析模型进行部分参数调整得到实验风控分析模型。获取实验风控分析模型输出的实验模型结果，进一步分析实验模型结果得到实验结果指标；以及，获取非实验风控分析模型输出的参照模型结果，进一步分析参照模型结果得到参照结果指标。然后，基于T

【技术实现步骤摘要】
一种风控分析模型的评估方法及装置


[0001]本专利技术属于计算机
，尤其涉及一种风控分析模型的评估方法及装置。

技术介绍

[0002]风控系统主要通过对各个维度的数据进行分析整合，形成风控分析模型，为业务安全提供参考依据，例如，通过信贷风控系统中的风控分析模型审核某个用户(如，企业或个人)的授信、用信、交易等申请是否满足相应的申请条件，即，该用户的上述申请是否允许。又如，在网络安全领域，通过相应的风控分析模型能够分析出潜在的影响网络安全的网络事件。
[0003]随着风控业务的改变，需要风控系统的研发人员对现有的风控分析策略进行调整，得到最精准的风控分析模型，最终提升业务安全性。目前的风控分析模型的调整过程通常是先将原有风控分析模型中某些参数或某些分析策略进行调整，得到多个不同的风控分析模型，然后对每个风控分析模型进行实验，根据实验结果对每个风控分析模型的效果进行评估。
[0004]相关技术中，将部分样本数据(即，实验样本数据)输入实验的风控分析模型进行分析得到相应的指标结果，同时，将另一部分样本数据(即，参照样本数据)输入非实验的风控分析模型进行分析得到相应的指标结果，然后，通过对比实验模型和非实验模型得到的指标结果评估实验的风控分析模型的效果，最终选出效果最优的模型作为最终投入使用的模型实际应用时，实验样本数据相对于参照样本数据的数量很小，仅通过简单对比指标结果的方式，无法说明当前的评估结果是否可信。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种风控分析模型的评估方法及装置，以解决现有的模型评估方法不准确的技术问题，具体的技术方案如下：
[0006]第一方面，本专利技术提供了一种风控分析模型的评估方法，包括：
[0007]获取所述实验风控分析模型分析实验样本数据得到的实验模型结果，并分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；
[0008]获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果，并分析所述参照模型结果得到参照结果指标；
[0009]针对任一所述实验结果指标，基于T
‑
test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；
[0010]根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。
[0011]在第一方面一种可能的实现方式中，所述针对任一所述实验结果指标，基于T
‑
test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所
述实验结果指标的置信度，包括：
[0012]针对每个所述实验结果指标，执行以下步骤：
[0013]确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；
[0014]当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T
‑
test单独立样本公式，计算得到所述实验结果指标的置信度；
[0015]当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T
‑
test单独立样本公式，计算得到所述实验结果指标的置信度。
[0016]在第一方面另一种可能的实现方式中，所述根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度，包括：
[0017]当各个所述实验结果指标的置信度均大于或等于第一阈值时，确定所述实验风控分析模型的分析结果可信。
[0018]在第一方面又一种可能的实现方式中，所述方法还包括：
[0019]获取各个所述实验结果指标对应的指标给定值；
[0020]基于所述T
‑
test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。
[0021]在第一方面再一种可能的实现方式中，所述基于所述T
‑
test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量，包括：
[0022]针对所述实验风控分析模型的任一实验结果指标，执行以下步骤：
[0023]根据所述实验结果指标期望值、提升比例、接受正确假设的概率、拒绝错误假设的概率、样本比例，利用基于T
‑
test单独立样本公式得到的与所述实验结果指标的类型相匹配的样本数量计算公式，计算得到所述实验结果指标的置信度大于或等于所述预设置信度所对应的最小实验样本数量。
[0024]第二方面，本专利技术还提供了一种风控分析模型的评估装置，包括：
[0025]实验结果获取模块，用于获取所述实验风控分析模型分析实验样本数据得到的实验模型结果；
[0026]实验指标获取模块，用于分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；
[0027]参照结果获取模块，用于获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果；
[0028]参照指标获取模块，用于分析所述参照模型结果得到参照结果指标；
[0029]指标置信度计算模块，用于针对任一所述实验结果指标，基于T
‑
test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；
[0030]实验结果可信度确定模块，用于根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。
[0031]在第二方面的一种可能的实现方式中，所述指标置信度计算模块，包括：
[0032]指标类型确定子模块，用于确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；
[0033]第一置信度计算子模块，用于当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T
‑
test单独立样本公式，计算得到所述实验结果指标的置信度；
[0034]第二置信度计算子模块，用于当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T
‑
test单独立样本公式，计算得到所述实验结果指标的置信度。
[0035]在第二方面的另一种可能的实现方式中，所述装置还包括：
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风控分析模型的评估方法，其特征在于，包括：获取所述实验风控分析模型分析实验样本数据得到的实验模型结果，并分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果，并分析所述参照模型结果得到参照结果指标；针对任一所述实验结果指标，基于T
‑
test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。2.根据权利要求1所述的方法，其特征在于，所述针对任一所述实验结果指标，基于T
‑
test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度，包括：针对每个所述实验结果指标，执行以下步骤：确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T
‑
test单独立样本公式，计算得到所述实验结果指标的置信度；当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T
‑
test单独立样本公式，计算得到所述实验结果指标的置信度。3.根据权利要求1所述的方法，其特征在于，所述根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度，包括：当各个所述实验结果指标的置信度均大于或等于第一阈值时，确定所述实验风控分析模型的分析结果可信。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取各个所述实验结果指标对应的指标给定值；基于所述T
‑
test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。5.根据权利要求4所述的方法，其特征在于，所述基于所述T
‑
test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量，包括：针对所述实验风控分析模型的任一实验结果指标，执行以下步骤：根据所述实验结果指标期望值、提升比例、接受正确假设的概率、拒绝错误假设的概率、样本比例，利用基于T
‑
t...

【专利技术属性】
技术研发人员：王展昭，邱芳芳，谭领航，张晨，
申请(专利权)人：重庆度小满优扬科技有限公司，
类型：发明
国别省市：