用于评估模型性能的系统和方法技术方案

一种用于评估差异模型的性能的系统和方法。该方法可以包括：由至少一台计算机获取第一样本集和第二样本集；由所述至少一个计算机将所述第一样本集分成至少两个第一样本子集，每个第一样本子集提供一个平均第一样本子集特征值；由至少一台计算机将第二样本集分成至少两个第二样本子集；每个第二样本子集提供一个平均第二样本子集特征值；由所述至少一个计算机基于第一模型和第二模型之间的平均差异、显著性水平和置信区间确定第一模型和第二模型之间的最终模型。

【技术实现步骤摘要】
【国外来华专利技术】用于评估模型性能的系统和方法
本申请一般涉及模型性能评估的
，并且具体地，涉及用于基于不同模型之间的样本的处理结果来确定更好的模型的系统和方法。
技术介绍
公司的大多数业务索引由算法和/或策略模型直接或间接支持。为了改善某个商业指数，一种可行的方法是用新的模型替换旧的模型。但是，更换模型可能会导致相当甚至更糟的结果。因此，希望提供用于有效评估不同模型的性能的系统和方法。
技术实现思路
根据本申请的一个方面，提供一种系统，该系统可以包括一个或以上存储介质，包括用于模型评估的指令集，以及被配置用于与一个或以上存储介质通信的一个或以上处理器，其中当执行指令集时，所述一个或以上处理器用于：获取第一样本集和第二样本集，其中所述第一样本集包括基于第一模型的至少两个第一样本，所述第二样本集包括基于第二模型的至少两个第二样本，并且第一样本和第二样本中的每一个样本包括一个特征值；将第一样本集分成至少两个第一样本子集，每个第一样本子集提供平均第一样本子集特征值；将第二样本集分成至少两个第二样本子集；每个第二样本子集提供平均第二样本子集特征本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n一个或以上存储介质，所述存储介质包括用于模型评估的指令集；以及/n一个或以上处理器，所述处理器被配置为与所述一个或以上存储介质通信，其中当执行所述指令集时，所述一个或以上处理器用于：/n(a)获取第一样本集及第二样本集，其中：/n(i)第一样本集包括基于第一模型的至少两个第一样本，/n(ii)第二样本集包括基于第二模型的至少两个第二样本，以及/n(iii)所述第一样本及所述第二样本各自包括一个特征值，/n(b)将所述第一样本集划分为至少两个第一样本子集，每个所述第一样本子集提供一个平均第一样本子集特征值；/n(c)将所述第二样本集划分为至少两个第二样本子集，每个所述第二...

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：
一个或以上存储介质，所述存储介质包括用于模型评估的指令集；以及
一个或以上处理器，所述处理器被配置为与所述一个或以上存储介质通信，其中当执行所述指令集时，所述一个或以上处理器用于：
(a)获取第一样本集及第二样本集，其中：
(i)第一样本集包括基于第一模型的至少两个第一样本，
(ii)第二样本集包括基于第二模型的至少两个第二样本，以及
(iii)所述第一样本及所述第二样本各自包括一个特征值，
(b)将所述第一样本集划分为至少两个第一样本子集，每个所述第一样本子集提供一个平均第一样本子集特征值；
(c)将所述第二样本集划分为至少两个第二样本子集，每个所述第二样本子集提供一个平均第二样本子集特征值；
(d)基于所述第一模型和所述第二模型之间的平均差异、显著性水平和置信区间，确定所述第一模型和所述第二模型之间的最终模型，其中所述平均差异、所述显著性水平、所述置信区间均基于所述平均第一样本子集特征值和所述平均第二样本子集特征值获得。


2.根据权利要求1所述的系统，其特征在于，获取所述第一样本集和所述第二样本集，对于每个样本，所述一个或以上处理器还用于：
获取与第一随机参数相关的请求；
基于所述第一随机参数，通过使用第一随机函数将所述请求分配给所述第一模型或所述第二模型；以及
基于所述请求和被分配所述请求的模型为所述样本生成所述特征值。


3.根据权利要求2所述的系统，其特征在于，所述第一随机参数是用户ID，所述第一随机函数通过利用所述用户ID最后一位偶数或奇数分配所述请求。


4.根据权利要求1所述的系统，其特征在于，基于所述平均第一样本子集特征值和所述平均第二样本子集特征值确定所述平均差异，所述一个或以上处理器用于：
确定与所述平均第一样本子集特征值的集中趋势有关的第一评估参数；
确定与所述平均第二样本子集特征值的所述集中趋势有关的第二评估参数；
基于所述第一评估参数和所述第二评估参数确定所述平均差异。


5.根据权利要求4所述的系统，其特征在于，基于所述平均第一样本子集特征值和所述平均第二样本子集特征值来确定所述显著性水平，所述一个或以上处理器还用于：
确定与所述平均第一样本子集特征值和所述平均第二样本子集特征值的所述集中趋势有关的第三评估参数；
基于所述第一评估参数与所述第三评估参数之间的差异，以及所述第二评估参数与所述第三评估参数之间的差异确定第一误差；
基于所述平均第一样本子集特征值与所述第三评估参数之间的差异，以及所述平均第二样本子集特征值与所述第三评估参数之间的差异确定第二误差；以及，
基于所述第一误差和所述第二误差确定所述显著性水平。


6.根据权利要求5所述的系统，其特征在于，确定所述第二误差，所述一个或以上处理器还用于：
基于所述第一样本子集和所述第二样本子集的总数确定自由度；以及
基于所述自由度确定所述第二误差。


7.根据权利要求6所述的系统，其特征在于，确定所述置信区间，所述一个或以上处理器用于：
获取置信度；
基于所述平均差异、所述自由度和所述第二误差确定与所述置信度相关的所述置信区间。


8.根据权利要求7所述的系统，其特征在于，确定所述置信区间，所述一个或以上处理器用于：
基于学生t分布确定与所述置信度相关的所述置信区间。


9.一种模型评估方法，包括：
(a)由至少一台计算机获取第一样本集及第二样本集，其中：
(i)第一样本集包括基于第一模型的至少两个第一样本，
(ii)第二样本集包括基于第二模型的至少两个第二样本，以及
(iii)所述第一样本及所述第二样本各自包括一个特征值，
(b)通过所述至少一台计算机将所述第一样本集划分为至少两个第一样本子集，每个所述第一样本子集提供一个平均第一样本子集特征值；
(c)通过所述至少一台计算机将所述第二样本集划分为至少两个第二样本子集；每个所述第二样本子集提供一个平均第二样本子集特征值；
(d)通过所述至少一台计算机基于所述第一模型和所述第二模型之间的平均差异、显著性水平和置信区间，确定所述第一模型和所述第二模型之间的最终模型，其中所述平均差异、所述显著性水平、所述置信区间均基于所述平均第一样本子集特征值和所述平均第二样本子集特征值获得。


10.根据权利要求9所述的方法，其特征在于，获取所述第一样本集和所述第二样本集中每个样本，包括：
获取与第一随机参数相关的请求；

【专利技术属性】
技术研发人员：张凌宇，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11