【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及机器学习数据模型。更具体地，涉及对机器学习数据模型的不同版本的预测准确度和性能测量的比较评估。
技术介绍
技术实现思路
1、本公开的实施例尤其涉及用于以计算方式评估机器学习数据模型(以下称为“模型”)管道的子模型的技术性能和/或预测准确度的方法、系统和计算机可读介质。一些实施例还包括部署相对于当前部署的子模型的版本的技术性能和/或预测准确度具有表现的改进的子模型的版本。如将描述的，下文讨论的本专利技术的各方面通过监测模型管道的多个子模型来监测和比较评估技术性能和/或预测准确度。
2、第一实施例可以包括用于评估和改进子模型性能和准确度的计算机化方法。该计算机化方法可以包括检测来自模型管道的输出，该模型管道包括至少两个子模型，其中模型管道的输出包括基于至少两个子模型计算的一个或多个预测。该计算机化方法还可以包括检索包含对应于模型管道的格式化数据集的一个或多个文件，其中格式化数据包括用于生成预测以及一个或多个预测的数据，以及接收配置文件。此外，该计算机化方法可以包括基于配置文件从多个数...
【技术保护点】
1.一种用于评估和改进模型版本性能和准确度的计算机化方法，所述方法包括：检测来自包括至少两个子模型的模型管道的输出，其中模型管道的输出包括基于所述至少两个子模型计算的一个或多个预测；检索包含对应于模型管道的格式化数据集的一个或多个文件，其中格式化数据包括用于生成预测的数据以及所述一个或多个预测；接收配置文件；以及基于配置文件从所述多个数据集计算多个子模型性能报告，其中所述至少两个子模型性能报告中的每个子模型性能报告包括为模型的对应版本确定的多个性能度量。
2.根据权利要求1所述的计算机化方法，其中基于配置文件从所述多个数据集中生成所述多个子模型性能报告包括...
【技术特征摘要】
【国外来华专利技术】
1.一种用于评估和改进模型版本性能和准确度的计算机化方法，所述方法包括：检测来自包括至少两个子模型的模型管道的输出，其中模型管道的输出包括基于所述至少两个子模型计算的一个或多个预测；检索包含对应于模型管道的格式化数据集的一个或多个文件，其中格式化数据包括用于生成预测的数据以及所述一个或多个预测；接收配置文件；以及基于配置文件从所述多个数据集计算多个子模型性能报告，其中所述至少两个子模型性能报告中的每个子模型性能报告包括为模型的对应版本确定的多个性能度量。
2.根据权利要求1所述的计算机化方法，其中基于配置文件从所述多个数据集中生成所述多个子模型性能报告包括：从配置文件标识要从所述多个数据集中提取的多个数据子集；以及从所述多个数据集中提取所述多个数据子集，其中所述多个数据子集中的每个数据子集是从对应子模型的所述多个数据集中的一个数据集中提取的。
3.根据权利要求2所述的计算机化方法，其中基于配置文件从所述多个数据集生成所述多个子模型性能报告包括：从配置文件标识要计算的所述多个性能测量。
4.根据权利要求3所述的计算机化方法，其中基于配置文件从所述多个数据集生成所述多个子模型性能报告包括：对于所述至少两个子模型中的每个子模型执行计算机脚本，所述计算机脚本：基于对应数据子集计算模型的对应版本的所述多个性能度量；以及生成模型管道的对应子模型的子模型性能报告。
5.根据权利要求1所述的计算机化方法，其中配置文件包括标识对应于所述多个性能度量的计算函数的面向对象的编程表达。
6.根据权利要求5所述的计算机化方法，其中所述多个性能度量包括测量绝对百分比误差(mape)、平均绝对误差(mae)或均方根误差(rmse)。
7.根据权利要求5所述的计算机化方法，其中面向对象的编程表达包括用于基于训练数据的对应测量的预测数据的权重和/或表示的量化操作。
8.根据权利要求1所述的计算机化方法，其中面向对象的编程表达包括用于对子模型所消费和/或所生成的数据的结构或语义进行意外的或未记录的改变的量化操作。
9.一种用于监测模型管道的多个子模型的系统，包括：数据模型性能监测系统，其经由执行脚本的一个或多个处理器：接收对应于模型管道的多个子模型的至少一个数据集，其中所述至少一个数据集包括对应于预测的元数据和用于模型管道的所述多个子模型中的每个...
【专利技术属性】
技术研发人员：U·拉玛木尔西，A·舍特瑞，P·萨克西纳，R·J·维，
申请(专利权)人：西纳创新股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。