模型特征管理系统、模型特征管理方法及存储介质技术方案

本发明专利技术提出了一种模型特征管理系统、模型特征管理方法及存储介质。其中，模型特征管理系统包括：部署模块，被配置为获取模型特征数据和模型特征配置，为模型特征配置部署模型特征数据，并根据部署信息生成存储日志；管理平台，被配置为生成模型特征配置，并向部署模块提供模型特征配置，以及从存储日志中获取部署信息，并根据部署信息进行特征数据核验或案例数据分析。通过本发明专利技术的技术方案，对场景中各模型特征进行有效管理，无需人工参与，实现特征数据核验或案例数据分析。

【技术实现步骤摘要】
模型特征管理系统、模型特征管理方法及存储介质
本专利技术涉及计算机
，具体而言，涉及一种模型特征管理系统、模型特征管理方法及计算机可读存储介质。
技术介绍
网约车的出行场景离不开机器学习算法的应用，其中机器学习算法实现的基本流程主要包含：问题定义、数据集划分、特征工程、模型训练、模型评估、模型部署几个部分。通常在明确了所需解决的问题后，在理解业务场景的基础上，通过多种途径获取所需的离线特征数据，并使用系列清洗与预处理手段获得模型训练所需特征数据，经过多次的模型训练、效果评估与优化，最终得到符合预期的模型。然后就需要以工程服务的形式将模型部署到线上以提供预测服务，现有技术在模型部署环节，缺乏对模型特征的统一管理，查看工程服务日志，人工逐个比对线上特征数据与线下特征数据是否一致，以及比对模型的输出是否符合预期，易用性差且无法为场景中模型所使用特征提供完备的解释。另外，缺少对模型配置的版本管理机制，无法快速有效的还原历史模型的预测场景，为案例分析等功能提供支持。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的一个方面在于提出了一种模型特征管理系统。本专利技术的另一个方面在于提出了一种模型特征管理方法。本专利技术的再一个方面在于提出了一种计算机可读存储介质。有鉴于此，根据本专利技术的一个方面，提出了一种模型特征管理系统，包括：部署模块，被配置为获取模型特征数据和模型特征配置，为模型特征配置部署模型特征数据，并根据部署信息生成存储日志；管理平台，被配置为生成模型特征配置，并向部署模块提供模型特征配置，以及从存储日志中获取部署信息，并根据部署信息进行特征数据核验或案例数据分析。本专利技术提供的模型特征管理系统，管理平台生成模型特征配置并向部署模块提供模型特征配置，部署模块为模型特征配置部署模型特征数据，并根据部署信息生成存储日志，进一步地，管理平台从存储日志中获取部署信息，并根据部署信息进行特征数据核验或案例数据分析。其中，部署信息可包括所使用的模型、中间特征、模型输出、策略逻辑等信息，特征数据核验是指在算法模型提供线上预测服务时，需要对模型的线上特征数据输入和模型离线训练的特征数据输入做比对，核验线上线下所获取的特征数据是否存在差异。案例数据分析是指追踪并分析异常案例的详细数据、中间特征、模型输出、策略逻辑等信息。通过本专利技术的技术方案，对场景中各模型特征进行有效管理，无需人工参与，实现特征数据核验或案例数据分析。根据本专利技术的上述模型特征管理系统，还可以具有以下技术特征：在上述技术方案中，还包括：存储模块，被配置为从管理平台获取模型特征配置，结合模型特征数据的数据源，按照目录路径的结构对不同工程场景对应的模型特征配置进行存储，并向部署模块提供模型特征配置。在该技术方案中，使用etcd作为存储服务，etcd提供了一种可靠的数据配置存储和更新机制，便于服务工程的远程配置加载和更新，其中etcd是一个Go语言开发的轻量、可靠、持久存储的分布式key-value数据库。明确模型所需的每一个特征的数据获取来源，考虑不同数据源获取模型特征数据的方式及差异，存储结构模拟目录路径的设计方式，分别存储各服务工程下各场景对应的模型特征配置。对于模型特征配置的更新，则可以基于模拟目录路径的结构设计进行某一范围的监听，比如监听某一key，则当此目录下所有key保存的value存在变更时都能被监听方(模型配置模块)捕获，从而实现多粒度的实时更新。在上述任一技术方案中，存储模块，被配置为构建用于存储模型特征的特征库和特征组。在该技术方案中，构建特征库和特征组，方便特征的复用，并且能够为对每一个特征进行详细的解释提供基础。在上述任一技术方案中，模型特征数据包括第一类模型特征数据，模型特征管理系统还包括：第一特征获取模块，被配置为从第一特征数据源获取第一类模型特征数据。在该技术方案中，在相关技术中的提供模型线上预测服务的工程准备环节，通常需要按照最终训练得到的模型的输入特征，逐个匹配到线上各已有特征服务中提供的特征项，若线上已有特征服务无匹配特征，则需要额外提出此项特征的线上特征服务需求，或者调整模型的输入特征，重新训练模型并评估。对于已有特征服务无法提供模型所需特征的问题，通过第一特征获取模块快速接入第一特征数据源，即特征的原始业务数据源，从而获取所需特征数据供工程服务使用，而无需额外提出此项特征的线上特征服务需求或调整模型的特征输入重新训练评估模型。在上述任一技术方案中，模型特征数据包括第二类模型特征数据，部署模块包括：第二特征获取模块，被配置为从第二特征数据源获取第二类模型特征数据。在该技术方案中，第二特征获取模块实现了灵活从第二特征数据源，即各个已有特征数据源中获取特征的功能，避免了每个工程服务中重复的编写此部分的代码，统一规范特征的获取。在上述任一技术方案中，部署模块还包括：特征聚合模块，被配置为对第一类模型特征数据和第二类模型特征数据进行数据处理；特征更新模块，被配置为对进行数据处理后的第一类模型特征数据和第二类模型特征数据进行数据更新；模型配置模块，被配置为获取模型特征配置，以及监听模型特征配置的变更。在该技术方案中，特征聚合模块实现对模型特征数据的加工与处理(例如特征数据的离散化、日期的格式化)，以符合模型的特征输入需要；特征更新模块是解决对从各数据源中获取的模型特征数据在经过一系列业务处理后需要更新回写的问题，例如在加工和处理的过程中产生了新的模型特征数据，则进行模型特征数据的更新；模型配置模块采用远程配置加载的方式获取本工程服务中各模型的特征配置，同时监听存储模块中存储的模型特征配置的变更，当有模型特征配置变更的业务需求时，无需进行工程开发与服务发布，便能实时更新提升需求响应效率。在上述任一技术方案中，管理平台包括：模型特征配置管理模块，被配置为结合特征库和特征组，生成模型特征配置；特征字典模块，被配置为提供特征解释视图；特征数据核验模块，被配置为根据部署信息进行特征数据核验；案例数据分析模块，被配置为根据部署信息进行案例数据分析。在该技术方案中，模型特征配置管理模块将工程中各场景使用的模型特征配置信息统一管理起来，当新建一个工程场景时，即可参考已有场景的模型特征配置信息，结合特征库和特征组，快速生成场景需要的模型特征配置，并下发至存储模块中；特征字典模块提供一个多条件查询的特征解释视图，对模型中所用到的每一个特征进行详细的解释，包括线上的特征名、释义、关联的离线特征表、特征字段等信息；特征数据核验模块则提供一个可视化的界面快速高效的核验在模型部署环节中特征一致性的问题；案例数据分析模块通过界面方便研发和产品能快速地追踪到异常案例的详细数据、中间特征、模型输出、策略逻辑等信息。根据本专利技术的另一个方面，提出了一种模型特征管理方法，用于如上述任一技术方案的模型特征管理系统，模型特征管理方法包括：获取工程场景建立指令，根据工程场景建立指令生成工程场景的模型特征配置；获取模型特征数据，本文档来自技高网...

【技术保护点】
1.一种模型特征管理系统，其特征在于，包括：/n部署模块，被配置为获取模型特征数据和模型特征配置，为所述模型特征配置部署所述模型特征数据，并根据部署信息生成存储日志；/n管理平台，被配置为生成所述模型特征配置，并向所述部署模块提供所述模型特征配置，以及从所述存储日志中获取所述部署信息，并根据所述部署信息进行特征数据核验或案例数据分析。/n

【技术特征摘要】
1.一种模型特征管理系统，其特征在于，包括：
部署模块，被配置为获取模型特征数据和模型特征配置，为所述模型特征配置部署所述模型特征数据，并根据部署信息生成存储日志；
管理平台，被配置为生成所述模型特征配置，并向所述部署模块提供所述模型特征配置，以及从所述存储日志中获取所述部署信息，并根据所述部署信息进行特征数据核验或案例数据分析。


2.根据权利要求1所述的模型特征管理系统，其特征在于，还包括：
存储模块，被配置为从所述管理平台获取所述模型特征配置，结合所述模型特征数据的数据源，按照目录路径的结构对不同工程场景对应的所述模型特征配置进行存储，并向所述部署模块提供所述模型特征配置。


3.根据权利要求2所述的模型特征管理系统，其特征在于，
所述存储模块，还被配置为构建用于存储模型特征的特征库和特征组。


4.根据权利要求1至3中任一项所述的模型特征管理系统，其特征在于，所述模型特征数据包括第一类模型特征数据，所述模型特征管理系统还包括：
第一特征获取模块，被配置为从第一特征数据源获取所述第一类模型特征数据。


5.根据权利要求4所述的模型特征管理系统，其特征在于，所述模型特征数据包括第二类模型特征数据，所述部署模块包括：
第二特征获取模块，被配置为从第二特征数据源获取所述第二类模型特征数据。


6.根据权利要求5所述的模型特征管理系统，其特征在于，所述部署模块还包括：
特征聚合模块，被配置为对所述第一类模型特征数据和所述第二类模型特征数据进行数据处理；
特征更新模块，被配置为对进行数据处理后的所述第一类模型特征数据和所述第二类模型特征数据进行数据更新；
模型配置模块，被配置为获取所述模型特征配置，以及监听所述模型特征配置的变更。


7.根据权利要求3所述的模型特征管理系统，其特征在于，所述管理平台包括：
模型特征配置管理模块，被配置为结合所述特征库和所述特征组，生成所述模型特征配置；
特征字典模块，被配置为提供特征解释视图；
特征数据核验模块，被配置为根据所述...

【专利技术属性】
技术研发人员：郄小虎，易国强，史兴胜，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11