基于通用SOA服务的模型部署系统技术方案

本发明专利技术公开了一种基于通用SOA服务的模型部署系统，包括管理模块、配置模块、调度模块、特征模块和模型服务模块。管理模块用于获取模型任务版本对应的模型的元数据；元数据包括模型文件、模型文件对应的离线特征数据和逻辑处理脚本；管理模块还用于将离线特征数据输出至调度模块；配置模块用于监听管理模块输出的元数据；调度模块用于将离线特征数据同步至特征模块并进行差量更新；特征模块用于接收离线特征数据并存储；模型服务模块用于基于服务请求，调用特征模块中的离线特征数据，根据逻辑处理脚本对离线特征数据进行特征处理并解析模型文件进行模型计算。本发明专利技术使得模型从交付到后续上线迭代的过程中人工干预少、沟通成本低和效率高。

Model deployment system based on general SOA services

【技术实现步骤摘要】
基于通用SOA服务的模型部署系统
本专利技术涉及平台设计领域，尤其涉及一种基于通用SOA(面向服务的架构)服务的模型部署系统。
技术介绍
传统的模型上线流程是数据科学家进行模型训练，交付模型PRD(ProductRequirementDocument，产品需求文档)给到开发工程师，开发工程师理解模型PRD，评估模型，存储并计算参数，用java(一种编程语言)重现业务逻辑，开发服务，跑通模型。接着，测试工程师接到任务，在测试环境验证并与前端联调，生产环境抽样校验，最后正式上线。尤其数据科学家与开发对接模型PRD的时候，沟通成本很高，业务逻辑，特征加载，模型调用这些部分也是高度耦合。其次，由于部署的底层基础设施没有充分复用，导致每上一个模型，开发人员就需要书写大量java代码，导致上线流程周期很长，后续迭代也需要等待开发排期。总体而言，传统的流程涉及的人工干预较多，多个角色之间的配合沟通，整体流程相对不通畅。算法BI(BusinessIntelligence)团队针对各种业务会建立各种模型，由于各个团队实际采用的建模语言、建模方法不尽相同。本文档来自技高网...

【技术保护点】
1.一种基于通用SOA服务的模型部署系统，其特征在于，包括管理模块、配置模块、调度模块、特征模块和模型服务模块；/n所述管理模块用于获取模型任务版本对应的模型的元数据并同步所述元数据至所述配置模块；所述元数据包括模型文件、所述模型文件对应的离线特征数据和逻辑处理脚本；所述管理模块还用于将所述离线特征数据输出至所述调度模块；/n所述配置模块用于监听所述管理模块输出的所述元数据，并将所述元数据中的所述模型文件推送至所述模型服务模块；/n所述调度模块用于将所述离线特征数据同步至所述特征模块并进行差量更新；/n所述特征模块用于接收所述离线特征数据并存储；/n所述模型服务模块用于基于服务请求，调用所述特...

【技术特征摘要】
1.一种基于通用SOA服务的模型部署系统，其特征在于，包括管理模块、配置模块、调度模块、特征模块和模型服务模块；
所述管理模块用于获取模型任务版本对应的模型的元数据并同步所述元数据至所述配置模块；所述元数据包括模型文件、所述模型文件对应的离线特征数据和逻辑处理脚本；所述管理模块还用于将所述离线特征数据输出至所述调度模块；
所述配置模块用于监听所述管理模块输出的所述元数据，并将所述元数据中的所述模型文件推送至所述模型服务模块；
所述调度模块用于将所述离线特征数据同步至所述特征模块并进行差量更新；
所述特征模块用于接收所述离线特征数据并存储；
所述模型服务模块用于基于服务请求，调用所述特征模块中的所述离线特征数据，根据所述逻辑处理脚本对所述离线特征数据进行特征处理并解析所述模型文件进行模型计算。


2.如权利要求1所述的基于通用SOA服务的模型部署系统，其特征在于，所述元数据还包括通过调用接口获取的实时特征数据；
所述模型服务模块用于基于服务请求，调用所述特征模块中的所述离线特征数据，根据所述逻辑处理脚本对所述离线特征数据与所述实时特征数据进行特征处理并解析所述模型文件进行模型计算。


3.如权利要求1所述的基于通用SOA服务的模型部署系统，其特征在于，所述模型部署系统还包括监控模块；
所述监控模块用于收集所述模型服务模块进行模型计算的日志数据，并基于所述日志数据解析和定位问题。


4.如权利要求3所述的基于通用SOA服务的模型部署系统，其特征在于，所述监控模块还用于对每个所述离线特征数据的分布进行监控，若所述离线特征数据的分布与所述模型在进行模型训练时的所述离线特征数据的分布有差异，则触...

【专利技术属性】
技术研发人员：钱文玺，唐亚明，赖飞，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：上海;31