【技术实现步骤摘要】
在线推理服务系统、提供在线推理服务的方法及装置
[0001]本公开涉及模型管理及应用领域，尤其涉及在线推理服务系统、提供在线推理服务的方法及装置。
技术介绍
[0002]为提高对训练得到的机器学习模型或深度学习模型等推理模型的管理效率，开发者通常会将推理模型托管在公有云平台中或开源模型仓库中。
[0003]然而在相关技术中，无论是共有云平台还是开源模型仓库，通常仅提供对推理模型的上传、存储、分发和下载等简单管理功能。当开发者需要使用推理模型提供在线推理服务，即服务化推理模型时，往往需要自行选择模型框架并通过相关逻辑生成对应于推理模型的在线推理服务，导致开发效率较低。
技术实现思路
[0004]本公开提供了在线推理服务系统、提供在线推理服务的方法及装置，以至少解决相关技术中的技术问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提出一种在线推理服务系统，包括：
[0006]模型管理平台，用于获取并保存目标模型的目标模型文件和目标模型信息，所述目标模型文件包括训练所述目...
【技术保护点】
【技术特征摘要】
1.一种在线推理服务系统，其特征在于，包括：模型管理平台，用于获取并保存目标模型的目标模型文件和目标模型信息，所述目标模型文件包括训练所述目标模型得到的模型数据，所述目标模型信息包括对应于所述目标模型的模型相关信息；在线推理引擎，用于确定匹配于所述目标模型的目标推理框架，并根据从所述模型管理平台获取的所述目标模型文件和目标模型信息配置所述目标推理框架，以用于提供在线推理服务。2.根据权利要求1所述的系统，其特征在于，所述目标模型信息包括模型基础信息和模型结构信息，所述模型管理平台还用于：在获取所述目标模型文件时，关联获取所述模型基础信息；在获取到所述目标模型文件后，解析所述目标模型文件以提取所述模型结构信息。3.根据权利要求2所述的系统，其特征在于，所述模型基础信息包括下述至少之一：所述目标模型的模型类别、模型标签、变更时间、模型配置参数、存储状态、模型训练任务、所述目标模型文件的文件格式；所述模型结构信息包括：所述目标模型的张量信息。4.根据权利要求1所述的系统，其特征在于，所述模型管理平台还用于：在管理有对应于所述目标模型的基础模型的情况下，将所述目标模型的版本号和所述基础模型的版本号关联保存，其中，所述目标模型被基于所述基础模型训练得到。5.根据权利要求1所述的系统，其特征在于，所述模型管理平台包括仓库集群，所述模型管理平台还用于：将所述目标模型文件和目标模型信息关联保存在构成所述仓库集群的多个分布式仓库中。6.根据权利要求5所述的系统，其特征在于，所述模型管理平台还包括：集群管理组件，用于在接收到针对所述仓库集群保存的任一模型的模...
【专利技术属性】
技术研发人员：陈磊，程京，张胜卓，田燕，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。