基于k8s的算法仓平台及系统技术方案

本发明专利技术属于算法仓平台技术领域，涉及一种基于k8s的算法仓平台。本发明专利技术算法仓平台由基础设施层、能力层和业务层三层架构组成。基础设施层以kubernates集群作为底座管理调度各类硬件资源和编排上层应用；能力层用于提供算法仓核心能力，包含模型编排服务、资源调度服务和API服务；业务层用于提供各类型的具体服务，包含模型注册、模型发现、模型管理、算法管理、资源监控、API监控、API管理等微服务。本发明专利技术算法仓平台可用于融合第三方模型，具有高效灵活的优点，本平台基于k8s对底层资源进行合理调度分配，同时编排模型，让模型自由组合，以适配业务要求，从而帮助用户更好地利用模型，让模型的价值得到更充分的发挥。让模型的价值得到更充分的发挥。让模型的价值得到更充分的发挥。

【技术实现步骤摘要】
基于k8s的算法仓平台及系统


[0001]本专利技术属于算法仓平台
，尤其涉及一种基于k8s的算法仓平台及系统。

技术介绍

[0002]随着人工智能技术的快速发展，越来越多的行业开始进入人工智能时代，作为管理行政事务的政府部门，对人工智能的需求也越来越多。目前，各级政府部门都购买了大量的人工智能模型(算法模型)，用于处理日常行政事务，然而，如何管理这些模型，如何分配资源给这些模型，如何调度编排这些模型，都已成为了现实难题。为了解决上述这些问题，算法仓技术应运而生，在算法仓中可以对算法资源进行规范化管理，对算法算力资源进行统一分配调度，并实现算法资源的云化解耦和资源共享。但是，现有的算法仓平台在效能和灵活性方面仍有很大的提升空间，与此同时，市场主体对高效灵活的算法仓平台有着很大的应用需求。

技术实现思路

[0003]为了提升算法仓平台的应用效能和灵活性，本专利技术提出了一套解决方案。
[0004]术语解释：
[0005]Kubernetes：是一个开源的、用于管理云平台中多个主机上的容器化的应用，Kubern本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于k8s的算法仓平台，其特征在于，所述算法仓平台由三层架构组成，包括：基础设施层：用于管理硬件CPU、GPU和内存资源；能力层：用于提供算法仓核心能力；业务层：用于提供各类型的具体服务。2.根据权利要求1所述的算法仓平台，其特征在于，所述基础设施层以kubernates集群作为底座，由所述底座管理调度各类资源和编排上层应用。3.根据权利要求1所述的算法仓平台，其特征在于，所述能力层中包含下述服务：模型编排服务：通过拖拉拽对模型进行编排组合，形成特定业务算法；资源调度服务：调度CPU、GPU、内存为模型训练和推理服务；API服务：根据swagger文档自动生成API接口或算法运营人员自定义生成API接口。4.根据权利要求3所述的算法仓平台，其特征在于，所述模型编排服务在进行模型与模型之间编排组合的过程中涉及到入参和出参的匹配时，算法仓平台进行接口字段自定义转换匹配。5.根据权利要求3所述的算法仓平台，其特征在于，所述资源调度服务还包括：系统根据用户指令匹配模型所需的CPU、GUP和内存资源或系统根据模型种类自动分配相应的CPU、GUP和内存资源。6.根据权利要求1所述的算法仓平台，其特征在于，所述业务层中包含下述微服务：模型注册、模型发现、模型管理、算法管理、资源监控、API监控、API管理。7.根据权利要求1所述的算法仓平台，其特征在于，所述算法仓平台根据流量大小进行自动扩容，增加模型多实例。8.根据权利要求1
‑
7任一项所述的算法仓平台，其特征在于，所述算法仓平台用于融合第三方模型，融合第三方模型运行流程包括：(1)第三方模...

【专利技术属性】
技术研发人员：李大虎，毛鑫，任超，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：