基于k8s的算法仓平台及系统技术方案

本发明专利技术属于算法仓平台技术领域，涉及一种基于k8s的算法仓平台。本发明专利技术算法仓平台由基础设施层、能力层和业务层三层架构组成。基础设施层以kubernates集群作为底座管理调度各类硬件资源和编排上层应用；能力层用于提供算法仓核心能力，包含模型编排服务、资源调度服务和API服务；业务层用于提供各类型的具体服务，包含模型注册、模型发现、模型管理、算法管理、资源监控、API监控、API管理等微服务。本发明专利技术算法仓平台可用于融合第三方模型，具有高效灵活的优点，本平台基于k8s对底层资源进行合理调度分配，同时编排模型，让模型自由组合，以适配业务要求，从而帮助用户更好地利用模型，让模型的价值得到更充分的发挥。让模型的价值得到更充分的发挥。让模型的价值得到更充分的发挥。

【技术实现步骤摘要】
基于k8s的算法仓平台及系统


[0001]本专利技术属于算法仓平台
，尤其涉及一种基于k8s的算法仓平台及系统。

技术介绍

[0002]随着人工智能技术的快速发展，越来越多的行业开始进入人工智能时代，作为管理行政事务的政府部门，对人工智能的需求也越来越多。目前，各级政府部门都购买了大量的人工智能模型(算法模型)，用于处理日常行政事务，然而，如何管理这些模型，如何分配资源给这些模型，如何调度编排这些模型，都已成为了现实难题。为了解决上述这些问题，算法仓技术应运而生，在算法仓中可以对算法资源进行规范化管理，对算法算力资源进行统一分配调度，并实现算法资源的云化解耦和资源共享。但是，现有的算法仓平台在效能和灵活性方面仍有很大的提升空间，与此同时，市场主体对高效灵活的算法仓平台有着很大的应用需求。

技术实现思路

[0003]为了提升算法仓平台的应用效能和灵活性，本专利技术提出了一套解决方案。
[0004]术语解释：
[0005]Kubernetes：是一个开源的、用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署、规划、更新、维护的一种机制。
[0006]本专利技术设计方案的目的在于构建一个高效灵活的算法仓平台，本平台基于k8s对底层资源进行合理调度分配，同时编排模型，让模型自由组合，以适配业务要求，从而帮助包括政府部门在内的用户更好地利用模型，让模型的使用价值得到更充分的发挥。
[0007]第一方面，本专利技术提供了一种基于k8s的算法仓平台，所述算法仓平台由三层架构组成，包括：
[0008]基础设施层：用于管理硬件CPU、GPU和内存资源；
[0009]能力层：用于提供算法仓核心能力；
[0010]业务层：用于提供各类型的具体服务。
[0011]进一步地，本专利技术算法仓平台中所述基础设施层以kubernates集群作为底座，由所述底座管理调度各类资源和编排上层应用。
[0012]进一步地，本专利技术算法仓平台中所述能力层中包含下述服务：
[0013]模型编排服务：通过拖拉拽对模型进行编排组合，形成特定业务算法；
[0014]资源调度服务：调度CPU、GPU、内存为模型训练和推理服务；
[0015]API服务：根据swagger文档自动生成API接口或算法运营人员自定义生成API接口。
[0016]根据本专利技术的一些实施例，所述模型编排服务在进行模型与模型之间编排组合的过程中涉及到入参和出参的匹配时，算法仓平台进行接口字段自定义转换匹配。
[0017]根据本专利技术的一些实施例，所述资源调度服务还包括：系统根据用户指令匹配模型所需的CPU、GUP和内存资源或系统根据模型种类自动分配相应的CPU、GUP和内存资源。
[0018]进一步地，本专利技术算法仓平台中所述业务层中包含下述微服务：模型注册、模型发现、模型管理、算法管理、资源监控、API监控、API管理。
[0019]进一步地，本专利技术算法仓平台根据流量大小进行自动扩容，增加模型多实例。
[0020]进一步地，本专利技术算法仓平台用于融合第三方模型，融合第三方模型运行流程包括：
[0021](1)第三方模型打包：将第三方模型打包成docker镜像；
[0022](2)模型上传：上传第三方模型docker镜像并推送到镜像仓库harbor；
[0023](3)模型在线调试；
[0024](4)模型注册；
[0025](5)算法编排：对模型进行拖拉拽组合，形成自定义分类算法A1；
[0026](6)算法资源调度：算法A1给模型分配对应的CPU、GPU和内存资源；
[0027](7)API创建：根据模型提供的输入输出文档，创建对外的API；
[0028](8)API在线调试；
[0029](9)API发布并提供服务；
[0030](10)全链路监控：对上述各步操作进行日志记录、跟踪，进行全链路监控。
[0031]进一步地，所述算法仓平台融合第三方模型运行流程还包括：
[0032]在进行算法编排过程中，对模型的字段进行自定义匹配并通过页面手动关联匹配；
[0033]API发布后提供服务过程中，对API进行监控，根据流量大小进行自动扩容，增加模型多实例。
[0034]第二方面，本专利技术还提供了一种基于k8s的算法仓平台系统，所述系统包括：
[0035]基础设施单元：用于管理硬件CPU、GPU和内存资源，所述基础设施单元以kubernates集群作为底座，由所述底座管理调度各类资源和编排上层应用；
[0036]能力单元：用于提供算法仓核心能力，所述能力单元中包含：
[0037](1)模型编排服务模块：通过拖拉拽对模型进行编排组合，形成特定业务算法；
[0038](2)资源调度服务模块：调度CPU、GPU、内存为模型训练和推理服务；
[0039](3)API服务模块：根据swagger文档自动生成API接口或算法运营人员自定义生成API接口；
[0040]业务单元：用于提供各类型的具体服务，所述业务单元中包含模型注册、模型发现、模型管理、算法管理、资源监控、API监控、API管理。
[0041]综上，本专利技术主要基于k8s为融合第三方模型提出了一种算法仓平台设计方案，该方案具有以下特点：
[0042](1)实现了模型的自由编排。通过拖拉拽的方式对模型进行编排，形成特定业务算法。
[0043](2)方便了资源匹配，自动扩容。用户可以自定义模型所需的资源(CPU、GPU、内存等)，也可以选择自动匹配，平台系统会根据模型种类自动分配相应的资源，另外，系统还可根据流量大小进行自动扩容，增加模型多实例。
[0044](3)实现了全链路监控。从上传第三方模型到提供API服务整套流程都进行监控。
[0045](4)接口字段自定义转换匹配。当模型与模型之间组合涉及到入参和出参的匹配时，平台支持接口字段自定义转换匹配。
[0046]基于以上特点，能够保证算法仓平台在融合第三方模型过程中高效灵活，提供稳定的服务。
附图说明
[0047]为了更清楚地说明本专利技术实施例技术方案，下面对实施例描述中需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅是本专利技术中记载的一些实施例，而不是全部实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]图1为本专利技术算法仓平台的组织架构示意图。
[0049]图2为本专利技术算法仓平台融合第三方模型运行流程示意图。
具体实施方式
[0050]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合具体实施例对本专利技术的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例，本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于k8s的算法仓平台，其特征在于，所述算法仓平台由三层架构组成，包括：基础设施层：用于管理硬件CPU、GPU和内存资源；能力层：用于提供算法仓核心能力；业务层：用于提供各类型的具体服务。2.根据权利要求1所述的算法仓平台，其特征在于，所述基础设施层以kubernates集群作为底座，由所述底座管理调度各类资源和编排上层应用。3.根据权利要求1所述的算法仓平台，其特征在于，所述能力层中包含下述服务：模型编排服务：通过拖拉拽对模型进行编排组合，形成特定业务算法；资源调度服务：调度CPU、GPU、内存为模型训练和推理服务；API服务：根据swagger文档自动生成API接口或算法运营人员自定义生成API接口。4.根据权利要求3所述的算法仓平台，其特征在于，所述模型编排服务在进行模型与模型之间编排组合的过程中涉及到入参和出参的匹配时，算法仓平台进行接口字段自定义转换匹配。5.根据权利要求3所述的算法仓平台，其特征在于，所述资源调度服务还包括：系统根据用户指令匹配模型所需的CPU、GUP和内存资源或系统根据模型种类自动分配相应的CPU、GUP和内存资源。6.根据权利要求1所述的算法仓平台，其特征在于，所述业务层中包含下述微服务：模型注册、模型发现、模型管理、算法管理、资源监控、API监控、API管理。7.根据权利要求1所述的算法仓平台，其特征在于，所述算法仓平台根据流量大小进行自动扩容，增加模型多实例。8.根据权利要求1
‑
7任一项所述的算法仓平台，其特征在于，所述算法仓平台用于融合第三方模型，融合第三方模型运行流程包括：(1)第三方模...

【专利技术属性】
技术研发人员：李大虎，毛鑫，任超，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：