一种基于容器云平台的边缘机器学习系统及其方法技术方案

一种基于容器云平台的边缘机器学习系统，包括基础设施子系统、边缘路由子系统、存储子系统、机器学习计算设备子系统以及平台管理子系统。这些子系统均容器化为边缘容器云平台服务，实现以服务方式进行资源调度、运行监控等，并实现基于容器云技术的机器学习计算系统的快速部署、运维、发布。本发明专利技术提供边缘机器学习系统间自组织协同方法，该两者交互采用自组织式通信方式实现分布式控制和多中心的网络结构，通过接入认证技术保证通信双方的身份正确性，保证重要的网络传播内容不被窃取。本发明专利技术还提供了边缘机器学习系统间的容器内卷协同迁移方法，通过容器内卷协同迁移使得在一个容器云平台之间的数据可以相互迁移，并保证服务完整性和无误性。

An edge machine learning system based on container cloud platform and its method

【技术实现步骤摘要】
一种基于容器云平台的边缘机器学习系统及其方法
本专利技术属于容器云技术相关领域，尤其涉及一种基于容器云技术构建的人工智能边缘计算(简称边缘人工智能)系统及其方法。
技术介绍
随着人工智能机器学习算法的兴起，对数据存储和迁移提出了更大的需求。人工智能算法的研发和改进需要反复调用以TB数量级计算的数据的下载上传，对传统的传输网络带来了很高的成本和带宽要求。同时人工智能计算设备高昂的成本也要求对人工智能计算设备进行有效的调度和分配。而随着边缘人工智能的兴起，从中心化到分布式转变，并且基于高速、本地化、灵活服务等方面提升了数据的使用效率和传输速率，降低了数据存储和迁移的成本。边缘机器学习系统的基本组件包括边缘路由子系统、存储子系统、平台管理子系统及边缘云基础设施。前3个子系统部署于边缘人工智能服务器内，而边缘云基础设施则由部署在网络边缘的小型或微型数据中心构成。目前边缘人工智能的部署模式基于传统的服务器部署形态，依赖底层基础设施，而且不具备高效简洁部署发放服务、进程高可用及自动监控服务运行状态等优势功能，并且不能实现宕机自动拉起。
技术实现思路
本专利技术提供一种基于容器云平台的边缘机器学习系统及其方法，旨在至少解决现有技术中存在的技术问题之一。该系统具备高效简洁部署人工智能服务、系统高可用及自动监控服务运行状态并实现服务中断自动迁移等优势。本专利技术的技术方案涉及一种基于容器云平台的边缘机器学习系统，所述的边缘机器学习系统由容器云技术通过容器云平台构建，并且所述的边缘机器学习系统包括：基础设施子系统，用于提供包含网络通信的基础设施服务；与所述的基础设施子系统连接的边缘路由子系统，用于通信连接一个或多个另外的边缘机器学习系统；存储子系统，包含存储服务以及应用程序接口模块；机器学习计算设备子系统，用于调用多个边缘计算终端组成用于机器学习的运算资源；分别与所述的基础设施子系统、所述的边缘路由子系统、所述的存储子系统和所述的机器学习计算设备子系统连接的平台管理子系统，用于协调容器云平台进行服务管理，进行边缘机器学习系统的资源调度，其中，所述的基础设施子系统、所述的边缘路由子系统、所述的存储子系统、所述的机器学习计算设备子系统和所述的平台管理子系统均被容器化为服务并由基于容器云平台的底层容器引擎运行。在本专利技术的一些方面，所述的边缘机器学习系统还包括：与所述的机器学习计算设备子系统连接的机器学习服务管理模块，用于对机器学习服务进行资源调度、运行监控的全生命周期管理。在本专利技术的一些方面，所述的边缘路由子系统与容器云平台的接入端连接，并且被配置成通过边缘路由服务与另外的多个边缘机器学习系统进行加密的通信连接，以允许通过单点登陆认证的方式进行所述的边缘机器学习系统之间的双方身份认证。在本专利技术的一些方面，所述的边缘机器学习系统还包括：服务协同迁移模块，用于容器内数据卷在集群各节点之间的迁移，并且对需要迁出的服务数据卷容器进行备份、恢复、迁移到新的边缘学习系统或者内部节点。其中，所述的数据卷包含服务的内容、服务的临时用户数据、服务的中间状态数据等。本专利技术的技术方案还涉及一种基于边缘机器学习系统的工作方法，该方法包括步骤：A、两个或多个的容器边缘机器学习系统之间基于服务注册技术和单点登录认证技术，在边缘路由的网络结构内进行通信交互；和/或B、对于容器边缘机器学习系统支撑服务协同迁移，采用容器内数据卷在集群各节点之间的迁移。在本专利技术的一些方面，所述步骤A包括：两个或多个容器边缘机器学习系统之间的认证采用对称加密方式，并且采用单点登录进行双向认证；或者两个或多个容器边缘机器学习系统之间的认证采用非对称加密方式。优选地，在两个或多个的容器边缘机器学习系统之间通信前，通过单点登录进行双向认证，以保证交互双方身份安全，比如让认证不成功的接入者拒绝接入。在本专利技术的一些方面，所述步骤B包括在以下任一个或多个场景时进行服务协同迁移：容器云第一边缘人工智能模块和容器云第二边缘人工智能模块均为部署在同一业务范围内的容器云平台，并具备迁移的前置条件；智能移动设备跨边缘机器学习系统接入访问服务，使服务从第一边缘人工智能模块迁移到第二边缘人工智能模块；第一边缘人工智能模块系统资源负载过高，而第二边缘人工智能模块资源负载低，第一边缘人工智能模块与第二边缘人工智能模块协商资源，服务由第一边缘人工智能模块迁移到第二边缘人工智能模块；第一边缘人工智能模块系统上服务连续故障，与第二边缘人工智能模块协商资源，在第二边缘人工智能模块上重建该服务。在本专利技术的一些方面，所述步骤B还包括：对于原先的边缘机器学习系统，首先将原容器云边缘人工智能模块的容器数据卷分离，停止数据卷，再将数据卷导出；对于目标的边缘机器学习系统，在目标容器云边缘人工智能模块进行服务配置描述数据导入，创建新的容器，挂载从原容器云边缘人工智能模块导出的数据卷；挂载成功并顺利运行容器后，触发删除原容器云边缘人工智能模块的已被迁移的容器。在一些方面，通过(数据卷的)迁移可以在不同节点之间保持服务的持续性。在以下的场景中将会使用此项服务：1.在多个容器之间共享数据，多个容器可以同时以只读或者读写的方式挂载同一个数据卷，从而共享数据卷中的数据；2.当宿主机不能保证一定存在某个目录或一些固定路径的文件时，使用数据卷可以规避这种限制带来的问题；3.当容器中的数据存储在宿主机之外的地方时，比如远程主机上或云存储上；4.容器数据在不同的宿主机之间备份、恢复或迁移时。本专利技术的技术方案还涉及一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实施上述的方法。本专利技术的有益效果如下。根据本专利技术的基于容器云平台的边缘机器学习系统，对其基础设施子系统、边缘路由子系统、存储子系统、机器学习计算设备子系统、平台管理子系统容器化为边缘容器云平台服务，实现以服务方式进行资源调度、运行监控等，实现基于容器云技术的机器学习计算系统生命周期管理及快速部署、运维、发布的人工智能的用户群体、企业需求。本专利技术还提供了机器学习计算设备(例如GPU、FPGA、边缘计算终端)与边缘机器学习系统，以及边缘机器学习系统间自组织协同技术，两者交互采用自组织式通信方式实现分布式控制和多中心的网络结构，通过接入认证技术保证通信双方的身份正确性，保证重要的网络传播内容不被窃取。本专利技术提供了边缘机器学习系统间的容器内卷协同迁移方法，通过容器内卷协同迁移使得在同一容器云平台之间的数据可以相互迁移，并保证服务完整性和无误性。附图说明图1是本专利技术的基于容器云平台的边缘机器学习系统的组成框架示意图；图2是本专利技术的基于容器云平台的边缘机器学习系统与边缘路由接入认证示意图；图3是机器学习容器与机器学习硬件资源池连接示意图；图4是边缘机器学习系统与边缘路由之间双向认证示意图；图5是容器边缘机本文档来自技高网...

【技术保护点】
1.一种基于容器云平台的边缘机器学习系统，其特征在于，所述的边缘机器学习系统由容器云技术通过容器云平台构建，并且所述的边缘机器学习系统包括：/n基础设施子系统，用于提供包含网络通信的基础设施服务；/n与所述的基础设施子系统连接的边缘路由子系统，用于通信连接一个或多个另外的边缘机器学习系统；/n存储子系统，包含存储服务以及应用程序接口模块；/n机器学习计算设备子系统，用于调用多个边缘计算终端组成用于机器学习的运算资源；/n分别与所述的基础设施子系统、所述的边缘路由子系统、所述的存储子系统和所述的机器学习计算设备子系统连接的平台管理子系统，用于协调容器云平台进行服务管理，进行边缘机器学习系统的资源调度，/n其中，所述的基础设施子系统、所述的边缘路由子系统、所述的存储子系统、所述的机器学习计算设备子系统和所述的平台管理子系统均被容器化为服务并由基于容器云平台的底层容器引擎运行。/n

【技术特征摘要】
1.一种基于容器云平台的边缘机器学习系统，其特征在于，所述的边缘机器学习系统由容器云技术通过容器云平台构建，并且所述的边缘机器学习系统包括：
基础设施子系统，用于提供包含网络通信的基础设施服务；
与所述的基础设施子系统连接的边缘路由子系统，用于通信连接一个或多个另外的边缘机器学习系统；
存储子系统，包含存储服务以及应用程序接口模块；
机器学习计算设备子系统，用于调用多个边缘计算终端组成用于机器学习的运算资源；
分别与所述的基础设施子系统、所述的边缘路由子系统、所述的存储子系统和所述的机器学习计算设备子系统连接的平台管理子系统，用于协调容器云平台进行服务管理，进行边缘机器学习系统的资源调度，
其中，所述的基础设施子系统、所述的边缘路由子系统、所述的存储子系统、所述的机器学习计算设备子系统和所述的平台管理子系统均被容器化为服务并由基于容器云平台的底层容器引擎运行。


2.根据权利要求1所述的边缘机器学习系统，其中，所述的边缘机器学习系统还包括：
与所述的机器学习计算设备子系统连接的机器学习服务管理模块，用于对机器学习服务进行资源调度、运行监控的全生命周期管理。


3.根据权利要求1所述的边缘机器学习系统，其中：
所述的基础设施子系统包含基础设施服务容器、网络模块和基础设施资源池；
所述的边缘路由子系统包含路由服务容器、数据转发模块和网络链接模块；
所述的机器学习计算设备子系统包含机器学习硬件设备的容器和资源池，该资源池融合一个或多个边缘计算设备终端的运算资源；
所述的平台管理子系统包含平台管理服务容器、资源调度模块、健康监测模块和报警模块。


4.根据权利要求3所述的边缘机器学习系统，其中，所述的边缘路由子系统与容器云平台的接入端连接，并且被配置成通过边缘路由服务与另外的多个边缘机器学习系统进行加密的通信连接，以允许通过单点登陆认证的方式进行所述的边缘机器学习系统之间的双方身份认证。


5.根据权利要求1所述的边缘机器学习系统，其中，所述的边缘机器学习系统还包括：
服务协同迁移模块，用于容器内数据卷在集群各节点之间的迁移，并且对需要迁出的服务数据卷容器进行备...

【专利技术属性】
技术研发人员：曹滔韬，
申请(专利权)人：钛链智云厦门信息科技有限公司，
类型：发明
国别省市：福建;35