基于云边环境的微服务优化部署控制方法、系统及集群技术方案

本发明专利技术提供一种基于云边环境的微服务优化部署控制方法、系统及集群，所述基于云边环境的微服务优化部署控制方法包括：包括：将微服务应用划分成为多个子结构并将每个子结构映射到云边连续体的同一节点中；基于优化目标的约束为每个微服务细粒度的分配计算资源；监测每个节点的资源使用情况，在运行时发现资源使用不均衡时，将微服务从拥塞节点迁移至其他空闲节点。本发明专利技术可以解决微服务在云边连续体环境下的部署问题，以在保证用户请求端到端延迟要求的情况下最小化微服务的资源使用。

【技术实现步骤摘要】
基于云边环境的微服务优化部署控制方法、系统及集群
本专利技术涉及大数据处理
，特别是涉及云边架构

技术介绍
随着5G的发展和边缘设备算力的提升，云数据中心、边缘网关开始融合，地理分布式的云边环境能够充分发挥云数据中心的高性能以及边端设备的低延迟的特点，目前已在云VR，云游戏以及协同推理领域有广泛的应用。另一方面，面向用户的服务应用变得日益复杂，并且软件应用需要频繁的更新迭代，传统的软件已经难以满足用户的要求。为此，互联网应用正从单一架构向微服务转型，基于微服务的应用程序涉及多个微服务的互操作，每个微服务都可以独立实现和更新。这种独立性提高了应用程序的可伸缩性，可移植性和可用性。考虑到这些优势，微服务架构已被互联网公司广泛接受并采用。在基于微服务架构的互联网应用中，一个应用通常包含微服务并组成工作流。相比于传统的单一架构，微服务架构使得将部分作业部署在更靠近用户侧的边缘设备成为可能。在云边连续体中部署多作业任务使得互联网服务能够同时享受边缘节点的低访问延迟和云数据中心的高计算能力，同时也带来了新的挑战。在云边融合的场景中，任务和相应的数据被部署在多个地理分布式计算节点上。现有的调度算法都不适用于基于云边连续体的微服务部署。图1展示了在云边连续体重部署微服务时影响应用端到端延迟的两点因素。一方面，在云边连续体中，微服务间的通信以及微服务与数据的通信需要在公有网络中完成，这需要消耗高网络带宽。如图1所示，微服务应用包含4个微服务阶段，其拓补关系为：1)用户的请求首先经过阶段1处理并将处理结果传输给阶段2。2)阶段2接收到阶段1的中间结果后进行处理并将结果传输给阶段3和阶段4。3)阶段3接收到阶段2的中间结果后开始进行处理并将处理结果传输给阶段3。4)阶段4接受到阶段2和阶段3的中间结果后开始进行处理并将最终结果返回给用户。其中阶段1和阶段2放置在云节点上，阶段3和阶段4分别放置在不同边缘节点上，图中黑色箭头表示阶段间的数据通信。阶段1与阶段2都放置在云节点上，其间的通信通过类似于①的方式在全局内存完成传输。而阶段2和阶段3中被放置在不同计算节点(边缘节点1和边缘节点2)中，在这种情况下，阶段2的数据传输需要类似于②的方式占用公用网络进而导致高通信开销。另一方面，同一节点上的多个微服务对共享资源相互竞争导致整体应用的性能下降，为某些微服务分配过多的计算资源会影响其他服务的性能进而导致微服务应用整体的性能减益。之前的技术仅将基于微服务架构的互联网服务部署在云计算节点当中，所以忽视了云边计算节点之间的高带宽消耗以及边缘节点上的共享资源争用，从而造成了严重的性能下降。因此传统的微服务部署技术不能直接应用于基于云边连续体的微服务部署当中。现有技术中有一种技术方案是基于Kubernetes的按需调度策略：用户可以为部分微服务预分配计算资源，这些微服务被定义为guaranteed级别，并且在调度过程中会被优先调度。在调度的过程中，按需策略将采用两步策略调度guaranteed级别的微服务。首先，Kubernetes调用predicates算法对分布式系统中节点进行筛选找到可以映射该服务的节点队列。其次，Kubernetes调用priorities算法对节点队列中的节点进行打分并且选择最合适的节点映射。对于其他没有预分配资源的微服务，Kubernetes将这些服务随机映射到分布式节点当中，并且这些微服务竞争使用该节点的所有剩余资源。基于Kubernetes的按需调度策略的缺点是基于Kubernetes的按需分配的调度算法不能很好的适应多作业任务在云边连续体中的部署。具体来说，首先，用户可以通过将关键性的作业设置成为guaranteed级别并预留资源以保证服务质量。然而作业的关键性随负载的变化而变化，必须在运行时进行分析，所以静态确定作业优先级的方案不可取。其次，对于其他作业，Kubernetes没有对其进行资源隔离。运行在同一计算节点当中的混部作业会竞争资源从而造成性能损失。最后基于Kubernetes的按需调度策略将微服务随机的部署到云边连续体中，其不同节点上的微服务间的通信需要消耗大量网络带宽。现有技术中还有一种技术方案是基于反馈调节的算法，主要是解决延迟敏感型任务和后台批处理任务的混合部署问题。其主要思想是根据当前所有任务的运行情况决定下一时刻的资源分配，简单来说，当监视器检测到延迟敏感型任务存在QoS违反的风险，那么在下一时间内会为延迟敏感型任务分配更多计算资源，或停止后台批处理任务以消解资源争用。现有调度算法将多阶段微服务视为整体并和后台批处理任务混合部署以在保证作业的应用服务质量的前提下最大化分布式系统吞吐率。基于反馈调节的算法缺点是基于反馈机制的调度策略更多的注重保证作业整体的QoS并提升分布式系统的整体吞吐率。在这些方法中，微服务随机的映射到分布式系统中，映射在同一计算节点当中的多个作业被当成整体并赋予计算资源，也就是说这些作业之间仍然存在资源争用，所以需要设计更加细粒度的资源划分模型为每个作业分配计算资源。此外，随机映射方式导致中间数据的大量拷贝进而影响到端到端延迟。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于云边环境的微服务优化部署控制方法、系统及集群，用于解决现有技术中微服务在云边连续体中或资源消耗大或数据端到端延迟的技术问题。为实现上述目的及其他相关目的，本专利技术提供一种基于云边环境的微服务优化部署控制方法，包括：将微服务应用划分成为多个子结构并将每个子结构映射到云边连续体的同一节点中；基于优化目标的约束为每个微服务细粒度的分配计算资源；监测每个节点的资源使用情况，在运行时发现资源使用不均衡时，将微服务从拥塞节点迁移至其他空闲节点。于本专利技术的一实施例中，所述优化目标的约束为每个节点上微服务子阶段的CPU消耗、内存消耗以及网络带宽消耗不能超过该节点的CPU、内存容量以及网络带宽总量。于本专利技术的一实施例中，所述优化目标的约束还包括：用户请求的99％尾延迟在服务质量目标内并且单位时间内微服务应用吞吐要大于用户请求负载压力。于本专利技术的一实施例中，所述将微服务从拥塞节点迁移至其他空闲节点包括：在每个节点上都为微服务配置资源使用表；在每个节点中资源使用表按照微服务网络通信消耗从小到大进行排序；当存在拥塞节点时，逐一比较拥塞节点的资源使用表的每一行，并将资源使用小于目标节点资源剩余量的微服务阶段迁移至其他空闲节点。于本专利技术的一实施例中，所述资源使用表记录每个计算节点的资源使用、待迁移目标节点和迁移网络通信增量。于本专利技术的一实施例中，所述方法还包括：预先训练多个负载压力状态下的资源划分和微服务阶段映射策略；基于所述资源划分和微服务阶段映射策略将微服务应用划分成为多个子结构并将每个子结构映射到云边连续体的同一节点中；当用户负载请求发生变化时，选择大于当前负载压力的资源划分和微服务映射策略。于本专利技术的一实施例中，所述方法还包括：识别运行时微服务的资源浪费并降低存在资源冗余的微服务的资源份额，使得微服务应用的本文档来自技高网...

【技术保护点】
1.一种基于云边环境的微服务优化部署控制方法，其特征在于：包括：/n将微服务应用划分成为多个子结构并将每个子结构映射到云边连续体的同一节点中；/n基于优化目标的约束为每个微服务细粒度的分配计算资源；/n监测每个节点的资源使用情况，在运行时发现资源使用不均衡时，将微服务从拥塞节点迁移至其他空闲节点。/n

【技术特征摘要】
1.一种基于云边环境的微服务优化部署控制方法，其特征在于：包括：
将微服务应用划分成为多个子结构并将每个子结构映射到云边连续体的同一节点中；
基于优化目标的约束为每个微服务细粒度的分配计算资源；
监测每个节点的资源使用情况，在运行时发现资源使用不均衡时，将微服务从拥塞节点迁移至其他空闲节点。


2.根据权利要求1所述的基于云边环境的微服务优化部署控制方法，其特征在于：所述优化目标的约束为每个节点上微服务子阶段的CPU消耗、内存消耗以及网络带宽消耗不能超过该节点的CPU、内存以及网络带宽总量。


3.根据权利要求1或2所述的基于云边环境的微服务优化部署控制方法，其特征在于：所述优化目标的约束还包括：用户请求的99％尾延迟在服务质量目标内并且单位时间内微服务应用吞吐要大于用户请求负载压力。


4.根据权利要求1所述的基于云边环境的微服务优化部署控制方法，其特征在于：所述将微服务从拥塞节点迁移至其他空闲节点包括：
在每个节点上都为微服务配置资源使用表；
在每个节点中资源使用表按照微服务网络通信消耗从小到大进行排序；
当存在拥塞节点时，逐一比较拥塞节点的资源使用表的每一行，并将资源使用小于目标节点资源剩余量的微服务阶段迁移至其他空闲节点。


5.根据权利要求4所述的基于云边环境的微服务优化部署控制方法，其特征在于：所述资源使用表记录每个计算节点的资源使用、待迁移目标节点和迁移网络通信增量。


6.根据权利要求5所述的基于云边环境的微服务优化部署控制方法，其特征在于：所述方法还包括：
预先训练多个负载压力状态下的资源划分...

【专利技术属性】
技术研发人员：陈全，过敏意，符凯华，张蔚，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31