【技术实现步骤摘要】
一种自适应负载均衡方法及系统
[0001]本专利技术属于负载均衡领域，具体涉及并行流水线执行模型的负载均衡。
技术介绍
[0002]在服务器处理的各种计算任务中，有不少任务可以被划分为不同的处理阶段，使用流水线的形式执行。例如，在端边协同推理中，深度学习模型被切分为两个模型切片，分别部署在客户端和边缘服务器上，客户端基于本地模型切片推理得到的中间数据通过移动网络或局域网被传输到边缘服务器，边缘服务器使用其上部署的模型切片完成推理后，将推理结果回传至原客户端。由于推理结果一般较小，已有的公开技术资料认为这一过程在分析中可以忽略，因此在服务器端，端云协同推理可以简化为一个包含数据传输和模型推理的两级流水线。服务器还可以通过并行的执行流来执行两级流水线，增加服务器的吞吐率，从而形成并行流水线执行模式。
[0003]在使用并行流水线执行模式的服务器上，同一执行流的同一流水级串行地处理到来的任务，若一个任务到来时一个执行流的一个流水级正在执行任务，则发生任务拥塞，产生拥塞延迟。由于任务的到来往往具有随机性，拥塞延迟呈现出随机波...
【技术保护点】
【技术特征摘要】
1.一种自适应负载均衡方法，其特征在于，包括以下步骤：1)任务监测步骤：服务器接收来自各客户端的任务，并采用并行流水线模式执行任务，监测服务器在每个负载均衡周期中执行任务时的各个执行流中的拥塞延迟情况，依次执行拥塞协调步骤和负载分配步骤；2)拥塞协调步骤：使用交叉熵方法来选择使服务器整体期望拥塞延迟最小的执行流分配策略，利用选择的执行流分配策略来将客户端的任务分配给具体的执行流去执行；3)负载分配步骤：通过强化学习方法选择执行延迟最低的服务器
‑
客户端负载平衡策略，利用选择的服务器
‑
客户端负载平衡策略来给服务器和客户端分别分配执行任务时的负载量。2.如权利要求1所述的方法，其特征在于，监测服务器上各执行流中拥塞延迟的变化情况，若一段时间内有执行流的拥塞延迟高于一设定值且各执行流间拥塞延迟的不平衡，则判断为新的负载均衡周期，再次依次执行拥塞协调步骤和负载分配步骤。3.如权利要求1所述的方法，其特征在于，所述并行流水线模式是指：将服务器上执行的任务划分为若干流水级，以执行流的形式执行。4.如权利要求3所述的方法，其特征在于，多条执行流并行地在服务器上运行，同一执行流的同一流水级串行处理接收到的任务，不同执行流的流水级相同或不同。5.如权利要求1所述的方法，其特征在于，所述整体期望拥塞延迟是指一个任务发送至服务器后所经历的拥塞延迟的期望值。6.如权利要求5所述的方法，其特征在于，是否执行拥塞协调步骤和负载分配步骤的判断步骤包括：在一个负载均衡周期中，计算来自各个客户端的任务在执行流中的各级流水级的平均逗留时间；计算在该负载均衡周期中每个执行流的期望拥塞延迟；根据计算得到的每个执行流的期望拥塞延迟，计算在该负载均衡周期中整体期望拥塞延迟；根据每个执行流的期望拥塞延迟和整体期望拥塞延迟，计算执行流期望拥塞延迟的变异系数；如果整体期望拥塞延迟大于等于一拥塞延迟阈值，且变异系数大于等于一拥塞延迟波动阈值，则执行拥塞协调步骤和负载分配步骤，分别用于选择执行流分配策略和服务器
‑
客户端负载平...
【专利技术属性】
技术研发人员：罗宇哲，李玲，陈睿智，吴逍雨，程丽敏，赵琛，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。