一种适用于异构计算平台的ICE负载均衡系统技术方案

本发明专利技术涉及一种适用于异构计算平台的ICE负载均衡系统，属于负载均衡领域。本发明专利技术实时采集节点服务器上GPU或NPU协处理器负载信息，根据任务类型和自定义负载均衡算法，选取特定协处理器作为响应客户端请求的节点，从而增强了系统的稳定性和鲁棒性，扩展了ICE对异构计算平台的负载均衡管理能力。本发明专利技术结合GPU、NPU等协处理器资源实时负载信息自定义ICE负载均衡方法，实现对ICE负载均衡模块的扩展。ICE注册中心通过调用扩展的负载均衡方法筛选目标对象适配器，从而实现对GPU、NPU等协处理器算力资源的负载均衡管理。器算力资源的负载均衡管理。器算力资源的负载均衡管理。

【技术实现步骤摘要】
一种适用于异构计算平台的ICE负载均衡系统


[0001]本专利技术属于负载均衡领域，具体涉及一种适用于异构计算平台的ICE负载均衡系统。

技术介绍

[0002]ICE(International Communication Engine)中间件是一种轻量级的网络通信引擎，由于其跨平台跨语言特性，被广泛使用在分布式计算系统中，其中保证平台及应用服务稳定性的负载均衡模块即显得尤为重要。然而ICE中间件自带的负载均衡策略仅考虑了节点服务器CPU侧的负载信息，不支持对NPU、GPU等协处理器算力资源的负载均衡。而以深度学习为核心的人工智能应用往往采用CPU+GPU或CPU+NPU等异构计算平台，且同一节点服务器往往有多个协处理器模块。充分利用多个协处理器模块资源，实现针对协处理器的负载均衡需要有效的优化手段支撑。

技术实现思路

[0003](一)要解决的技术问题
[0004]本专利技术要解决的技术问题是如何提供一种适用于异构计算平台的ICE负载均衡系统，以解决ICE中间件自带的负载均衡策略仅考虑了节点服务器CPU侧的负载信息，不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于异构计算平台的ICE负载均衡系统，其特征在于，该系统包括资源监控模块、自定义负载均衡算法模块和副本组过滤器；所述资源监控模块负责实时采集节点服务器的GPU或NPU的资源负载量化值，形成负载量化值序列L
gpu
＝{l1,l2,
…
,l
M
}和L
npu
＝{l1,l2,
…
,l
N
}，其中M为节点服务器上GPU模块的数目，N为节点服务器上NPU模块的数目，l
i
为各个GPU或NPU模块上的负载量化值；自定义负载均衡算法模块负责选择用以响应客户端请求的协处理器，根据应用需求设计不同的协处理器选取规则；副本组过滤器扩展的filter方法调用自定义负载均衡算法模块获取满足条件的协处理器，并将传入的对象适配器列表映射为服务列表，再将协处理器标识和服务属性相匹配，最终返回运行在该协处理器上的服务的对象适配器。2.如权利要求1所述的适用于异构计算平台的ICE负载均衡系统，其特征在于，协处理器包括GPU或NPU。3.如权利要求1所述的适用于异构计算平台的ICE负载均衡系统，其特征在于，所述资源监控模块调用硬件厂商提供的接口采集节点服务器的GPU或NPU的资源负载量化值。4.如权利要求1所述的适用于异构计算平台的ICE负载均衡系统，其特征在于，资源监控模块将采集到的协处理器资源负载量化值定期报告给自定义负载均衡算法模块。...

【专利技术属性】
技术研发人员：瞿秋薏，寇金桥，籍雁翔，赵漫菲，王浩枫，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：