一种适用于异构计算平台的ICE负载均衡系统技术方案

本发明专利技术涉及一种适用于异构计算平台的ICE负载均衡系统，属于负载均衡领域。本发明专利技术实时采集节点服务器上GPU或NPU协处理器负载信息，根据任务类型和自定义负载均衡算法，选取特定协处理器作为响应客户端请求的节点，从而增强了系统的稳定性和鲁棒性，扩展了ICE对异构计算平台的负载均衡管理能力。本发明专利技术结合GPU、NPU等协处理器资源实时负载信息自定义ICE负载均衡方法，实现对ICE负载均衡模块的扩展。ICE注册中心通过调用扩展的负载均衡方法筛选目标对象适配器，从而实现对GPU、NPU等协处理器算力资源的负载均衡管理。器算力资源的负载均衡管理。器算力资源的负载均衡管理。

【技术实现步骤摘要】
一种适用于异构计算平台的ICE负载均衡系统


[0001]本专利技术属于负载均衡领域，具体涉及一种适用于异构计算平台的ICE负载均衡系统。

技术介绍

[0002]ICE(International Communication Engine)中间件是一种轻量级的网络通信引擎，由于其跨平台跨语言特性，被广泛使用在分布式计算系统中，其中保证平台及应用服务稳定性的负载均衡模块即显得尤为重要。然而ICE中间件自带的负载均衡策略仅考虑了节点服务器CPU侧的负载信息，不支持对NPU、GPU等协处理器算力资源的负载均衡。而以深度学习为核心的人工智能应用往往采用CPU+GPU或CPU+NPU等异构计算平台，且同一节点服务器往往有多个协处理器模块。充分利用多个协处理器模块资源，实现针对协处理器的负载均衡需要有效的优化手段支撑。

技术实现思路

[0003](一)要解决的技术问题
[0004]本专利技术要解决的技术问题是如何提供一种适用于异构计算平台的ICE负载均衡系统，以解决ICE中间件自带的负载均衡策略仅考虑了节点服务器CPU侧的负载信息，不支持对NPU、GPU等协处理器算力资源的负载均衡的问题。
[0005](二)技术方案
[0006]为了解决上述技术问题，本专利技术提出一种适用于异构计算平台的ICE负载均衡系统，该系统包括资源监控模块、自定义负载均衡算法模块和副本组过滤器；
[0007]所述资源监控模块负责实时采集节点服务器的GPU或NPU的资源负载量化值，形成负载量化值序列L
gpu
＝{l1,l2,
…
,l
M
}和L
npu
＝{l1,l2,
…
,l
N
}，其中M为节点服务器上GPU模块的数目，N为节点服务器上NPU模块的数目，l
i
为各个GPU或NPU模块上的负载量化值；
[0008]自定义负载均衡算法模块负责选择用以响应客户端请求的协处理器，根据应用需求设计不同的协处理器选取规则；
[0009]副本组过滤器扩展的filter方法调用自定义负载均衡算法模块获取满足条件的协处理器，并将传入的对象适配器列表映射为服务列表，再将协处理器标识和服务属性相匹配，最终返回运行在该协处理器上的服务的对象适配器。
[0010]进一步地，协处理器包括GPU或NPU。
[0011]进一步地，所述资源监控模块调用硬件厂商提供的接口采集节点服务器的GPU或NPU的资源负载量化值。
[0012]进一步地，资源监控模块将采集到的协处理器资源负载量化值定期报告给自定义负载均衡算法模块。
[0013]进一步地，所述协处理器选取规则包括随机法、最近最少使用法和最小负载法。
[0014]进一步地，所述最小负载法即从负载量化值序列L
gpu
和L
npu
中直接返回一个负载量
化值最小的GPU和NPU的设备标识给副本组过滤器。
[0015]进一步地，副本组过滤器继承ICE的ReplicaGroupFilter类并实现父类自带的filter方法。
[0016]进一步地，客户端通过ICE通信中间件向该ICE负载均衡系统请求对象适配器列表，该ICE负载均衡系统回传满足条件的对象适配器列表。
[0017]进一步地，在应用的配置文件中会指明协处理器模块标识，该标识将作为服务启动参数自动传入。
[0018]进一步地，当ICE注册中心收到客户端的服务地址请求时，会根据任务类型和协处理器模块标识将不同版本的智能算法分配到对应的GPU或NPU上，并返回被请求对象的一串对象适配器列表，同时调用副本组过滤器进行响应拦截处理，进一步筛选符合条件的对象适配器，最后ICE注册中心将该对象适配器的服务地址返回给客户端。
[0019](三)有益效果
[0020]本专利技术提出一种适用于异构计算平台的ICE负载均衡系统，该系统实时采集节点服务器上GPU或NPU协处理器负载信息，根据任务类型和自定义负载均衡算法，选取特定协处理器作为响应客户端请求的节点，从而增强了系统的稳定性和鲁棒性，扩展了ICE对异构计算平台的负载均衡管理能力。
[0021]本专利技术结合GPU、NPU等协处理器资源实时负载信息自定义ICE负载均衡方法，实现对ICE负载均衡模块的扩展。ICE注册中心通过调用扩展的负载均衡系统筛选目标对象适配器，从而实现对GPU、NPU等协处理器算力资源的负载均衡管理。
[0022]本专利技术提出一种适用于异构计算平台的ICE负载均衡系统，和ICE仅考虑CPU侧负载信息相比，本专利技术考虑了更全面的资源负载数据，能够更加全面准确地评估节点服务器的整体状态，合理分配系统资源，提高资源利用率，更好地优化系统整体性能。
附图说明
[0023]图1为本专利技术ICE负载均衡系统示意图。
具体实施方式
[0024]为使本专利技术的目的、内容和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0025]本专利技术的目的是提出一种适用于异构计算平台的ICE负载均衡系统，扩展ICE对GPU、NPU等协处理器模块的负载均衡管理能力。
[0026]本专利技术提出一种适用于异构计算平台的ICE负载均衡系统。该系统实时采集节点服务器上GPU或NPU协处理器负载信息，根据任务类型和自定义负载均衡算法，选取特定协处理器作为响应客户端请求的节点，从而增强了系统的稳定性和鲁棒性，扩展了ICE对异构计算平台的负载均衡管理能力。
[0027]图1是本专利技术技术方案的系统框图。如图1所示，本专利技术提出的一种适用于异构计算平台的ICE负载均衡系统包括下列模块：
[0028](1)资源监控模块
[0029]负责调用硬件厂商提供的接口实时采集节点服务器的GPU或NPU的资源负载量化
值，形成负载量化值序列L
gpu
＝{l1,l2,
…
,l
M
}和L
npu
＝{l1,l2,
…
,l
N
}，其中M为节点服务器上GPU模块的数目，N为节点服务器上NPU模块的数目，l
i
为各个GPU或NPU模块上的负载量化值。资源监控模块将采集到的协处理器资源负载量化值定期报告给自定义负载均衡算法模块。
[0030](2)自定义负载均衡算法模块
[0031]自定义负载均衡算法模块负责选择用以响应客户端请求的协处理器，根据应用需求设计不同的协处理器选取规则，常见规则有随机法、最近最少使用法和最小负载法等。本专利技术实施例采用最小负载法，也就是从负载量化值序列L
gpu
和L
npu
中直接返回一个负载量化值最小的GPU和NPU的设备标识给副本组过滤器。
[0032](3)副本组过滤器
[0033]ICE提供副本组过滤器扩展以支持用户自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于异构计算平台的ICE负载均衡系统，其特征在于，该系统包括资源监控模块、自定义负载均衡算法模块和副本组过滤器；所述资源监控模块负责实时采集节点服务器的GPU或NPU的资源负载量化值，形成负载量化值序列L
gpu
＝{l1,l2,
…
,l
M
}和L
npu
＝{l1,l2,
…
,l
N
}，其中M为节点服务器上GPU模块的数目，N为节点服务器上NPU模块的数目，l
i
为各个GPU或NPU模块上的负载量化值；自定义负载均衡算法模块负责选择用以响应客户端请求的协处理器，根据应用需求设计不同的协处理器选取规则；副本组过滤器扩展的filter方法调用自定义负载均衡算法模块获取满足条件的协处理器，并将传入的对象适配器列表映射为服务列表，再将协处理器标识和服务属性相匹配，最终返回运行在该协处理器上的服务的对象适配器。2.如权利要求1所述的适用于异构计算平台的ICE负载均衡系统，其特征在于，协处理器包括GPU或NPU。3.如权利要求1所述的适用于异构计算平台的ICE负载均衡系统，其特征在于，所述资源监控模块调用硬件厂商提供的接口采集节点服务器的GPU或NPU的资源负载量化值。4.如权利要求1所述的适用于异构计算平台的ICE负载均衡系统，其特征在于，资源监控模块将采集到的协处理器资源负载量化值定期报告给自定义负载均衡算法模块。...

【专利技术属性】
技术研发人员：瞿秋薏，寇金桥，籍雁翔，赵漫菲，王浩枫，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：