【技术实现步骤摘要】
本申请一个或多个实施例涉及人工智能，尤其涉及一种推理系统的负载感知调度方法和推理系统。
技术介绍
1、推理系统（inference system）是一种计算机程序，它使用逻辑规则和已知的事实来得出新的结论或决策。推理系统是人工智能领域的一个重要组成部分，主要用于模拟人类的决策过程。它基于一组已定义的知识库和推理引擎来推导出结论。推理系统可以执行其获取到的推理请求（inference request），并输出对应的推理结果。
2、一个典型的推理系统通常由以下几个部分组成：知识库（knowledge base）、推理引擎（inference engine）、用户界面（user interface）、解释机制（explanationfacility）。其中，知识库包括存储系统所知道的所有事实和规则，这些事实可以是关于世界的状态、对象属性等，而规则则是描述如何从已知事实中得出新结论的逻辑表达式。推理引擎是推理系统的核心组件，它负责执行推理过程中的逻辑运算，即从给定的知识库中得出新的结论或决策；推理引擎使用一系列规则和已知事实来推导出...
【技术保护点】
1.一种推理系统的负载感知调度方法，应用于推理系统中的全局调度器；所述推理系统还包括推理引擎；所述推理引擎包括部署在计算集群中的各个计算节点上的至少一个计算实例；所述计算实例的计算资源包括所在的计算节点上搭载的GPU；所述全局调度器维护了动态更新的各个计算实例的GPU负载信息；
2.根据权利要求1所述的方法，所述预设条件为计算实例中的GPU负载最小。
3.根据权利要求1所述的方法，所述推理引擎还包括部署在所述计算集群中的各个计算节点上的本地调度器；
4.根据权利要求3所述的方法，所述方法还包括：
5.根据权利要求3所述的...
【技术特征摘要】
1.一种推理系统的负载感知调度方法，应用于推理系统中的全局调度器；所述推理系统还包括推理引擎；所述推理引擎包括部署在计算集群中的各个计算节点上的至少一个计算实例；所述计算实例的计算资源包括所在的计算节点上搭载的gpu；所述全局调度器维护了动态更新的各个计算实例的gpu负载信息；
2.根据权利要求1所述的方法，所述预设条件为计算实例中的gpu负载最小。
3.根据权利要求1所述的方法，所述推理引擎还包括部署在所述计算集群中的各个计算节点上的本地调度器；
4.根据权利要求3所述的方法，所述方法还包括：
5.根据权利要求3所述的方法，所述gpu负载信息包括实例资源利用率；其中，所述实例资源利用率为本地调度器基于计算实例的gpu内存利用率和gpu内存带宽利用率计算出的用于指示gpu负载的指标；
...【专利技术属性】
技术研发人员：丁治强，杨统凯，杜军，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。