【技术实现步骤摘要】
本专利技术实施例涉及通信领域，具体而言，涉及一种调度推理服务能力的控制方法和电子装置。
技术介绍
1、随着ai应用的日益增多和应用场景的不断扩展，推理服务的调用需求呈现出多样化和高并发的特点。然而，传统的推理服务调度机制往往侧重于后端服务实例间的负载均衡，忽视了前端ai应用间的调用均衡问题。在生产环境中，尤其是面对复杂和动态变化的业务场景，当部分ai应用的推理请求激增时，现有机制难以有效控制和分配有限的推理服务能力，导致资源分配不均，一些ai应用可能面临服务请求被延迟或拒绝的问题，严重影响了用户体验和业务效率。
技术实现思路
1、本专利技术实施例提供了一种调度推理服务能力的控制方法和电子装置，以至少解决相关技术中在某个或者某些ai应用推理请求过多时，无法均衡调度推理服务的问题。
2、根据本专利技术的一个实施例，提供了一种调度推理服务能力的控制方法，包括：获取推理服务能力的配额；根据配额控制目标人工智能ai应用调用推理服务能力。
3、根据本专利技术的又一个实施例，还提...
【技术保护点】
1.一种调度推理服务能力的控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述配额包括一个或多个第一子配额和一个第二子配额。
3.根据权利要求2所述的方法，其特征在于，在根据所述配额控制目标人工智能AI应用调用所述推理服务能力之前，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述配额控制目标人工智能AI应用调用所述推理服务能力包括：
5.根据权利要求3所述的方法，其特征在于，根据所述配额控制目标人工智能AI应用调用所述推理服务能力包括：
6.根据权利要求5所述的方法，其特征在...
【技术特征摘要】
1.一种调度推理服务能力的控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述配额包括一个或多个第一子配额和一个第二子配额。
3.根据权利要求2所述的方法，其特征在于，在根据所述配额控制目标人工智能ai应用调用所述推理服务能力之前，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述配额控制目标人工智能ai应用调用所述推理服务能力包括：
5.根据权利要求3所述的方法，其特征在于，根据所述配额控制目标人工智能ai应用调用所述推理服务能力包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1...
【专利技术属性】
技术研发人员：周俊超，刘晔波，张景亭，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。