【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种任务处理方法、设备及可读存储介质。
技术介绍
1、随着深度学习和人工智能技术的发展，深度学习技术应用的领域也越来越广泛。近年来，各大公司和科研机构不断推出超大模型。作为探索通用人工智能领域的路径之一，大模型覆盖的领域很广泛，包括文本、语音、视觉等多个方向。随着这些模型在实际应用中的广泛部署，它们对计算能力和内存的高需求给推理服务基础设施带来了挑战。这一挑战尤其在在线环境和延迟敏感的场景中显得尤为严峻。
2、为了提供更佳的用户体验，实现任务处理的低延迟至关重要，即从任务开始到完成的时间需要尽可能短。同时，系统还必须具备高吞吐量，即在一定时间内能处理大量任务请求。
3、大模型的任务处理主要采用两种并行方法：操作内并行和操作间并行，操作内并行方法通过多个设备可以同时进行计算，需要频繁的设备间通信来消除数据依赖，增加了通信量，影响了系统的吞吐量，使得单个请求的处理成本升高。操作间并行方法每个请求任务在同一时间只能由一个设备处理不能有效减少延迟，任务处理效率低。
4、综上，如何平衡...
【技术保护点】
1.一种任务处理方法，其特征在于，所述任务处理方法包括以下步骤：
2.如权利要求1所述的任务处理方法，其特征在于，所述从所述次处理内核中调度目标次处理内核的步骤，包括：
3.如权利要求2所述的任务处理方法，其特征在于，所述基于所述主运行时长从所述次处理内核中调度目标次处理内核的步骤，包括：
4.如权利要求3所述的任务处理方法，其特征在于，所述以预设的竞争因子调整所述理论运行时长得到竞争运行时长的步骤之后，所述方法还包括：
5.如权利要求1所述的任务处理方法，其特征在于，所述运行所述目标主处理内核与所述目标次处理内核的步骤...
【技术特征摘要】
1.一种任务处理方法，其特征在于，所述任务处理方法包括以下步骤：
2.如权利要求1所述的任务处理方法，其特征在于，所述从所述次处理内核中调度目标次处理内核的步骤，包括：
3.如权利要求2所述的任务处理方法，其特征在于，所述基于所述主运行时长从所述次处理内核中调度目标次处理内核的步骤，包括：
4.如权利要求3所述的任务处理方法，其特征在于，所述以预设的竞争因子调整所述理论运行时长得到竞争运行时长的步骤之后，所述方法还包括：
5.如权利要求1所述的任务处理方法，其特征在于，所述运行所述目标主处理内核与所述目标次处理内核的步骤之前，所述方法还包括：
6.如权利要求5所述的任务处理方法，其特征在于，所述运行所述目标主处理内核与所述目标次处理内核的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。