温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本申请提出了一种提高大语言模型吞吐量的方法及装置，包括以下步骤：构建块管理模块，将GPU显存划分为等额大小的多个物理块；获取大语言模型的至少一输入请求序列，将所述输入请求序列分配至所述需求池内的运行队列以及等待队列中；构建计划表模块，所述计...
该专利属于城云科技（中国）有限公司所有，仅供学习研究参考，未经过城云科技（中国）有限公司授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。