温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请涉及一种基于Transformer的大语言模型分布式协同推理方法及装置。包括:响应于企业用户通过企业侧的推理网关提交的推理请求,为企业用户生成本次推理的标识信息,返回给推理网关;推理网关通过企业侧部署的大语言模型的输入嵌入层处理输入文...该专利属于中国电信股份有限公司技术创新中心所有,仅供学习研究参考,未经过中国电信股份有限公司技术创新中心授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请涉及一种基于Transformer的大语言模型分布式协同推理方法及装置。包括:响应于企业用户通过企业侧的推理网关提交的推理请求,为企业用户生成本次推理的标识信息,返回给推理网关;推理网关通过企业侧部署的大语言模型的输入嵌入层处理输入文...