温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本公开涉及一种大语言模型的服务请求调度方法、介质、设备及程序产品,涉及机器学习技术领域,在该方法中,大语言模型服务包括不同序列长度区间对应的子模型服务,且各子模型服务中部署有不同数量的大语言模型,以使各子模型服务能够同时处理完输入子模型服务...该专利属于北京有竹居网络技术有限公司所有,仅供学习研究参考,未经过北京有竹居网络技术有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本公开涉及一种大语言模型的服务请求调度方法、介质、设备及程序产品,涉及机器学习技术领域,在该方法中,大语言模型服务包括不同序列长度区间对应的子模型服务,且各子模型服务中部署有不同数量的大语言模型,以使各子模型服务能够同时处理完输入子模型服务...