温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明实施例提供了一种混合精度权重的处理方法、装置、设备及计算机程序产品。其中,混合精度权重的处理方法包括:获取激活矩阵以及与大语言模型相对应的权重矩阵,激活矩阵中包括多个激活值,权重矩阵中包括:多个未量化模型权重和多个不同精度的量化后模型...该专利属于阿里云飞天(杭州)云计算技术有限公司所有,仅供学习研究参考,未经过阿里云飞天(杭州)云计算技术有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明实施例提供了一种混合精度权重的处理方法、装置、设备及计算机程序产品。其中,混合精度权重的处理方法包括:获取激活矩阵以及与大语言模型相对应的权重矩阵,激活矩阵中包括多个激活值,权重矩阵中包括:多个未量化模型权重和多个不同精度的量化后模型...