【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种混合精度权重的处理方法、装置、设备及计算机程序产品。
技术介绍
1、随着大语言模型技术的不断成熟，大语言模型的应用范围越来越广泛，为了能够降低大语言模型的部署成本，大语言模型往往需要经过量化操作进行部署操作。而对于量化后的大语言模型而言，其往往对应于数量巨大的、不同精度的模型权重，例如：整数型int、2bit位精度的模型权重、整数型int、4bit位精度的模型权重等等，在基于大语言模型进行推理运算操作时，往往会包括对混合精度的模型权重之间的运算操作，尤其是乘法运算，由于运算操作的数据量巨大，因此需要进行多次访存操作，不仅会极大地降低运算效率，并且还会影响大语言模型的推理速度。
技术实现思路
1、本专利技术实施例提供了一种混合精度权重的处理方法、装置、设备及计算机程序产品，能够提高混合精度权重的运算效率，进而保证大语言模型的推理质量和效率。
2、第一方面，本专利技术实施例提供了一种混合精度权重的处理方法，包括：
3、获取激活矩阵以及...
【技术保护点】
1.一种混合精度权重的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述权重矩阵进行分组，获得与所述权重矩阵相对应的多个权重分块，包括：
3.根据权利要求1所述的方法，其特征在于，确定各个权重分块所对应的反量化参数，包括：
4.根据权利要求3所述的方法，其特征在于，在确定各个权重分块所对应的反量化参数之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，获取各个权重分块所对应的反量化参数，包括：
6.根据权利要求1所述的方法，其特征在于，基于所述反量化参数对所述激活矩阵...
【技术特征摘要】
1.一种混合精度权重的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述权重矩阵进行分组，获得与所述权重矩阵相对应的多个权重分块，包括：
3.根据权利要求1所述的方法，其特征在于，确定各个权重分块所对应的反量化参数，包括：
4.根据权利要求3所述的方法，其特征在于，在确定各个权重分块所对应的反量化参数之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，获取各个权重分块所对应的反量化参数，包括：
6.根据权利要求1所述的方法，其特征在于，基于所述反量化参数对所述激活矩阵与所述多个权重分块进行乘法运算，获得运算处理结果，包括：
7.根据权利要求6所述的方法，其特征在于，在获得多个激活参数块之后，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，基于所述反量化参数对多个激活参数块与所述多个权重分块进行乘法运算，获得多个分块运算结果，包括：
9.根据权利要求8所述的方法，其特征在于，获取多个权重分块各自对应的通道映射关系，包括：
10.根据权利要求8所述的方法，其特征在于，基于多个权重分块各自对应的通道映射关系对需进行乘...
【专利技术属性】
技术研发人员：夏金鹏，张跃伟，
申请(专利权)人：阿里云飞天杭州云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。