【技术实现步骤摘要】
本公开实施例涉及数据压缩，特别涉及一种数据压缩方法及装置、电子设备、计算机可读存储介质。
技术介绍
1、大语言模型在推理场景中，产生每个token（令牌）的计算量远小于权重参数的传输量，因此压缩大语言模型的总存储量或带宽传输量可大幅提高推理速度。
2、对权重等数据进行无损压缩，可以减少存储和通信量。霍夫曼等熵编码技术根据数据的统计特性确定编码单元的编码长度，实现不定长编码，可以逼近香农信息极限。
3、然而，霍夫曼解码是串行的，需要逐bit（位）的查找解码二叉树完成解码，难以并行。尽管出现了一些并行化的改进方法，将霍夫曼编解码应用于大模型权重到计算芯片的权重传输带宽缩减上，依然面临解码延迟较大而难以应用的问题。而且该解码方法一般难以适配gpu（graphical processing unit，图形处理单元）、类脑芯片等计算芯片，从而难以用到大模型推理带宽缩减等场景上。
技术实现思路
1、本公开实施例提供了一种数据压缩方法及装置、电子设备、计算机可读存储介质。
...【技术保护点】
1.一种数据压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据压缩方法，其特征在于，所述待压缩数据包括大模型权重数据；
3.根据权利要求2所述的数据压缩方法，其特征在于，在众核芯片的片外存储所述每组分解数据以后，所述方法还包括：
4.根据权利要求1所述的数据压缩方法，其特征在于，所述目标数据的大小包括位宽，所述存储空间大小要求包括位宽要求；
5.根据权利要求1所述的数据压缩方法，其特征在于，所述根据所述存储空间大小要求对所述一组待压缩数据进行至少一次分解，获取多组分解数据，包括：
6.根据权利...
【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据压缩方法，其特征在于，所述待压缩数据包括大模型权重数据；
3.根据权利要求2所述的数据压缩方法，其特征在于，在众核芯片的片外存储所述每组分解数据以后，所述方法还包括：
4.根据权利要求1所述的数据压缩方法，其特征在于，所述目标数据的大小包括位宽，所述存储空间大小要求包括位宽要求；
5.根据权利要求1所述的数据压缩方法，其特征在于，所述根据所述存储空间大小要求对所述一组待压缩数据进行至少一次分解，获取多组分解数据，包括：
6.根据权利要求1所述的数据压缩方法，其特征在于，所述存储方式包括以下任意一种：稠密化存储、准稀疏化存储和稀疏化存储；
7.根据权利要求6所述的数据压缩方法，其特征在于，所述根据每组分解数据...
【专利技术属性】
技术研发人员：刘发强，张伟豪，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。