【技术实现步骤摘要】
本申请实施例涉及深度学习，尤其涉及一种模型的压缩方法、终端部署方法、系统及电子设备。
技术介绍
1、大模型，即为具有巨大参数数量的机器学习模型，其能够更好地理解和处理复杂的数据。预训练语言模型的成功在很大程度上归功于对模型的训练，通过增加模型的参数量和计算复杂度，可以提高模型的表示能力，从而实现更准确和流畅的语言生成。例如bert-base模型，其参数量约为1.1亿，权重所需的存储空间约需要420mb；一些性能相对普通的语言模型，其参数量也已经增加到了十亿级别，以llama2-7b为例，它拥有大约70亿个参数，并需要大约13gb的存储空间，其规模相比之前增长了数十倍。
2、模型的参数量和权重存储体积需要占用大量的运算和存储资源，然而端侧设备的硬件资源有限，阻碍了模型在资源受限的端侧设备上的部署。
技术实现思路
1、本申请实施例提供了一种模型的压缩方法、终端部署方法、系统及电子设备，以至少解决模型的参数量难以满足在资源受限的端侧设备上部署需求的问题。
2、为了解决上述...
【技术保护点】
1.一种模型的压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对模型中各个目标函数层的权重数据进行有损压缩，得到浮点权重数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述优化目标函数包括第一优化函数和第二优化函数；
4.根据权利要求3所述的方法，其特征在于，所述第二优化函数中包括可微计数器，所述可微计数器用于记录和控制压缩过程中信息熵的损失；其中，所述可微计数器将待计数的权重数据拆分成整数部分和小数部分，通过对所述权重数据的整数部分和小数部分分别进行计数，确定压缩过程中所述信息熵的损失。
...【技术特征摘要】
1.一种模型的压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对模型中各个目标函数层的权重数据进行有损压缩，得到浮点权重数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述优化目标函数包括第一优化函数和第二优化函数；
4.根据权利要求3所述的方法，其特征在于，所述第二优化函数中包括可微计数器，所述可微计数器用于记录和控制压缩过程中信息熵的损失；其中，所述可微计数器将待计数的权重数据拆分成整数部分和小数部分，通过对所述权重数据的整数部分和小数部分分别进行计数，确定压缩过程中所述信息熵的损失。
5.根据权利要求4所述的方法，其特征在于，所述可微计数器从待计...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。