一种模型权重参数存储方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种模型权重参数存储方法、装置、设备及存储介质，涉及机器学习领域，包括：获取与预设大模型对应的待存储权重参数集，并基于预设参数预处理平台对待存储权重参数集进行预处理，以得到处理后参数集通过预设参数预处理平台将所述处理后参数集中的各目标子集分割成相应的单元矩阵，并对得到的各个单元矩阵进行计算，以得到与各单元矩阵分别对应的目标算术平均值；基于预设判断规则对各所述目标算术平均值分别进行判断，并根据得到的判断结果确定对应的单元矩阵的目标矩阵类型；基于目标矩阵类型以及预设存储规则将各单元矩阵存储至预设单元矩阵字典，以完成与待存储权重参数集对应的参数存储操作。这样一来，能够有效降低存储成本。

【技术实现步骤摘要】

本专利技术涉及机器学习领域，特别涉及一种模型权重参数存储方法、装置、设备及存储介质。

技术介绍

1、目前，基于deep neural network(dnn，深度神经网络)的大模型的人工智能实现方法正在吸引越来越来越多的关注。其通常采用庞大的参数量和样本集以达到state-of-the-art(sota，最先进的)效果，但随之而来的是高计算量和高网络复杂度。而其硬件设备作为网络运作的基石，其结构需要针对具体应用做出调节。

2、一个大模型从规划到落地大致可分为训练和推理两个阶段，两个阶段对模型性能有不同的要求。其中推理阶段对模型精度有所放缓，但作为更贴近使用者的环节，其对芯片成本，功耗，延时等因素提出更高要求。因此，如何对训练完成亟待部署的大模型进行合理压缩，以便之后再部署到推理阶段是当前亟待解决的问题。

技术实现思路

1、有鉴于此，本专利技术的目的在于提供一种模型权重参数存储方法、装置、设备及存储介质，能够在保证推理精度的同时，有效降低存储成本，并提高运行效率。其具体方案如下：

2、第本文档来自技高网...

【技术保护点】

1.一种模型权重参数存储方法，其特征在于，包括：

2.根据权利要求1所述的模型权重参数存储方法，其特征在于，所述基于预设参数预处理平台对所述待存储权重参数集进行预处理，包括：

3.根据权利要求2所述的模型权重参数存储方法，其特征在于，所述基于预设参数预处理平台对所述待存储权重参数集执行相应的分割操作、概率密度分析操作，包括：

4.根据权利要求3所述的模型权重参数存储方法，其特征在于，所述基于预设矩阵处理平台对各所述目标子集分别执行相应的概率密度分析操作，包括：

5.根据权利要求4所述的模型权重参数存储方法，其特征在于，所述基于预设判断规则对...

【技术特征摘要】

1.一种模型权重参数存储方法，其特征在于，包括：

2.根据权利要求1所述的模型权重参数存储方法，其特征在于，所述基于预设参数预处理平台对所述待存储权重参数集进行预处理，包括：

3.根据权利要求2所述的模型权重参数存储方法，其特征在于，所述基于预设参数预处理平台对所述待存储权重参数集执行相应的分割操作、概率密度分析操作，包括：

4.根据权利要求3所述的模型权重参数存储方法，其特征在于，所述基于预设矩阵处理平台对各所述目标子集分别执行相应的概率密度分析操作，包括：

5.根据权利要求4所述的模型权重参数存储方法，其特征在于，所述基于预设判断规则对各所述目标算术平均值分别进行判断，并根据得到的判断...

【专利技术属性】
技术研发人员：董俊逸，赵鑫鑫，魏子重，姜凯，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：