模型存储方法及装置制造方法及图纸

本公开关于一种模型存储方法及装置。本公开针对存储形式为浮点数的参数，将该参数划分两部分，并仅存储包括该参数符号位、指数位和部分尾数位的部分，使得该参数在存储的时候，无需存储包含该参数剩余尾数位的部分，降低了这类参数的所占用的存储空间，同时还将去除该参数剩余尾数位的部分所带来的偏差一并进行存储，避免了压缩后恢复该参数所带来的失真。避免了压缩后恢复该参数所带来的失真。避免了压缩后恢复该参数所带来的失真。

【技术实现步骤摘要】
模型存储方法及装置


[0001]本公开涉及数据存储领域，尤其涉及一种模型存储方法及装置。

技术介绍

[0002]相较于传统方法，目前的各类模型虽然在大量任务上取得了更优异的性能，但存在部署上的问题和挑战，如神经网络的参数量通常在百万或更大的级别，导致边缘设备上存储和使用神经网络成为了一项较大的挑战，通常而言，神经网络的参数会以单精度浮点数(Full Precise Float 32，缩写为fp32)、半精度浮点数(Full Precise Float 16，缩写为fp16)或8位的定点数(int8)等形式进行存储，然而，无论以何种位宽形式存储神经网络的参数，都会给边缘设备的存储空间带来较重的负荷。

技术实现思路

[0003]本公开提供一种模型存储方法及装置，以至少解决相关技术中存储模型会给边缘设备的存储空间带来较重的负荷的问题。
[0004]根据本公开实施例的第一方面，提供一种模型存储方法，包括：对于待存储模型中存储形式为浮点数的第一参数，将第一参数划分成第一部分参数和第二部分参数，第一部分参数和第二部分参数占用的存储空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型存储方法，其特征在于，包括：对于待存储模型中存储形式为浮点数的第一参数，将所述第一参数划分成第一部分参数和第二部分参数，所述第一部分参数和所述第二部分参数占用的存储空间相同，所述第一部分参数包括所述第一参数的符号位、指数位和部分尾数位，所述第二部分参数包括所述第一参数的剩余尾数位；获取所述第一参数和所述第一部分参数的差值；对所述差值和所述第一部分参数进行存储，得到所述待存储模型的存储后的第一参数。2.如权利要求1所述的模型存储方法，其特征在于，对所述差值进行存储，包括：按预定存储形式对所述差值进行存储，其中，所述预定存储形式占用的存储空间小于所述第一部分参数占用的存储空间。3.如权利要求1所述的模型存储方法，其特征在于，还包括：对于所述待存储模型中存储形式为第一表征范围的定点数的第二参数，确定所述第二参数中参数值的范围落在第二表征范围内的参数数量，其中，所述第二表征范围小于所述第一表征范围；在所述参数数量超过所述第二参数的总数量的预定比例的情况下，按所述第二表征范围的定点数的存储形式，对参数值的范围落在所述第二表征范围内的第二参数进行存储，得到所述待存储模型的部分存储后的第二参数；按原始存储形式，对参数值的范围没有落在所述第二表征范围内的第二参数进行存储，得到所述待存储模型的其他部分存储后的第二参数。4.如权利要求3所述的模型存储方法，其特征在于，所述按所述第二表征范围的定点数的存储形式，对参数值的范围落在所述第二表征范围内的第二参数进行存储，得到所述待存储模型的部分存储后的第二参数，包括：基于所述第一表征范围的定点数和所述第二表征范围的定点数两种存储方式各自所占的存储空间，确定存储组；以存储组为单位，依次将参数值的范围落在所述第二表征范围内的第二参数，按所述第二表征范围的定点数的存储形式进行存储，得到所述待存储模型的部分存储后的第二参数；对每个存储组对应的存储形式进行标识。5.如权利要求3所述的模型存储方法，其特征在于，还包括：在所述参数数量没有超...

【专利技术属性】
技术研发人员：吴蔚，臧成杰，刘凌志，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：