向量信息存储及更新的方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种向量信息存储及更新的方法、装置、电子设备及存储介质。其中，向量信息存储方法包括：设定总误差及存储信息的信息量大小；将向量的每个向量分量分别量化到符合信息量大小的有效值，构成量化向量；存储量化向量；其中，一个向量分量量化的步骤包括：基于当前的总误差计算扩展误差；按照扩展误差将向量分量量化到符合信息量大小的有效值；更新总误差，更新后的总误差等于更新前的总误差与量化误差之和。本发明专利技术通过向量的量化以及在量化中利用抖动技术将误差分配到不同的量化参数上，使得一个区域内的平均值的精度得到提高，从而使得向量得以以低精度、占用空间小的量化向量的形式存储，减少存储空间，降低计算量，加快计算速度。

Methods, devices, electronic devices and storage media for storing and updating vector information

【技术实现步骤摘要】
向量信息存储及更新的方法、装置、电子设备及存储介质
本专利技术属于信息存储领域，尤其涉及一种向量信息存储及更新的方法、装置、电子设备及存储介质。
技术介绍
低端设备由于存储空间及计算能力有限，而无法存储大量数据和进行高精度的计算。尤其是在实现机器学习算法，特别是深度学习算法时，不论是训练还是推理，都需要大量的计算，同时模型参数也非常庞大，需要很大的存储空间，这都使得低端设备无法训练和运行算法模型。减少数据量或降低计算精度虽然从一定程度上可以缓解上述困扰，但是由此训练出的模型在做推理时常常得不到好的结果。因此，减少数据占用的存储空间、降低计算量，让算法可以广泛部署到低端设备上，或提高计算设备的利用率，是一个急需解决的问题。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中受限于设备的存储空间和计算能力而无法存储大量数据和进行高精度计算的缺陷，提供一种可减少数据占用的存储空间、降低计算量的向量信息存储及更新的方法、装置、电子设备及存储介质。本专利技术是通过以下技术方案解决上述技术问题的：<br>本专利技术提供本文档来自技高网...

【技术保护点】
1.一种向量信息存储方法，其特征在于，包括：/n设定总误差的初始值及存储信息的信息量大小；/n将向量的每个向量分量分别量化到符合所述信息量大小的有效值，全部的所述有效值构成所述向量的量化向量；/n存储所述量化向量；/n其中，将所述向量的一个向量分量量化到符合所述信息量大小的有效值的步骤包括：/n基于当前的总误差计算所述向量分量量化时的扩展误差；/n按照所述扩展误差将所述向量分量量化到符合所述信息量大小的有效值；/n更新所述总误差，更新后的总误差等于更新前的总误差与量化误差之和，所述量化误差等于所述向量分量与所述有效值反量化后的所得值之差。/n

【技术特征摘要】
1.一种向量信息存储方法，其特征在于，包括：
设定总误差的初始值及存储信息的信息量大小；
将向量的每个向量分量分别量化到符合所述信息量大小的有效值，全部的所述有效值构成所述向量的量化向量；
存储所述量化向量；
其中，将所述向量的一个向量分量量化到符合所述信息量大小的有效值的步骤包括：
基于当前的总误差计算所述向量分量量化时的扩展误差；
按照所述扩展误差将所述向量分量量化到符合所述信息量大小的有效值；
更新所述总误差，更新后的总误差等于更新前的总误差与量化误差之和，所述量化误差等于所述向量分量与所述有效值反量化后的所得值之差。


2.如权利要求1所述的向量信息存储方法，其特征在于，按照所述扩展误差将所述向量分量量化到符合所述信息量大小的有效值的步骤具体包括：
依照下述公式计算
Q＝(P+E’-B)×S
Q’＝g(Q)
其中，
Q用于表示初始量化值；
P用于表示所述向量分量；
E’用于表示所述扩展误差；
S为预先设定的量化的比例因子；
B为预先设定的量化的偏移值；
Q’用于表示所述有效值；
g()用于表示将Q限定为符合所述信息量大小的有效值的函数；
所述有效值反量化后的所得值＝(Q’/S)+B。


3.如权利要求1所述的向量信息存储方法，其特征在于，所述信息量大小包括比特位数。


4.一种量化向量更新及信息存储的方法，其特征在于，包括：
设定总误差的初始值、存储信息的信息量大小及量化向量的每个向量分量的改变量；
将每个向量分量的改变量分别量化到符合所述信息量大小的有效值；
在每个向量分量上改变对应改变量量化后的有效值，得到更新后的向量分量，全部的所述更新后的向量分量构成更新后的量化向量；
存储所述更新后的量化向量；
其中，将一个向量分量的改变量量化到符合所述信息量大小的有效值的步骤包括：
基于当前的总误差计算所述改变量量化时的扩展误差；
按照所述扩展误差将所述改变量量化到符合所述信息量大小的有效值；
更新所述总误差，更新后的总误差等于更新前的总误差与量化误差之和，所述量化误差等于所述改变量与所述有效值反量化后的所得值之差。


5.如权利要求4所述的量化向量更新及信息存储的方法，其特征在于，按照所述扩展误差将所述改变量量化到符合所述信息量大小的有效值的步骤具体包括：
依照下述公式计算
ΔQ＝(Δ+E’-B)×S
ΔQ’＝g(ΔQ)
其中，
ΔQ用于表示初始量化值；
Δ用于表示所述向量分量；
E’用于表示所述扩展误差；
S为预先设定的量化的比例因子；
B为预先设定的量化的偏移值；
ΔQ’用于表示所述有效值；
g()用于表示将ΔQ限定为符合所述信息量大小的有效值的函数；
所述有效值反量化后的所得值＝(ΔQ’/S)+B。


6.如权利要求4所述的量化向量更新及信息存储的方法，其特征在于，所述信息量大小包括比特位数。


7.一种向量信息存储装置，其特征在于，包括：
第一设定模块，用于设定总误差的初始值及存储信息的信息量大小；
第一量化模块，用于将向量的每个向量分量分别量化到符合所述信息量大小的有效值，全部的所述有效值构成所述向量的量化向量；
第一存储...

【专利技术属性】
技术研发人员：黄明飞，王海涛，姚宏贵，
申请(专利权)人：开放智能机器上海有限公司，
类型：发明
国别省市：上海;31