【技术实现步骤摘要】
一种基于安全内存的存储优化方法及系统
本说明书一个或多个实施例涉及存储器存储优化,特别涉及一种基于安全内存的存储优化方法及系统。
技术介绍
在数据分析、数据挖掘、经济预测等领域,由于计算量巨大,常常使用第三方云计算的方式计算、分析和发现潜在的数据价值。由于计算过程不在本地进行,为保证数据安全和模型安全,第三方平台常常使用安全内存保护用户数据隐私性和安全性。安全内存在提供数据安全的同时,也对云计算节点提出了内存限制。因此,有必要提出一种安全内存的存储优化方法及系统,以提高安全内存的存储效率。
技术实现思路
本说明书实施例的一个方面提供一种基于安全内存的存储优化方法;所述方法包括:获取安全内存的可用容量;获取模型或者模型某一层的待计算数据;获取所述模型或者模型某一层的权重;根据所述权重,以及所述待计算数据,确定内存需求量;所述内存需求量为完成计算预计需要占用的安全内存的存储空间;将所述内存需求量与所述内存的可用容量进行对比;当比较结果满足预设条件时,对所述权重进行修正,获取量化权重,基于所述量化权重进 ...
【技术保护点】
1.一种基于安全内存的存储优化方法;所述方法包括:/n获取安全内存的可用容量;/n获取模型或者模型某一层的待计算数据;/n获取所述模型或者模型某一层的权重;/n根据所述权重,以及所述待计算数据,确定内存需求量;所述内存需求量为完成计算预计需要占用的安全内存的存储空间;/n将所述内存需求量与所述内存的可用容量进行对比;/n当比较结果满足预设条件时,对所述权重进行修正,获取量化权重,基于所述量化权重进行计算;所述量化权重对内存的需求量小于所述权重对内容的需求量。/n
【技术特征摘要】
1.一种基于安全内存的存储优化方法;所述方法包括:
获取安全内存的可用容量;
获取模型或者模型某一层的待计算数据;
获取所述模型或者模型某一层的权重;
根据所述权重,以及所述待计算数据,确定内存需求量;所述内存需求量为完成计算预计需要占用的安全内存的存储空间;
将所述内存需求量与所述内存的可用容量进行对比;
当比较结果满足预设条件时,对所述权重进行修正,获取量化权重,基于所述量化权重进行计算;所述量化权重对内存的需求量小于所述权重对内容的需求量。
2.根据权利要求1所述的方法,所述预设条件包括:所述内存需求量大于所述安全内存的可用容量。
3.根据权利要求1所述的方法,所述当比较结果满足预设条件时,对所述权重进行修正,获取量化权重包括:
确定所述权重的最大值与最小值;根据所述权重最大值与最小值,确定对应于权重的权值表示;
根据所述权值表示,得到量化权重。
4.根据权利要求3所述的方法,所述根据所述权重的最大值与最小值,确定对应于权重矩阵的权值表示包括:
根据所述权重的最大值与最小值,确定所述权值表示的整数位数;
根据所述权值表示的整数位数,确定权重的量化系数;所述量化系数是指权重缩放的系数;
根据所述权重的量化系数和所述权值的整数位数确定权重的权值表示。
5.根据权利要求1所述的方法,所述基于所述量化权重进行计算包括:
基于所述量化权重更新内存需求量;
将所述更新后的内存需求量与所述可用容量进行对比;
当比较结果满足预设条件时,更新所述待计算数据和/或者所述量化权重,使得所述安全内存需求量小于所述安全内存的可用容量。
6.根据权利要求5所述的方法,所述更新所述待计算数据和/或者所述量化权重,使得所述安全内存需求量小于所述安全内存的可用容量包括:
减少所述待计算数据,并基于减少后的待计算数据更新所述内存需求量,使得更新后的所述内存需求量小于所述安全内容的存储容量。
7.根据权利要求5所述的方法,所述更新所述待计算数据和/或者所述量化权重,使得所述安全内存需求量小于所述安全内存的可用容量还包括:
对所述量化权重进行迭代量化,并基于迭代量化后的量化权重更新所述内存需求量,使得更新后的所述内存需求量小于所述安全内容的存储容量;
所述迭代量化指的是对所述量化权重再一次进行量化。
8.根据权利要求1所述的方法,所述存储优化方法用于神经网络前向传播。
9.根据权利要求1所述的方法,所述存储优化方法用于处理可信执行环境中的数据。
10.一种基于安全内存的存储优化系统,所述系统包括:
可用容量获取模块,用于获取内存的可用容量;<...
【专利技术属性】
技术研发人员:吴秉哲,陈超超,王力,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。