【技术实现步骤摘要】
本专利技术属于计算机视觉和图像处理,具体涉及一种基于双生成器以及两步训练的无数据神经网络模型量化方法。
技术介绍
1、众所周知,深度神经网络模型在计算机视觉和自然语言处理等领域取得了显著进展。然而,将深度神经网络模型应用于资源受限的设备却面临诸多挑战,主要困难在于其较高的计算和存储需求。为应对这些挑战,研究者们探索了多种模型压缩方法,包括蒸馏、剪枝等。其中,网络量化通过将浮点数值转换为低精度表示,显著减小了模型大小,成为一种有效的解决方案。网络量化已在语音增强、超分辨率等多种任务中得到成功应用。然而,量化过程中引入的量化误差往往导致模型性能下降。为缓解这一问题,已有方法尝试通过使用原始训练数据对量化网络进行微调,但在某些情况下,由于原始数据的保密性或安全性限制(如医疗图像),无法获取原始训练数据。针对这一问题,无数据神经网络模型量化方法应运而生,通过利用合成样本提升量化网络的性能,避免了对原始数据的依赖。
2、现有的无数据神经网络模型量化方法主要依赖生成模型来模拟原始数据分布,通常采用单一生成器策略,如复原数据分布或生成信息
...【技术保护点】
1.基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,包含以下步骤:
2.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,所述构建无数据神经网络模型包括以下步骤:
3.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤1)具体包括按照如下公式对所述全精度神经网络模型的参数进行量化,得到量化神经网络模型的参数:
4.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤2)具体包括以下步骤:
5
...【技术特征摘要】
1.基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,包含以下步骤:
2.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,所述构建无数据神经网络模型包括以下步骤:
3.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤1)具体包括按照如下公式对所述全精度神经网络模型的参数进行量化,得到量化神经网络模型的参数:
4.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤...
【专利技术属性】
技术研发人员:刘西瑶,王思翰,韩志,
申请(专利权)人:中国科学院沈阳自动化研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。