基于双生成器以及两步训练的无数据神经网络模型量化方法技术

技术编号:45599989 阅读:9 留言:0更新日期:2025-06-20 22:21
本发明专利技术涉及一种基于双生成器以及两步训练的无数据神经网络模型量化方法。本发明专利技术的方法包括基于预设量化位宽对全精度神经网络模型的参数进行量化,获取量化神经网络模型;利用第一生成器生成的伪样本输入全精度神经网络模型后获得输出对第一生成器的网络参数进行优化;利用优化后的第一生成器生成的伪样本以及第二生成器生成的伪样本之和输入全精度神经网络模型和量化神经网络模型后获得的输出对量化神经网络模型和第二生成器的参数进行更新;利用优化后的第一生成器生成的伪样本输入全精度神经网络模型和参数更新后的量化神经网络模型后获得的输出计算其对参数更新前的量化神经网络模型的参数进行更新。本发明专利技术的方法能够在无数据的情况下对多种神经网络模型进行高效压缩并保持其相对性能。

【技术实现步骤摘要】

本专利技术属于计算机视觉和图像处理,具体涉及一种基于双生成器以及两步训练的无数据神经网络模型量化方法


技术介绍

1、众所周知,深度神经网络模型在计算机视觉和自然语言处理等领域取得了显著进展。然而,将深度神经网络模型应用于资源受限的设备却面临诸多挑战,主要困难在于其较高的计算和存储需求。为应对这些挑战,研究者们探索了多种模型压缩方法,包括蒸馏、剪枝等。其中,网络量化通过将浮点数值转换为低精度表示,显著减小了模型大小,成为一种有效的解决方案。网络量化已在语音增强、超分辨率等多种任务中得到成功应用。然而,量化过程中引入的量化误差往往导致模型性能下降。为缓解这一问题,已有方法尝试通过使用原始训练数据对量化网络进行微调,但在某些情况下,由于原始数据的保密性或安全性限制(如医疗图像),无法获取原始训练数据。针对这一问题,无数据神经网络模型量化方法应运而生,通过利用合成样本提升量化网络的性能,避免了对原始数据的依赖。

2、现有的无数据神经网络模型量化方法主要依赖生成模型来模拟原始数据分布,通常采用单一生成器策略,如复原数据分布或生成信息边界样本以最大化全精本文档来自技高网...

【技术保护点】

1.基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,包含以下步骤:

2.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,所述构建无数据神经网络模型包括以下步骤:

3.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤1)具体包括按照如下公式对所述全精度神经网络模型的参数进行量化,得到量化神经网络模型的参数:

4.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤2)具体包括以下步骤:

5.根据权利要求4所述...

【技术特征摘要】

1.基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,包含以下步骤:

2.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,所述构建无数据神经网络模型包括以下步骤:

3.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤1)具体包括按照如下公式对所述全精度神经网络模型的参数进行量化,得到量化神经网络模型的参数:

4.根据权利要求1所述的基于双生成器以及两步训练的无数据神经网络模型量化方法,其特征在于,步骤...

【专利技术属性】
技术研发人员:刘西瑶王思翰韩志
申请(专利权)人:中国科学院沈阳自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1