一种基于保留因子剪枝的生成对抗网络模型的压缩方法技术

一种基于保留因子剪枝的生成对抗网络模型的压缩方法。本发明专利技术公开了一种生成对抗网络模型的压缩方法，属于人工智能技术领域，方法包括：给定预训练教师生成对抗网络模型和待压缩学生对抗网络模型，预训练教师生成对抗网络模型包括教师生成器和教师判别器，待压缩学生对抗网络模型包括学生生成器和学生判别器；为学生生成器的每个卷积核设置一个可学习的保留因子，根据边界参数，将保留因子转换成对应的卷积核的参与前向运算比例；通过对保留因子添加约束条件和收缩边界参数，确定参与前向运算比例为零的卷积核；移除参与前向运算比例为零的卷积核，获得轻量的学生生成器；根据教师生成器和教师判别器中的知识，对学生生成器进行微调训练；移除学生判别器，保留学生生成器，部署学生对抗网络模型。部署学生对抗网络模型。部署学生对抗网络模型。

【技术实现步骤摘要】
一种基于保留因子剪枝的生成对抗网络模型的压缩方法


[0001]本专利技术属于人工智能
，具体涉及一种基于保留因子剪枝的生成对 抗网络模型的压缩方法。

技术介绍

[0002]近年来，随着人工智能的快速发展，神经网络迅速在计算机视觉、自然语 言处理、模式识别等多个领域应用开来。Alex Krizhevsky等人设计出AlexNet神经网络在百万数量级的ImageNet图片集上取得突破性成绩，对近年来神经 网络的发展产生广泛的影响。AlexNet包含超过6000万个浮点运算，处理一张 长宽均为224像素的彩色图像需要进行超过十亿次的浮点运算。随后发展的 VGG
‑
16神经网络进一步提升了在ImageNet数据集上预测准确率，却是一个网 络模型大小超过500M，单次预测需要超过280亿次浮点运算的庞然大物。人 们对预测准确率的追求，催生出了网络层数高达1001层的ResNet神经网络。 神经网络的快速发展离不开GPU显卡强大的并行计算能力。现主流的GPU显 卡功耗为275W，相当于270秒钟耗尽一部IPhone X的电池。高功耗也带来额 外散热系统的电量消耗。计算能力、高功耗等瓶颈限制了神经网络应用至更多 资源受限的设备中，例如手机、嵌入式硬件等设备。这些设备因为电池容量或 者计算能力的苛刻限制等原因无法承受这些强力的神经网络。此外，生成对抗 网络(Generative Adversarial Networks，GANs)在图像处理领域大放异彩，在 图像生成有着诸多有趣的应用，例如图像处理、图像编辑、风格迁移、超分辨 率等，而这些应用已经逐渐渗透至人们的娱乐生活中。然而GANs相比于传统 卷积神经网络(Convolutional Neural Networks,CNN)，在计算量和参数量更是 上了一个台阶。例如，经典的CycleGAN对于处理输入256*256大小的图片， 需要超过56.8G MACs(Multiply
‑
Accumulate Operations)，计算量是ResNet
‑
50 的13倍；另外一个经典的Pix2Pix网络，需要54.4M的参数量，接近2倍 ResNet
‑
50的参数量。因此，如何获得一个轻量的生成对抗网络模型也是亟待 解决的事情。
[0003]综上所述，现有技术的对抗网络模型往往参数量过多，计算量庞大，导致 运算效率低下。

技术实现思路

[0004]本专利技术实施例的目的是提供一种基于保留因子剪枝的生成对抗网络模型 的压缩方法，能够解决现有技术的对抗网络模型往往参数量过多，计算量庞大， 导致运算效率低下的技术问题。
[0005]为了解决上述技术问题，本专利技术是这样实现的：
[0006]第一方面：
[0007]本专利技术实施例提供了一种基于保留因子剪枝的生成对抗网络模型的压缩 方法，包括：
[0008]S101：给定预训练教师生成对抗网络模型和待压缩学生对抗网络模型，预 训练教
师生成对抗网络模型包括教师生成器和教师判别器，待压缩学生对抗网 络模型包括学生生成器和学生判别器；
[0009]S102：为学生生成器的每个卷积核设置一个可学习的保留因子，根据边界 参数，将保留因子转换成对应的卷积核的参与前向运算比例；
[0010]S103：通过对保留因子添加约束条件和收缩边界参数，确定参与前向运算 比例为零的卷积核；
[0011]S104：移除参与前向运算比例为零的卷积核，获得轻量的学生生成器；
[0012]S105：根据教师生成器和教师判别器中的知识，对学生生成器进行微调训 练；
[0013]S106：移除学生判别器，保留学生生成器，部署学生对抗网络模型。
[0014]第二方面：
[0015]本专利技术实施例提供了一种基于保留因子剪枝的生成对抗网络模型的压缩 装置，包括：
[0016]给定模块，用于给定预训练教师生成对抗网络模型和待压缩学生对抗网络 模型，预训练教师生成对抗网络模型包括教师生成器和教师判别器，待压缩学 生对抗网络模型包括学生生成器和学生判别器；
[0017]设置模块，用于为学生生成器的每个卷积核设置一个可学习的保留因子， 根据边界参数，将保留因子转换成对应的卷积核的参与前向运算比例；
[0018]确定模块，用于通过对保留因子添加约束条件和收缩边界参数，确定参与 前向运算比例为零的卷积核；
[0019]移除模块，用于移除参与前向运算比例为零的卷积核，获得轻量的学生生 成器；
[0020]训练模块，用于根据教师生成器和教师判别器中的知识，对学生生成器进 行微调训练；
[0021]部署模块，用于移除学生判别器，保留学生生成器，部署学生对抗网络模 型。
[0022]在本专利技术实施例中，为学生生成器的每个卷积核设置一个可学习的保留因 子，根据边界参数，将保留因子转换成对应的卷积核的参与前向运算比例，通 过对保留因子添加约束条件和收缩边界参数，确定参与前向运算比例为零的卷 积核，并对其进行剪枝，去除不必要的卷积核。降低参数量，减少计算量，提 高运算效率。
附图说明
[0023]图1是本专利技术实施例提供的一种基于保留因子剪枝的生成对抗网络模型的 压缩方法的流程示意图。
[0024]本专利技术目的的实现、功能特点及优点将结合实施例、参照附图做进一步说 明。
具体实施方式
[0025]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例 中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描 述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实 施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实 施例，都属于本专利技术保护的范围。
[0026]下面结合附图，通过具体的实施例及其应用场景对本专利技术实施例提供一种 生成
对抗网络模型的压缩方法以及压缩装置进行详细地说明。
[0027]实施例一
[0028]参照图1，示出了本专利技术实施例提供的一种基于保留因子剪枝的生成对抗 网络模型的压缩方法的流程示意图。
[0029]本专利技术实施例提供的一种基于保留因子剪枝的生成对抗网络模型的压缩 方法，包括：
[0030]S101：给定预训练教师生成对抗网络模型和待压缩学生对抗网络模型，预 训练教师生成对抗网络模型包括教师生成器和教师判别器，待压缩学生对抗网 络模型包括学生生成器和学生判别器。
[0031]S102：为学生生成器的每个卷积核设置一个可学习的保留因子，根据边界 参数，将保留因子转换成对应的卷积核的参与前向运算比例。
[0032]在一种可能的实施方式中，S102具体包括：
[0033]S1021：通过公式1将保留因子转换成对应的卷积核的参与前向运算比例：
[0034][0035]其中，p
ij
表示保留因子，b表示边界，ij表示第i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于保留因子剪枝的生成对抗网络模型的压缩方法，其特征在于，包括：S101：给定预训练教师生成对抗网络模型和待压缩学生对抗网络模型，所述预训练教师生成对抗网络模型包括教师生成器和教师判别器，所述待压缩学生对抗网络模型包括学生生成器和学生判别器；S102：为所述学生生成器的每个卷积核设置一个可学习的保留因子，根据边界参数，将所述保留因子转换成对应的所述卷积核的参与前向运算比例；S103：通过对所述保留因子添加约束条件和收缩所述边界参数，确定所述参与前向运算比例为零的卷积核；S104：移除所述参与前向运算比例为零的卷积核，获得轻量的所述学生生成器；S105：根据所述教师生成器和所述教师判别器中的知识，对所述学生生成器进行微调训练；S106：移除所述学生判别器，保留所述学生生成器，部署学生对抗网络模型。2.根据权利要求1所述的压缩方法，其特征在于，所述S102具体包括：S1021：通过公式1将所述保留因子转换成对应的所述卷积核的参与前向运算比例：其中，p
ij
表示保留因子，b表示边界，ij表示第i层卷积层的第j个卷积核，m
ij
表示参与前向运算比例。3.根据权利要求2所述的压缩方法，其特征在于，S103具体包括：S1031：将所述卷积核的输出由O
ij
转变为O
′
ij
：O
′
ij
＝m
ij
*O
ij
公式2其中，O
ij
表示卷积核原始输出，O
′
ij
表示卷积核真实输出。4.根据权利要求1所述的压缩方法，其特征在于，所述S103具体包括：S1032：通过公式3对所述保留因子添加约束条件，使得所述参与前向运算比例不断趋近于零，所述保留因子向所述边界靠齐：S1033：通过公式4对所述边界参数进行收缩，将所述边界参数不断变小直至为零：其中，e表示当前迭代次数，E表示全部迭代次数。5.根据权利要求1所述的压缩方法，其特征在于，所述S105具体包括：S1051：对于第i层特征图O
i
，逐通道相加得到第i层特征图O
i
的注意力图：S1052：提取所述教师生成器G
T
和所述教师判别器中的所述注意力图并进行融合得到：
其中，G
T
表示教师生成器，D
T
表示教师判别器，表示融合注意力图；S1053：所述学生生成器模仿提取的所述融合注意力图得到对应的优化目标为：S1054：将所述学生生成器生成的图像作为输入，在所述教师判别器的最后一层卷积中进行输出，以逼近所述所述教师生成器生成的图片，对应的优化目标为：其中，表示返回教师判别器的最后一层卷积输出；S1055：确定所述学生生成器的优化目标为：其中，是生成对抗网络基本的损失函数，α、β和γ是超参数，用于平衡不同损失项。6.一种基于保留因子剪枝的生成对抗网络模...

【专利技术属性】
技术研发人员：谷雨，钟冲，谢启明，黄剑男，郭伟，余光泽，
申请(专利权)人：厦门路桥信息股份有限公司，
类型：发明
国别省市：