【技术实现步骤摘要】
模型压缩方法及装置
本申请涉及计算机视觉领域，尤其涉及模型压缩方法及装置。
技术介绍
随着手机等智能终端的广泛普及，基于移动端的图像风格迁移或者人像渲染等应用有着广泛的需求，在智能相机、移动社交、或虚拟穿戴等领域有着巨大的应用前景。而生成对抗神经网络(generativeadversarialnetwork，GAN)模型则在图像风格迁移、人像渲染等应用中取得了良好的效果。比如，图1所示为GAN模型在人像渲染中的结果示意图。然而，现有的GSN模型中的生成器模型由于其本身输出结果和优化目标的特点，往往需要较大的内存，并且运行这些生成器模型通常需要较大的计算开销，一般只能在图形处理器(graphicsprocessingunit，GPU)平台上运行，不能直接将这些生成器模型迁移到移动端上。而现有的压缩算法都是针对GSN模型中的判别器模型设计的，直接应用在生成器模型上不能取得令人满意的结果。
技术实现思路
本申请实施例提供模型压缩方法及装置，用于解决现有的压缩算法直接应用在生成器模型上不能取得令人满意的结...
【技术保护点】
1.一种模型压缩方法，其特征在于，所述方法包括：/n获取压缩前的生成器模型；/n对所述压缩前的生成器模型的网络结构进行二值编码，得到第一代子群，所述第一代子群包括M个第一代生成器子模型的网络结构，其中，每个第一代生成器子模型的网络结构对应一组固定长度的二值编码，M为大于1的正整数；/n获取所述每个第一代生成器子模型的网络结构的适应值；/n根据所述每个第一代生成器子模型的网络结构的适应值，结合遗传算法，确定第N代子群中适应值最优的第N代生成器子模型的网络结构，N为大于1的正整数，其中，所述第N代子群包括M个第N代生成器子模型的网络结构，每个第N代生成器子模型的网络结构对应一组...
【技术特征摘要】
1.一种模型压缩方法，其特征在于，所述方法包括：
获取压缩前的生成器模型；
对所述压缩前的生成器模型的网络结构进行二值编码，得到第一代子群，所述第一代子群包括M个第一代生成器子模型的网络结构，其中，每个第一代生成器子模型的网络结构对应一组固定长度的二值编码，M为大于1的正整数；
获取所述每个第一代生成器子模型的网络结构的适应值；
根据所述每个第一代生成器子模型的网络结构的适应值，结合遗传算法，确定第N代子群中适应值最优的第N代生成器子模型的网络结构，N为大于1的正整数，其中，所述第N代子群包括M个第N代生成器子模型的网络结构，每个第N代生成器子模型的网络结构对应一组所述固定长度的二值编码，所述M个第N代生成器子模型的网络结构的适应值的平均值与第(N-1)代子群中M个第(N-1)代生成器子模型的网络结构的适应值的平均值的差值小于设定值；
根据所述压缩前的生成器模型中的网络参数和所述适应值最优的第N代生成器子模型的网络结构，确定压缩后的生成器模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个第一代生成器子模型的网络结构的适应值，结合遗传算法，确定第N代子群中适应值最优的第N代生成器子模型的网络结构，包括：
重复执行下述步骤S1，直至得到第N代子群：
步骤S1、从第k代子群中选出适应值最优的第k代生成器子模型的网络结构作为第(k+1)代子群中的一个第(k+1)代生成器子模型的网络结构，k为小于(N-1)的正整数；根据所述遗传算法，按照第k代子群中M个生成器子模型的网络结构的适应值大小进行概率选择，并按照预设的概率进行选择、交叉和突变操作，得到第(k+1)代子群中的其他(M-1)个第(k+1)代生成器子模型的网络结构；
确定第N代子群中适应值最优的第N代生成器子模型的网络结构。
3.根据权利要求1或2所述的方法，其特征在于，第p代生成器子模型的网络结构的适应值是根据所述第p代生成器子模型的网络参数量的归一化值、生成器感知损失和判别器感知损失确定的，所述生成器感知损失用于表征第p代生成器子模型的输出结果与第p-1代生成器子模型的输出结果的差值；所述判别器感知损失用于表征所述第p代生成器子模型的输出结果与所述第p-1代生成器子模型的输出结果分别再经过判别器后的输出结果的差值，其中，p为1至N的正整数，第0代生成器子模型为所述压缩前的生成器模型。
4.根据权利要求3所述的方法，其特征在于，所述第p代生成器子模型的网络参数量的归一化值、所述生成器感知损失和所述判别器感知损失满足如下第一公式：
其中，f(q)表示所述第p代生成器子模型的网络结构的适应值；p(q)表示所述第p代生成器子模型模型的网络参数量的归一化值，λ和γ为设定值；表示所述生成器感知损失；表示所述判别器感知损失，q表示所述第p代生成器子模型的网络结构的所有卷积层的二值编码。
5.根据权利要求4所述的方法，其特征在于，p(q)满足如下第二公式：
其中，ql-1表示所述第p代生成器子模型的网络结构中第(l-1)层卷积的二值编码；ql表示所述第p代生成器子模型的网络结构中第l层卷积的二值编码；Hl表示所述第p代生成器子模型的网络结构的第l层卷积的高度；Wl表所述第p代生成器子模型的网络结构的第l层卷积的宽度；Cl表示所述第p代生成器子模型的网络结构的第l层卷积的通道数；Nl表示所述第p代生成器子模型的网络结构的第l层卷积的个数；||||1表示L1范数；∑表示求和。
6.根据权利要求3-5任一项所述的方法，其特征在于，所述方法还包括：
根据如下第三公式确定所述生成器感知损失，所述第三公式包括：
其中，xi表示第i张输入图片，m表示输入图片的张数，G(xi)表示第i张输入图片经过所述第p-1代生成器子模型的输出结果；表示所述第i张输入图片经过所述第p代生成器子模型的输出结果的输出结果，∑表示求和；表示L2范数差。
7.根据权利要求3-6任一项所述的方法，其特征在于，所述方法还包括：
根据如下第四公式确定所述判别器感知损失，所述第四公式包括：
其中，xi表示第i张输入图片，m表示输入图片的张数，D(G(xi))表示第i张输入图片经过所述第(p-1)代生成器子模型的输出结果再经过判别器后的输出结果；表示表示所述第i张输入图片经过所述第p代生成器子模型的输出结果再经过所述判别器后的输出结果，∑表示求和；表示L2范数差。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述对所述压缩前的生成器模型的网络结构进行二值编码，得到第一代子群，包括：
若所述压缩前的生成器模型的网络结构中的第一通道对应的二值编码为0，去除所述第一通道相关的计算单元；或者，
若所述压缩前的生成器模型的网络结构中的第二通道对应的二值编码为1，保留所述第二通道相关的计算单元，其中，所述第一通道或所述第二通道对应所述压缩前的生成器模型的网络结构中的任一层卷积的一个卷积核。
9.一种模型压缩方法，其特征在于，所述方法包括：
获取压缩前的第一生成器模型和第二生成器模型，所述第一生成器模型和所述第二生成器模型为对称的生成器模型；
对所述压缩前的第一生成器模型的网络结构进行二值编码，得到所述第一生成器模型对应的第一代子群；以及，对所述压缩前的第二生成器模型的网络结构进行二值编码，得到所述第二生成器模型对应的第一代子群；所述第一生成器模型对应的第一代子群包括M1个第一代生成器子模型的网络结构，所述第二生成器模型对应的第一代子群包括M2个第一代生成器子模型的网络结构，每个第一代生成器子模型的网络结构对应一组固定长度的二值编码，M1和M2均为大于1的正整数；
获取所述每个第一代生成器子模型的网络结构的适应值；
根据所述每个第一代生成器子模型的网络结构的适应值，结合遗传算法，确定第一生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构以及第二生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构，N为大于1的正整数，其中，所述第一生成器模型对应的第N代子群包括M1个第N代生成器子模型的网络结构，所述第二生成器模型对应的第N代子群包括M2个第N代生成器子模型的网络结构，每个第N代生成器子模型的网络结构对应一组所述固定长度的二值编码，所述第一生成器模型对应的M1个第N代生成器子模型的网络结构的适应值的平均值与所述第一生成器模型对应的M1个第(N-1)代生成器子模型的网络结构的适应值的平均值的差值小于第一设定值，所述第二生成器模型对应的M2个第N代生成器子模型的网络结构的适应值的平均值与所述第二生成器模型对应的M2个第(N-1)代生成器子模型的网络结构的适应值的平均值的差值小于第二设定值；
根据所述压缩前的第一生成器模型中的网络参数和所述第一生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构，确定压缩后的第一生成器模型；以及，根据所述压缩前的第二生成器模型中的网络参数和所述第二生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构，确定压缩后的第二生成器模型。
10.根据权利要求9所述的方法，其特征在于，所述根据所述每个第一代生成器子模型的网络结构的适应值，结合遗传算法，确定所述第一生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构以及所述第二生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构，包括：
重复执行下述步骤S1和步骤S2，直至得到第一生成器模型对应的第N代子群以及第二生成器模型对应的第N代子群：
步骤S1、将所述第一生成器模型对应的第k代子群中适应值最优的第k代生成器子模型的网络结构作为所述第二生成器模型对应的第(k+1)代子群中的一个第(k+1)代生成器子模型的网络结构；根据所述遗传算法，按照所述第二生成器模型对应的第k代子群中M2个生成器子模型的网络结构的适应值大小进行概率选择，并按照预设的概率进行选择、交叉和突变操作，得到所述第二生成器模型对应的第k+1代子群中的其他(M2-1)个第k+1代生成器子模型的网络结构，k为小于(N-1)的正整数；
步骤S2、将所述第二生成器模型对应的第k+1代子群中适应值最优的第k+1代生成器子模型的网络结构作为所述第一生成器模型对应的第(k+1)代子群中的一个第k+1代生成器子模型的网络结构；根据所述遗传算法，按照所述第一生成器模型对应的第k代子群中M1个生成器子模型的网络结构的适应值大小进行概率选择，并按照预设的概率进行选择、交叉和突变操作，得到所述第一生成器模型对应的第k+1代子群中的其他(M1-1)个第k+1代生成器子模型的网络结构；
确定所述第一生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构以及所述第二生成器模型对应的第N代子群中适应值最优的第N代生成器子模型的网络结构。
11.一种模型压缩装置，其特征在于，所述装置包括：获取模块和处理模块；
所述获取模块，用于获取压缩前的生成器模型；
所述处理模块，用于对所述压缩前的生成器模型的网络结构进行二值编码，得...
【专利技术属性】
技术研发人员：舒晗，王云鹤，韩凯，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。