一种适用于超分网络的分布灵活子集量化方法技术

一种适用于超分网络的分布灵活子集量化方法，涉及人工神经网络的压缩与加速

【技术实现步骤摘要】
一种适用于超分网络的分布灵活子集量化方法


[0001]本专利技术涉及人工神经网络的压缩与加速，尤其是涉及一种适用于超分网络的分布灵活子集量化方法
。

技术介绍

[0002]图像超分辨率
(SR)
是一项基本的低级计算机视觉任务，旨在从低分辨率输入图像
(LR)
中恢复高分辨率
(HR)
图像
。
由于深度神经网络
(DNN)
的显著成功，基于
DNN
的超分模型已经成为处理超分任务的常见手段
。
最近的
SR
模型的惊人性能通常依赖于不断增加的网络规模和计算成本，从而限制它们的应用，特别是在资源密集型设备，如智能手机
。
压缩
SR
模型已经得到学术界和工业界的广泛关注
。
为了实现模型的部署，已经研究各种网络压缩技术
。
在这些技术中，网络量化将网络中的全精度权重和激活映射为低位格式，由于其能够同时减少存储大小和计算成本，因此获得青睐
。
但目前的方法必须在获得整个训练集的前提下重新训练量化的
SR
模型，即所谓的量化意识训练
(QAT)。
在现实世界中由于隐私
、
数据传输等原因，获取原始训练数据有时是很困难的
。
此外，沉重的训练和能源成本也阻碍了其实际部署
。
后训练量化
(PTQ)
方法只用原始训练集的一小部分进行量化，不需要或只需要少量的再训练，从本质上讲可以是解决上述问题的一个潜在途径
。
然而，目前的
PTQ
方法大多是为高层视觉任务设计的，直接扩展到
SR
模型是不可行的，因为低层模型由不同的结构组成
。
[0003]超分模型通常会删除所有或大部分批处理层
(BN)
，因为它们减少激活内的尺度信息，这对
SR
模型的性能至关重要
。
目前主流的超分模型均去除
BN
层，例如
EDSR(Lim B,Son S,Kim H,et al.Enhanced deep residual networks for single image super
‑
resolution[C]//Proceedings ofthe IEEE conference on computer vision andpattern recognition workshops.2017:136
‑
144.)、RDN(Zhang Y,Tian Y,Kong Y,et al.Residual dense network for image super
‑
resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018:2472
‑
2481.)
超分模型的量化的主要障碍也来自于对
BN
的去除，因为去除
BN
层导致超分模型激活范围差异大，比如同一样本的不同通道之间以及不同样本的同一通道之间存在相当大的分布差异方法
。PAMS(Li H,Yan C,Lin S,et al.Pams:Quantized super
‑
resolution via parameterized max scale[C]//European Conference on Computer Vision.Springer,Cham,2020:564
‑
580.)
通过学习每层的裁剪阈值，以处理大范围的激活，但在超低精度设置
(
例如2位和3位
)
中会出现严重的性能下降
。
最近的一项研究
DAQ(Hong C,Kim H,Baik S,et al.DAQ:Channel
‑
Wise Distribution
‑
Aware Quantization for Deep Image Super
‑
Resolution Networks[C]//Proceedings ofthe IEEE/CVF Winter Conference on Applications ofComputerVision.2022:2675
‑
2684.)
通过依据通道不同的分布采用不同的量化参数来应对通道上的变化性
。
尽管取得了这些进展，但性能改进的代价是标准化和非标准化特征映射带来的巨大开销，以及昂贵的单通道量化器
。
[0004]上述的方法均是
QAT
方法，
PTQ
方法在超分任务如何处理不同样本不同通道间激活
值分布的差异性有待研究
。

技术实现思路

[0005]本专利技术的目的是针对当前超分神经网络在执行低比特位量化时，提供一种适用于超分网络的分布灵活子集量化方法，只需要应用本专利技术设计的量化器，可直接以后训练的方式得到量化模型，开销更小同时性能更高
。
[0006]本专利技术包括以下步骤：
[0007]1)
使用
L1
损失
、
结构转移损失预训练一个全精度的超分网络；
[0008]2)
统计全精度超分神经网络每一层激活值的分布；
[0009]3)
每层激活值分布进行归一化处理；
[0010]4)
进行
k
‑
means
聚类得到量化点，对激活值进行子集量化
。
[0011]在步骤
1)
中，预训练的超分网络指的是已经在目标数据集上以全精度的形式训练好的超分网络模型；其中
L1
损失为：
[0012][0013]结构转移损失：
[0014][0015]其中，
F'
s
,F'
T
分别是全精度网络和量化网络激活值结构特征，可以如下计算：
[0016][0017]其中，
F∈R
C*H*w
是高级特征模块的输出；
[0018]总的损失函数：
[0019]L
＝
L1+1000L
SKT
[0020]在步骤
2)
中，统计全精度超分网络中每一层激活值分布，具体操作为使用预训练好的超分神经网络前向传播小批量的图片
(
例如
32
张低分辨率图片
)
，记录全精度模型中每一层特征图激活值
...

【技术保护点】

【技术特征摘要】
1.
一种适用于超分网络的分布灵活子集量化方法，其特征在于包括以下步骤：
1)
使用
L1
损失
、
结构转移损失预训练一个全精度的超分网络；
2)
统计全精度超分神经网络每一层激活值的分布；
3)
每层激活值分布进行归一化处理；
4)
进行
k
‑
means
聚类得到量化点，并对激活值进行子集量化
。2.
如权利要求1所述一种适用于超分网络的分布灵活子集量化方法，其特征在于在步骤
1)
中，所述预训练一个全精度的超分网络，是已经在目标数据集上以全精度的形式训练好的超分网络模型；其中
L1
损失为：结构转移损失为：其中，
F'
s
,F'
T
分别是全精度网络和量化网络激活值结构特征，可以如下计算：其中，
F∈R
C*H*w
是高级特征模块的输出；总的损失函数为：
L
＝
L1+1000L
SKT
。3.
如权利要求1所述一种适用于超分网络的分布灵活子集量化方法，其特征在于在步骤
2)
中，所述统计全精度超分神经网络每一层激活值的分布，具体操作为使用预训练好的超分神经网络前向传播小批量的图片，记录全精度模型中每一层特征图激活值
。4.
如权利要求1所述一种适用于超分网络的分布灵活子集量化方法，其特征在于在步骤
3)
中，所述每层激活值分布进行归一化处理，具体步骤为：对记录下来的全精度模型中每一层特征图激活值先进行预处理，以消除不同通道间的分布差异；用
X∈R
B
×
C
×
H
×
W
来表示全精度特征图，其中
B
×
C
×
H
×
W
分别表示特征图的小批量大小
、
通道数
、
高度和宽度；考虑到激活分布在不同的样本和通道之间有很大的不同，选择对每个通道进行对每个样本的每个通道进行量化，表示为
X
i,c
∈R
H
×
W
，其中，
X
i,c
表示第<...

【专利技术属性】
技术研发人员：纪荣嵘，钟云山，谢晶晶，林明宝，
申请(专利权)人：厦门大学，
类型：发明
国别省市：