本发明专利技术公开了一种基于多角度知识蒸馏的单幅图像超分辨率方法，该方法包括如下步骤：预处理数据集；利用数据集训练好教师网络，并得到教师超分辨率图像；往学生网络中输入低分辨率图像得到学生超分辨率图像；从通道间和通道内两个角度分别提取教师网络和学生网络的知识；计算学生超分辨率图像和真实高分辨率图像之间的像素L1损失、学生超分辨率图像和教师超分辨率图像之间的像素L1损失，以及教师网络和学生网络提取到的知识之间的L1损失，通过反向传播更新参数得到最终的学生网络；将低分辨率图像输入到最终的学生网络，重建出高分辨率图像。本发明专利技术可以更高效地从教师网络中提取知识，进一步提升学生网络的性能，重建出更清晰的图像。的图像。的图像。
【技术实现步骤摘要】
一种基于多角度知识蒸馏的单幅图像超分辨率方法
[0001]本专利技术涉及一种基于多角度知识蒸馏的单幅图像超分辨率方法，属于计算机视觉图像超分辨率领域。
技术介绍
[0002]单幅图像超分辨率(Super
‑
Resolution,SR)技术是指从单张低分辨率(Low
‑
Resolution,LR)图像中重建出高分辨率(High
‑
Resolution,HR)图像，属于计算机视觉领域的底层任务，在医疗成像、视频监控等领域扮演着重要的角色。随着深度学习的兴起、GPU等硬件资源的不断发展以及海量数据集的出现，卷积神经网络(Convolutional Neural Network,CNN)被广泛的应用于图像超分辨率中，并相比传统的超分辨率方法，在性能方面取得了显著的提升。大多数的超分辨率网络更偏向于探索复杂而精细的网络结构以提升网络的性能，然而，复杂网络常常因参数量大，计算复杂度高等原因难以部署到硬件终端设备上。
[0003]知识蒸馏是一种有效的模型压缩技术，通常由教师网络、知识、蒸馏算法、学生网络四部分组成，它通过将重量级的高性能教师网络的知识转移到轻量级的学生网络，以指导学生网络学习，在不引入额外参数的前提下，提升轻量级学生网络的性能。研究表明，在知识蒸馏框架中，教师网络的性能和知识的表示对轻量级学生网络的性能至关重要。教师网络的性能越好，其网络中间特征图多包含的信息越丰富，从而保证了知识来源的质量。知识的表示，是指从教师网络的中间特征图中提取什么样的知识，这对知识的转移和学生网络至关重要。针对以上描述，本专利技术提出了一种基于多角度知识蒸馏的单幅图像超分辨率算法。
技术实现思路
[0004]专利技术目的：针对知识蒸馏中无法高效地提取教师网络中知识的问题，本专利技术提出了一种基于多角度知识蒸馏的单幅图像超分辨率专利技术，具体地，从通道间和通道内这两个角度来提取教师网络中的知识，其中通道间提取教师网络中间特征图的注意力信息，通道内提取教师网络中间特征图的激活信息，即基于注意力和激活信息的知识蒸馏方法(Attention and Activation Information Knowledge Distillation,AAKD)。
[0005]技术方案：为了实现上述目的：本专利技术采用如下技术方案：
[0006]一种基于多角度知识蒸馏的单幅图像超分辨率方法，包括如下步骤：
[0007]预处理数据集；
[0008]利用数据集训练好教师网络，并得到教师超分辨率图像；
[0009]往学生网络中输入低分辨率图像得到学生超分辨率图像；
[0010]从通道间和通道内两个角度分别提取教师网络和学生网络的知识；
[0011]计算学生网络的损失，通过反向传播更新参数训练得到最终的学生网络；
[0012]将低分辨率图像输入到最终的学生网络，重建出最终的高分辨率图像。
[0013]优选的，所述教师网络为双注意力特征融合网络包括浅特征提取模块、深特征提取模块、上采样模块、重建模块；所述浅特征提取模块用于提取图像的浅层特征；所述深特征提取模块包含双注意力模块、残差套残差结构和特征融合结构，用于提取浅层特征中的深层特征，并将浅层特征和深层特征相加，得到最终特征；所述上采样模块用于根据最终特征得到上采样特征；所述重建模块用于根据上采样特征得到超分辨率图像；所述双注意力特征融合网络使用像素L1损失函数来对网络进行训练。
[0014]优选的，所述学生网络采用双注意力特征融合网络架构，学生网络中每个残差组的残差块数量为教师网络的30％，以实现轻量级网络。
[0015]优选的，知识从通道间和通道内这两个角度来综合提取，通道间用来提取特征图的注意力信息，通道内用来提取特征图的激活信息。
[0016]优选的，所述深特征提取模块的双注意力模块由空间注意力和通道注意力串联组成；
[0017]空间注意力模块的输出特征Z
s
表示为：
[0018][0019]其中，X为输入特征，Conv1(
·
)和Conv2(
·
)表示卷积层，用来调整通道数，relu(
·
)表示修正线性单元，用来为注意力增加非线性能力，sigmoid(
·
)表示激活函数，用来将权重系数限制到0
‑
1范围，表示逐元素相乘操作；
[0020]通道注意力模块的输出特征Z
c
表示为：
[0021][0022]其中，pool(
·
)表示全局平均池化层，用来压缩特征的空间维度；
[0023]双注意力模块的输出特征Z表示为：
[0024]Z＝F
channel
(F
spatial
(X))
[0025]其中，F
chann
(
·
)表示通道注意力模块，F
spatial
(
·
)表示空间注意力模块。
[0026]优选的，所述深特征提取模块的残差套残差结构由多个残差组和全局跳跃连接组成，残差组由多个残差双注意力块和局部跳跃连接组成，残差双注意力块由普通残差块和双注意力模块构成；残差双注意力块的输出特征Z表示为：
[0027]Z＝DA(Conv2(relu(Conv1(X))))+X
[0028]其中DA(
·
)表示双注意力模块，Conv1(
·
)和Conv2(
·
)表示卷积层relu(
·
)表示修正线性单元。
[0029]优选的，所述深特征提取模块的特征融合结构由多个残差组的输出和双注意力模块组成；特征融合结构将多个残差组的输出在通道方向上拼接起来得到融合特征，双注意力模块自适应地学习权重来重新调整融合特征。
[0030]优选的，所述教师网络特征图的注意力信息表示为：假设中间特征为其中C、H、W分别表示中间特征的通道数、空间维度的高度、空间维度的宽度，表示中间特征X的第i个通道的空间特征；中间特征的空间注意力计算过程如下：先对中间特征每个空间位置的各个通道值取平方，然后求和，将其压缩到单个通道维度，得到二维空间特征最后对二维空间特征Q进行归一化处理得到空间注意力
[0031]优选的，所述教师网络特征图的激活信息表示为：以表示中间特征
的第i个通道的空间特征，第i个通道的负值m
i
用该通道内所有负值的期望值来表示：
[0032]m
i
＝E[X
i
|X
i
＜0][0033]得到负值m
i
后，用m
i
填充整个H
×
W的空间，得到同X
i
大小一致的负值张量再将空间特征X
i
与负值张量M
i
进行最大化操作，得到本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多角度知识蒸馏的单幅图像超分辨率方法，其特征在于，包括如下步骤：预处理数据集；利用数据集训练好教师网络，并得到教师超分辨率图像；往学生网络中输入低分辨率图像得到学生超分辨率图像；从通道间和通道内两个角度分别提取教师网络和学生网络的知识；计算学生网络的损失，通过反向传播更新参数训练得到最终的学生网络；将低分辨率图像输入到最终的学生网络，重建出最终的高分辨率图像。2.根据权利要求1所述的一种基于多角度知识蒸馏的单幅图像超分辨率方法，其特征在于，所述教师网络为双注意力特征融合网络包括浅特征提取模块、深特征提取模块、上采样模块、重建模块；所述浅特征提取模块用于提取图像的浅层特征；所述深特征提取模块包含双注意力模块、残差套残差结构和特征融合结构，用于提取浅层特征中的深层特征，并将浅层特征和深层特征相加，得到最终特征；所述上采样模块用于根据最终特征得到上采样特征；所述重建模块用于根据上采样特征得到超分辨率图像；所述双注意力特征融合网络使用像素L1损失函数来对网络进行训练。3.根据权利要求1所述的一种基于多角度知识蒸馏的单幅图像超分辨率方法，其特征在于，所述学生网络采用双注意力特征融合网络架构，学生网络中每个残差组的残差块数量为教师网络的30％，以实现轻量级网络。4.根据权利要求1所述的一种基于多角度知识蒸馏的单幅图像超分辨率方法，其特征在于，知识从通道间和通道内这两个角度来综合提取，通道间用来提取特征图的注意力信息，通道内用来提取特征图的激活信息。5.根据权利要求2所述的一种基于多角度知识蒸馏的单幅图像超分辨率方法，其特征在于，所述深特征提取模块的双注意力模块由空间注意力和通道注意力串联组成；空间注意力模块的输出特征Z
s
表示为：其中，X为输入特征，Conv1(
·
)和Conv2(
·
)表示卷积层，用来调整通道数，relu(
·
)表示修正线性单元，用来为注意力增加非线性能力，sigmoid(
·
)表示激活函数，用来将权重系数限制到0
‑
1范围，表示逐元素相乘操作；通道注意力模块的输出特征Z
c
表示为：其中，pool(
·
)表示全局平均池化层，用来压缩特征的空间维度；双注意力模块的输出特征Z表示为：Z＝F
channel
(F
spatial
(X))其中，F
channel
(
·
)表示通道注意力模块，F
spatial
(
·
...
【专利技术属性】
技术研发人员：裴文江，彭湘辉，夏亦犁，
申请(专利权)人：东南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。