单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质技术

本发明专利技术公开了一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质，重建模型包括仿鹰眼特征提取模块、反馈模块、多尺度重建模块，仿鹰眼特征提取模块用于仿照鹰双眼从三方向提取低分辨率图像的浅层特征，对提取的浅层特征信息进行融合提炼；反馈模块包括注意力机制层和反馈层，通过注意力机制层实现跨信道的信息交互，挖掘仿鹰眼特征提取模块提取的有效特征；多尺度重建模块用于通过不同卷积提取深层特征的互补信息，通过空洞卷积进行初步重建，经深层重建并与低分辨率图像的上采样图像融合获得高分辨率的重建图像。本发明专利技术重建的图像清晰度高，边缘纹理细节丰富，在保证图像清晰度的同时能丰富图片的内容。内容。内容。

【技术实现步骤摘要】
单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质


[0001]本专利技术属于图像重建
，涉及一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质。

技术介绍

[0002]随着社会经济的发展，图像超分辨率重建技术在医学影像分析、安全监控、遥感技术等领域发挥着重要的作用。随着手机等移动设备的普及和发展，对处理图像数据的需求也越来越多。但由于成像设备自身的限制以及环境因素的干扰，所拍摄的图像往往分辨率较低，不能满足实际要求，为后续的工作带来巨大的困扰。因此，研究一种高效、可行的方案来改善图像分辨率、提高视觉质量是十分有必要的。
[0003]单幅图像的超分辨率重建方法主要分为基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法算法简单、处理速度快，但在边缘和纹理处的处理效果较差。基于重建的方法具有良好的先验知识，但其不适用于放大倍数较大的图像重建。随着计算机技术的发展，学者们开始将研究思路转向基于学习的方法，其核心思想是通过训练其他样本获得先验知识，以重建出高分辨率清晰图像。
[0004]近年来，随着深度学习热潮的兴起，利用卷积神经网络进行图像超分辨率重建的思想受到学者们的广泛关注。Dong等人首次将深度学习知识应用到重建技术中，提出了SRCNN，避免了人工设计特征提取方法，实现图像自身的学习，从而实现图像重建，详见“C.Dong,C.C.Loy,K.He,X.Tang,Image super
‑
resolution using deep convolutional networks,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),2014,pp.184
‑
199”。Kim等人提出了基于残差网络思想的VDSR，通过特征图的叠加解决深层网络带来的梯度弥散问题，详见“J.Kim,J.K.Lee,and K.M.Lee,Accurate image super
‑
resolution using very deep convolutional networks,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,pp.1646
‑
1654”。Kim又提出了DRCN网络，该网络可加快网络的收敛速度，减少网络参数，详见“J.Kim,J.K.Lee,and K.M.Lee,Deeply
‑
recursive convolutional network for image super
‑
resolution,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,pp.1637
‑
1645”。Lai等人提出了LapSRN网络，将传统图像算法拉普拉斯金字塔与深度学习相结合，通过构建上下两层分子结构实现图像的重建，详见“W.Lai,J.Huang,N.Ahuja and M.Yang,Deep Laplacian Pyramid Networks for Fast and Accurate Super
‑
Resolution,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),2017,pp.5835
‑
5843”。为了生成深度网络的同时降低计算的复杂性、减少内存的消耗，Hui等人提出了信息蒸馏网络IDN，详见“Z.Hui,X.Wang and X.Gao,Fast and Accurate Single Image Super
‑
Resolution via Information Distillation Network,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),2018,pp.723
‑
731”。
[0005]由以上可知，传统的超分辨率重建方法大多是在单一图像内部潜在的规律中寻找约束关系，结合图像的先验知识提升图像的分辨率，很难修复图像中高频细节信息，修复出的图像边缘模糊，锐化效果差。不能满足实际高分辨率图像的要求。而基于学习的方法虽然可以重建出高分辨率图像，但存在着卷积核大小单一、互补不足，重建图像细节特征丢失问题，重建出的图像质量仍需加强。
[0006]鹰眼在识别物体时，其正中央凹可获得较高的相对分辨率，侧中央凹可获得局部高分辨率，观察物体时可从三个方向识别目标物体，经融合后形成总视场。受鹰眼结构和特性的启发，孙等在鹰眼颜色视觉机制的基础上构建了用于检测锥状区域和标记物颜色的方法，详见“Y.Sun,Y.Deng,H.Duan,and X.Xu.Bionic visual close
‑
range navigation control system for the docking stage of probe
‑
and
‑
drogue autonomous aerial refueling,Aerospace Science and Technology,2019,pp.136
‑
149”。刘等借助鹰眼多任务CNN区分同一类别航拍图像之间的细小差别，详见“Y.Liu,Z.Han,C.Chen,et al.Eagle
‑
Eyed Multitask CNNs for Aerial Image Retrieval and Scene Classification,IEEE Transactions on Geoscience and Remote Sensing,2020,pp.6699
‑
6721”。段等提出生物鹰眼自适应机制，实现了无人机对复杂环境下的远距离海上小目标识别，详见“H.Duan,X.Xu,Y.Deng,and Z.Zeng.Unmanned aerial vehicle recognition of maritime small
‑
target based on biological eagle
‑
eye vision adaptation mechanism,IEEE Transactions on Aerospace and Electronic Systems,2021,pp.3368
‑
3382”。上述研究表明鹰眼灵敏度高、视场大、识别精度高的特点在图像处理领域具有显著优势。
[0007]随着人工智能浪潮席卷全球以及计算机技术的不断发展，人们开始使用机器代替人工处理各种信息，高分辨率图像是保证机器处理各种视觉信息的关键。如何仿照鹰眼成像原理从低分辨率图像中获取更多有用信息，高效的提高图像分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，包括仿鹰眼特征提取模块，用于仿照鹰双眼从三方向提取低分辨率图像的浅层特征，基于左、右眼视场交叉融合的原理，对提取的浅层特征信息进行融合提炼；反馈模块，所述反馈模块包括注意力机制层和反馈层，通过注意力机制层实现跨信道的信息交互，挖掘仿鹰眼特征提取模块提取的有效特征，剔除冗余信息；通过反馈层对特征进行深层提取，将提取的深层特征传送至多尺度重建模块；多尺度重建模块，用于通过不同卷积提取深层特征的互补信息，通过卷积核大小相同、扩张率不同的空洞卷积进行初步重建，初步重建的图像经深层重建并与低分辨率图像的上采样图像融合获得高分辨率的重建图像。2.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述仿鹰眼特征提取模块仿照鹰左右眼正中央凹成像原理分别建立第1和第5支路，仿照鹰双眼侧中央凹成像原理分别建立第2和第4支路，仿照鹰双眼侧中央凹识别的前侧图像融合原理建立第3支路；第1和第5支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层5
×
5卷积获得浅层特征；第2和第4支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层3
×
3卷积获得浅层特征；第3支路，用于对低分辨率图像经过1层3
×
3卷积获得浅层特征。3.根据权利要求2所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述仿鹰眼特征提取模块通过前馈连接方式融合所有浅层特征信息，通过空洞率不同的空洞卷积层充分挖掘有效特征。4.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述注意力机制层在不降低维数的通道级全局平均池化下，通过自适应确定信道间的交互范围，利用一维卷积得到注意力信息并将其保存在信道，使用Sigmoid函数得到通道权重，将仿鹰眼特征提取模块的输出与对应的权重系数相乘得到注意力特征图，用于剔除仿鹰眼特征提取模块的输出中包含的重叠信息。5.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述反馈层由多层组成，后一反馈层接收前一反馈层的信息以及注意力机制层输出的特征图，完成低分辨率图像中深层次特征的提取。6.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述多尺度重建模块包括特征映射层和多尺度重建层；所述特征映射层通过反卷积将反馈模块输出中的I
LR
特征映射到I
HR
特征，I
LR
表示低分辨率图像，I
HR
表示高分辨率图像；所述多尺度重建层通过三个卷积核大小为3
×
3，扩张率分别为1、2、4的空洞卷积并联的方式对I
HR
特征进行基本的重建，扩张率为1的空洞卷积用于突出图像的边缘纹理信息，另两个空洞卷积用于保证重建图像轮廓的清晰；三个空洞卷积层的输出通过融合后经1
×
1卷积层进行通道数的变换，得到初步重建图像；初步重建图像经3
×
3卷积层进行深层次的重建，丰富图像的细节信息；最后将3
×...

【专利技术属性】
技术研发人员：贾晓芬，梁镇洹，郭永存，黄友锐，赵佰亭，马天兵，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：