融合仿生视觉机制的卷积神经网络图像超分辨率重建方法技术

技术编号:24688145 阅读:75 留言:0更新日期:2020-06-27 09:16
本发明专利技术公开了一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法,首先,采用模拟人类视觉注意机制的显著性检测方法,对遥感图像进行显著性区域检测;其次,针对显著性区域,采用基于卷积神经网络的图像超分辨率重建方法,进行超分辨率重建;最后,对非显著区域,采用双三次插值法,进行超分辨率重建。与现有的基于卷积神经网络图像超分辨率重建方法相比,本发明专利技术提出的方法能够快速地对图像进行超分辨率重建,适用于实时性要求比较严格的场合。

Super-resolution reconstruction of convolutional neural network image based on bionic vision mechanism

【技术实现步骤摘要】
融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
本专利技术属于图像处理领域,尤其涉及一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法。
技术介绍
现实生活中,各种成像仪器自身硬件条件有很大的局限性,得到的图像的分辨率时常达不到实际需求。而仅仅通过改善硬件条件以期获得高分辨率,代价是昂贵的。因此,有必要研究通过软件方式提高分辨率的方法。图像超分辨率重建就是指根据一幅或多幅分辨率较低的图像,采用软件方式重构出一幅图像,这幅图像分辨率明显高于原始图像。遥感图像幅面较大,所含信息极多,如果直接对整幅遥感图像进行处理会大大降低处理速度。
技术实现思路
本专利技术的目的在于提供一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法,可以去除人眼不关注的图像内容,有效地减少需要重建的图像区域,大大提升算法效率。实现本专利技术目的的技术解决方案为:一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法,包括:采用模拟人类视觉注意机制的显著性检测方法,对遥感图像进行显著性区域检测;针对显著性区域,采用本文档来自技高网...

【技术保护点】
1.一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法,其特征在于,包括:/n采用模拟人类视觉注意机制的显著性检测方法,对遥感图像进行显著性区域检测;/n针对显著性区域,采用基于卷积神经网络的图像超分辨率重建方法,进行超分辨率重建;/n对非显著区域,采用双三次插值法,进行超分辨率重建。/n

【技术特征摘要】
1.一种融合仿生视觉机制的卷积神经网络图像超分辨率重建方法,其特征在于,包括:
采用模拟人类视觉注意机制的显著性检测方法,对遥感图像进行显著性区域检测;
针对显著性区域,采用基于卷积神经网络的图像超分辨率重建方法,进行超分辨率重建;
对非显著区域,采用双三次插值法,进行超分辨率重建。


2.根据权利要求1的融合仿生视觉机制的卷积神经网络图像超分辨率重建方法,其特征在于,采用模拟人类视觉注意机制的显著性检测方法,对遥感图像进行显著性区域检测,具体方法如下:
步骤1.1,颜色、亮度特征提取
假设r、g、b分别是输入彩色图像的红、绿、蓝通道,则亮度通道I为:
I=(r+g+b)/3
根据亮度通道I对r、g、b三个颜色通道进行归一化;图像中亮度I>Maxinum/10的像素进行归一化,I≤Maxinum/10的像素置零,其中Maxinum为图像中所有亮度值中最大值;根据归一化后的r、g、b值,通过计算得到红、绿、蓝、黄四个颜色通道,对其值进行非负约束,将小于0的值用0代替;计算公式如下:
R=r-(g+b)/2
G=g-(r+b)/2
B=b-(r+g)/2
Y=(r+g)/2-|r-g|/2-b
对计算得到的四个颜色通道R、G、B、Y以及亮度I进行高斯降采样,得到各自的高斯金字塔Iσ、Rσ、Gσ、Bσ、Yσ,建立的高斯金字塔为9层;
步骤1.2,方向特征提取
采用Gabor滤波器提取方向特征,二维Gabor公式为:



Gabor滤波器是被复正弦函数调制的高斯函数,其中α、β分别为高斯包络在x和y方向上的标准差,λ和θk分别为正弦波的波长和方向,其中:









选取θk={0°,45°,90°,135°}四个方向的Gabor滤波器的输出为方向特征,计算得到四个方向的方向特征图;
步骤1.3,特征映射图构建
在得到特征映射图时,采用Center-Surround方法,计算方法如下:
Iσ(c,s)=|Iσ(c)ΘIσ(s)|
RσGσ(c,s)=|(Rσ(c)-Gσ(c))Θ(Rσ(s)-Gσ(s))|
BσYσ(c,s)=|(Bσ(c)-Yσ(c))Θ(Bσ(s)-Yσ(s))|
Oσ(c,s,θ)=|Oσ(c,θ)ΘOσ(s,θ)|
其中,c∈{2,3,4},s=c+δ,δ∈{3,4};参数c指精细尺度,参数s指粗尺度;Θ代表图像矩阵相减,Iσ是亮度特征图,RσGσ和BσYσ是颜色特征图,Oσ是方向特征图;得到6幅亮度特征映射图、12幅颜色特征映射图和24幅方向特征映射图,共计42幅特征映射图;
步骤1.4,显著图生成
利用马尔可夫链对生成的特征映射图M:[n]2→R进行规范合并,构建对应显著图A:[n]2→R,步骤如下:
M(i,j)、M(m,n)分别为节点(i,j)、(m,n)的特征;M(i,j)、M(m,n)差异性距离定义为



将特征图每个像素与其他像素均连接起来构成全连通图GA:将M中的每一个顶点与其他的n-1个顶点连接起来,为点(i,j)到点(m,n)的有向边定义权重:



其中σ为自由参数;权重ω1((i,j),(m,n))与两点的差异性、接近度成正比;
在有向图GA上构造马尔科夫链,规定每个点的出边权重和为1;将显著图A:[n]...

【专利技术属性】
技术研发人员:王鑫王琼
申请(专利权)人:南京理工大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1