一种基于多级特征信道优化编码的图像轮廓检测方法技术

本发明专利技术涉及一种基于多级特征信道优化编码的图像轮廓检测方法。本发明专利技术针对输入图像I(x,y)，首先基于相似度指标获取Gabor滤波器的最优尺度mopt和方向θopt，并将mopt和θopt作为NSCT的频率分离参数；然后将经过NSCT得到的轮廓子图与I(x,y)进行特征增强融合，实现对I(x,y)的初级轮廓检测；最后针对性地设计全卷积神经网络，包括由不同尺度FCN‑32s、FCN‑16s、FCN‑8s网络单元构成的特征编解码器，利用特征编码器的卷积与池化模块实现网络参数的主动学习，利用特征解码器的反卷积与上采样模块得到与I(x,y)对应的图像轮廓掩模图，实现多级特征信道的优化编码，完成图像轮廓的高效准确检测。

【技术实现步骤摘要】
一种基于多级特征信道优化编码的图像轮廓检测方法
本专利技术属于机器学习和图像处理领域，具体涉及一种基于多级特征信道优化编码的图像轮廓检测方法。
技术介绍
轮廓信息对于图像数据的分割和识别具有重要意义，它将实现对图像目标区域的快速勾勒，有助于在有限特征维度上对图像进行分析和理解，因此图像轮廓自动检测是机器学习和图像处理领域的重要研究内容之一。基于区域梯度信息的传统检测算法通常考虑图像的线性滤波和局部方向性特征，例如基于图像局部能量方法，但它们一般并不涉及主动轮廓、纹理边缘以及区域边界等重要信息。目前基于深度学习的轮廓检测方法受到了关注，通过深度网络结构模拟人类视觉感知系统对视觉信息的处理过程，主动进行特征学习，有效地简化了原本复杂的特征提取和数据重建过程，但是这类方法普遍存在以下问题：(1)直接通过神经网络进行图像的分割和融合，会导致分割结果的不精细和特征信息的泛化。(2)未能将深度学习与传统基于特征的方法相结合，检测性能严重依赖于训练样本的数量和质量，对包括纹理背景在内的冗余信息过滤能力较弱。(3)部分方法虽然考虑了多源特征的提取问题，例如基于Gabor-NSCT和脉冲神经网络的SAR图像分割，它涉及了Gabor和NSCT在多尺度下的多源特征提取，然后将提取的Gabor特征和NSCT特征分别作为两个脉冲神经网络的输入进行训练，因此分割性能将严重依赖于Gabor和NSCT对于图像内容的感知能力，并没有充分利用多尺度下的多源特征信号融合编码能力，另外脉冲神经网络从模型层次和结构上也并不属于深度学习的范畴。例如还有基于Gabor-NSCT和视觉机制的图像轮廓提取方法，它同样涉及不同尺度下的多源特征提取，但考虑到视觉机制模型的运算能力，通常采用一种简化的融合编码方式，本质上缺失了以卷积神经网络训练为代表的学习过程，因此并不能真正体现多源特征在表达轮廓上的有效性。
技术实现思路
本专利技术针对现有技术的不足，提出一种基于多级特征信道优化编码的图像轮廓检测方法。虽然NSCT变换在表征图像细节方面具有优越的性能，但其通常采取在尺度和方向上对分解结果进行某种加权方式下的优化编码，处理过程中加权参数的人为设定使得检测结果具有较大的不确定性。考虑到Gabor滤波器在感知图像目标尺度和方向时的有效性，因此本专利技术针对输入图像I(x,y)，首先计算Gabor滤波器对应的最优尺度mopt和方向θopt，并将获得的mopt和θopt作为NSCT变换的频率分离参数，改变了传统上需要对Gabor和NSCT遍历所有尺度和方向的冗余融合模式；另外本专利技术将NSCT得到的轮廓子图与I(x,y)进行特征增强融合，有助于高效准确获得I(x,y)的初级轮廓响应E(x,y)；接着将E(x,y)传入至由FSC-32S、FSC-16S、FSC-8S网络单元构成的全卷积神经网络，利用特征编码器的卷积与池化模块实现网络参数的主动学习，通过特征解码器的反卷积与上采样模块得到与I(x,y)对应的图像轮廓掩模图，并与I(x,y)进行点乘操作，最终实现图像轮廓的准确检测。具体包括如下步骤：步骤1:获取输入图像I(x,y)的初级轮廓响应。首先计算输入图像I(x,y)的Gabor滤波器响应，结果记为如式(1)～(4)所示。式中：表示图像I(x,y)经过Gabor滤波器在尺度m，方向θ＝nπ/K上得到的Gabor特征信息；σx,σy分别表示Gabor小波基函数沿x轴和y轴的标准偏差；ω为高斯函数的复调制频率；以ψ(x,y)为母小波，通过对其进行尺度和旋转变换，得到Gabor滤波器ψm,n(x,y)；其中，u,v是ψm,n(x,y)的模板尺寸；m＝0,...,S-1，n＝0,...,K-1，S和K分别表示尺度数和方向数；α为ψ(x,y)的尺度因子，式中：α＞1。基于相似度指标SSIM，计算Gabor滤波器对应的最优尺度mopt和方向θopt，如式(5)～(8)所示。其中表示滤波器响应与已知的轮廓标记图像Imark之间的相似度，当取极大值时，获得最优尺度mopt和方向θopt；和分别表示与Imark之间在亮度、对比度和结构上的定量相似性度量；uGabor、umark分别表示图像和Imark的亮度均值，δGabor、δmark分别表示图像和Imark的亮度标准差，分别表示图像和Imark的亮度方差，δG,m代表图像和Imark的亮度协方差；Imark图像的轮廓区域像素为1，其余像素为0；为了避免由于式(6)～(8)中的各项分母接近零值时所引起的系统不稳定，C1、C2和C3设置为某个正常数，小于滤波器响应亮度均值的3％。将mopt和θopt作为NSCT的频率分离参数，NSCT对图像I(x,y)分解得到轮廓子图由于NSCT分解过程尺寸保持不变，因此将与I(x,y)直接进行像素级的特征增强融合操作，最终获得输入图像I(x,y)的初级轮廓响应E(x,y)，如式(9)和(10)所示。式中，表示尺度mopt和方向θopt参数条件下的非下采样轮廓波变换，表示对应的NSCT轮廓子图；t表示轮廓子图的亮度均值；max表示取最大值函数，下同。步骤2：将步骤1获得的初级轮廓响应E(x,y)，传输至全卷积神经网络，获得分别由FCN-32S、FCN-16S、FCN-8S网络单元训练得到的热图F5，F4，F3。全卷积神经网络分为特征编码器和特征解码器两部分，整个网络包含8个卷积块，5个最大池化层，5个上采样和2个卷积层。具体结构如下：1.特征编码器以VGG-16作为基础网络进行全卷积神经网络的优化改造。为实现网络计算速度的提高，增强泛化能力，在卷积块(3×3、1×1、3×3)结构中，每两个3×3的卷积核中加入1×1卷积核；为加强学习图像特征的非线性和平移不变性，每层卷积模块后面加入最大池化层；同时E(x,y)经过池化层Maxpool5处理后，尺寸变成I(x,y)的1/32，记为表示经过FCN-32S网络单元训练后输出的特征图；E(x,y)经过池化层Maxpool4和卷积层1×1，尺寸变成I(x,y)的1/16，记为表示经过FCN-16S网络单元训练后输出的特征图；同理，E(x,y)经过池化层Maxpool3和卷积层1×1，尺寸变成I(x,y)的1/8，记为表示经过FCN-8S网络单元训练后输出的特征图。其中每个池化层输出利用Relu激活函数实现稀疏编码功能。特征编码器包括如下十三层结构，其中步长stride均为1：第一层，卷积层CONV1-1，通道个数8，卷积核大小3×3；CONV1-2，通道个数8，卷积核大小为3×3；第二层，最大池化层Maxpool1，池化区域大小为2×2；第三层，卷积层CONV2-1，通道个数16，卷积核大小为3×3；CONV2-2，通道个数16，卷积核大小为1×1；CONV2-3，通道个数16，卷积核大小为1×1；第四层，最大池化层Maxpool2，池化区域大小为2×2；第五层，卷积层CONV3-1，通道个数32，卷积核大小为3×3；CONV3-2,通道个数32，卷积核大小为1×1；CONV3-3，通道个数32，卷积核大小为3×3；第六层，最大池化层Maxpool3，池化区域大小为2×2；第七层，卷积层CONV4-1，通道个数64，卷积核大小为3×3；CONV4-2，通道个数64本文档来自技高网...

【技术保护点】
1.一种基于多级特征信道优化编码的图像轮廓检测方法，其特征在于，该方法具体包括以下步骤：步骤1:获取输入图像I(x,y)的初级轮廓响应；首先计算输入图像I(x,y)的Gabor滤波器响应，结果记为

【技术特征摘要】
1.一种基于多级特征信道优化编码的图像轮廓检测方法，其特征在于，该方法具体包括以下步骤：步骤1:获取输入图像I(x,y)的初级轮廓响应；首先计算输入图像I(x,y)的Gabor滤波器响应，结果记为如式(1)～(4)所示；式中：表示图像I(x,y)经过Gabor滤波器在尺度m，方向θ＝nπ/K上得到的Gabor特征信息；σx,σy分别表示Gabor小波基函数沿x轴和y轴的标准偏差；ω为高斯函数的复调制频率；以ψ(x,y)为母小波，通过对其进行尺度和旋转变换，得到Gabor滤波器ψm,n(x,y)；其中，u,v是ψm,n(x,y)的模板尺寸；m＝0,...,S-1，n＝0,...,K-1，S和K分别表示尺度数和方向数；α为ψ(x,y)的尺度因子，式中：α＞1；基于相似度指标SSIM，计算Gabor滤波器对应的最优尺度mopt和方向θopt，如式(5)～(8)所示；其中表示滤波器响应与已知的轮廓标记图像Imark之间的相似度，当取极大值时，获得最优尺度mopt和方向θopt；和分别表示与Imark之间在亮度、对比度和结构上的定量相似性度量；uGabor、umark分别表示图像和Imark的亮度均值，δGabor、δmark分别表示图像和Imark的亮度标准差，分别表示图像和Imark的亮度方差，δG,m代表图像和Imark的亮度协方差；为了避免由于式(6)～(8)中的各项分母接近零值时所引起的系统不稳定，C1、C2和C3设置为某个正常数，小于滤波器响应亮度均值的3％；将mopt和θopt作为NSCT的频率分离参数，NSCT对图像I(x,y)分解得到轮廓子图由于NSCT分解过程尺寸保持不变，因此将与I(x,y)直接进行像素级的特征增强融合操作，最终获得输入图像I(x,y)的初级轮廓响应E(x,y)，如式(9)和(10)所示；式中，表示尺度mopt和方向θopt参数条件下的非下采样轮廓波变换，表示对应的NSCT轮廓子图；t表示轮廓子图的亮度均值；max表示取最大值函数，下同；步骤2：将步骤1获得的初级轮廓响应E(x,y)，传输至全卷积神经网络，获得分别由FCN-32S、FCN-16S、FCN-8S网络单元训练得到的热图F5，F4，F3；全卷积神经网络分为特征编码器和特征解码器两部分，整个网络包含8个卷积块，5个最大池化层，5个上采样和2个卷积层；具体结构如下：1.特征编码器以VGG-16作为基础网络进行全卷积神经网络的优化改造；为实现网络计算速度的提高，增强泛化能力，在卷积块(3×3、1×1、3×3)结构中，每两个3×3的卷积核中加入1×1卷积核；为加强学习图像特征的非线性和平移不变性，每层卷积模块后面加入最大池化层；同时E(x,y)经过池化层Maxpool5处理后，尺寸变成I(x,y)的1/32，记为表示经过FCN-32S网络单元训练后输出的特征图；E(x,y)经过池化层Maxpool4和卷积层1×1，尺寸变成I(x,y)的1/16，记为表示经过FCN-16S网络单元训练后输出的特征图；同理，E(x,y)经过池化层Maxpool3和卷积层1×1，尺寸变成I(x,y)的1/8，记为表示经...

【专利技术属性】
技术研发人员：范影乐，方琳灵，周涛，武薇，佘青山，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33