基于栈式自编码器的特征融合方法技术

技术编号:15691545 阅读:79 留言:0更新日期:2017-06-24 04:50
本发明专利技术提供一种基于栈式自编码器的特征融合方法。技术方案包括下述内容:首先,提取图像的局部三斑块二值模式纹理特征,利用特征选择方法选择并提取图像的若干种基线特征,将得到的所有特征进行串联得到串联向量。然后,对串联向量先进行标准化再进行白化。将白化后的结果作为SAE的输入,利用逐层贪婪训练法对SAE进行训练。最后利用训练好的SAE,通过softmax分类器对SAE进行微调,使得损失函数最小,SAE的输出即为区分性高的融合特征向量。本发明专利技术选取的特征冗余性小,为特征融合提供更丰富的信息。

Since the stack encoder method based on Feature Fusion

The present invention provides a feature fusion method based on stack encoder. The technical scheme comprises the following contents: firstly, extract the image of the local two value model three plaque texture feature selection method, selection and several kinds of baseline feature extraction of image using feature, all features are series of series vector. Then, the series vectors are standardized first and then whitened. The whitening result is used as the input of SAE, and the training of SAE is implemented by layer by layer greedy training method. Finally, the trained SAE is used to fine tune the SAE through the softmax classifier, so that the loss function is minimum, and the output of SAE is the discriminative fusion feature vector. The feature redundancy of the invention is small, and provides richer information for feature fusion.

【技术实现步骤摘要】
基于栈式自编码器的特征融合方法
本专利技术属于图像融合
,涉及一种基于SAE(StackedAutoencoder,栈式自编码器)的特征融合的方法,提高了融合特征的区分度和效率。
技术介绍
特征融合是指对提取的特征信息,进行综合分析及融合处理的技术。在图像理解中,利用特征融合不仅可以增加图像的特征信息,而且能有效综合原始特征之间的优势获得目标更全面的特征表达。经典的特征融合算法(特征融合算法可参考文献王大伟,陈定荣,何亦征.面向目标识别的多特征图像融合技术综述[J].航空电子技术,2011,42(2):6-12.),直接把特征按照某种方式直接组合起来,没有从本质上考虑特征间的关系对融合结果的影响,因此融合后的特征冗余性较大,区分性不高。SAE是一种无监督的学习网络,能通过简单的非线性模型将原始特征转化为更为抽象的表达,进行有效的特征融合。基于SAE的特征融合,不仅能提取出原始特征中的深层互补特征,得到更具区分性的特征,同时能利用特征提取减少输入数据的特征维度,简化网络结构,提高融合效率。已有的基于SAE的特征融合算法(基于SAE的特征融合算法可参考文献ChenY,LinZ,ZhaoX,etal..DeepLearning-BasedClassificationofHyperspectralData[J].IEEEJournalofSelectedTopicsinAppliedEarthObservations&RemoteSensing,2014,7(6):2094-2107.),选取的特征维数高,融合网络结构复杂,训练时间较长,无法满足实时性的需求。另外特征之间冗余性大,互补性小,融合后特征区分度提高不明显。
技术实现思路
本专利技术通过选取互补性高,冗余性小的特征,得到了基于SAE的特征融合方法。该方法能有效减少数据维度,简化SAE的网络结构,提高融合效率。同时,选取了不同属性的特征,为融合提供了丰富的信息,提取出了更具区分性的融合特征。本专利技术的技术方案是:首先,提取图像的TPLBP(Three-PatchLocalBinaryPatterns,局部三斑块二值模式)纹理特征,利用特征选择方法选择并提取图像的若干种基线特征,将得到的所有特征进行串联得到串联向量。然后,对串联向量先进行标准化再进行白化。将白化后的结果作为SAE的输入,利用逐层贪婪训练法对SAE进行训练。最后利用训练好的SAE,通过softmax分类器对SAE进行微调,使得损失函数最小,SAE的输出即为区分性高的融合特征向量。本专利技术的有益效果是:1.本专利技术选取了基线特征和TPLBP特征进行组合,基线特征描述了图像的几何结构特性,TPLBP特征描述了图像的局部纹理,不同属性的两种特征互补性大,冗余性小,为特征融合提供更丰富的信息。2.本专利技术设计的SAE结构,通过特征提取,改变了原始特征的空间分布,能有效增加原始特征之间的类间距离,减小类内距离,使融合后的分类精度有较大的提升。3.本专利技术提出的技术方案,将228维的串联特征而不是整幅图像作为SAE输入,在有效融合特征的同时,简化了SAE结构,有效减少了网络训练时间和测试时间,融合效率得到有效提升。附图说明图1为本专利技术实验数据MSTAR数据集示例;图2为本专利技术流程图;图3为本专利技术融合特征分布变化图;图4为本专利技术实验结果对比图。具体实施方式本专利技术实验数据为MSTAR数据集,该数据集包括BMP2,BRDM2,BTR60,BTR70,D7,T62,T72,ZIL131,ZSU234,2S1等10类军事目标的SAR(syntheticapertureradar,合成孔径雷达)图像切片,图1中给出10类军事目标的切片示例,切片大小统一裁剪为128×128像素。图2为本专利技术流程图,结合本专利技术的某一实验,具体实施步骤如下:第一步,提取图像的TPLBP(Three-PatchLocalBinaryPatterns,局部三斑块二值模式)纹理特征。对原始图像利用LBP(LocalBinaryPatterns,局部二值模式)算子得到其LBP码值,再通过对比图像块之间的LBP值,得到TPLBP码值,统计TPLBP码值得到直方图向量,再将其串接成图像的128维TPLBP纹理特征向量征。利用特征选择方法选择并提取图像的若干种基线特征。首先,对图像进行能量检测,将其二值化之后,得到二值图像,再对二值图像进行膨胀,得到连通图像,分别提取二值图像和连通图像的若干基线特征。再利用F-score(Fisherscore)的方法,计算基线特征的类间和类内的区分性,最后根据每种基线特征的F-score值的大小对基线特征进行排序。为减小特征维度,去掉F-score值较小的特征,选取25种基线特征串联成100维基线特征向量(见表1),再与TPLBP特征串联,得到228维串联向量。通常基线特征的提取数目根据实际应用情况确定。本实施例选25种基线特征。每种基线特征的维数是由该种基线特征的基本性质决定的,如面积特征为1维,质心特征2维等。表1基线特征第二步,对串联向量先进行标准化再进行白化。将串联向量X减去其均值进行标准化,再利用ZCA对标准化后的向量进行白化,得到白化后的向量为XZCAWhite=TX,其中T=UP-(1/2)UT,U和P是串联向量的协方差矩阵的特征向量和特征值,x(i)表示串联向量X的第i维的值,M表示串联向量X的维度,本实施例选M=228。第三步,将白化后的向量作为SAE的输入,利用逐层贪婪训练法对SAE进行训练。首先训练第一层SAE,利用梯度下降法使代价函数收敛到最优解,将隐层学习到的特征作为第二层自编码器的输入,固定第一层的网络权值,训练第二层网络,依次训练好SAE的每一层。第四步,利用训练好的网络,通过softmax分类器对SAE进行微调,使得损失函数最小,得到区分性高的融合特征向量。本实施例中最后得到的融合特征向量是145维向量。图3为本专利技术的特征分布对比图,(a)为串联向量在二维空间中的分布,利用本专利技术的第一步得到串联向量;(b)为本专利技术方法得到的融合特征向量在二维空间中的分布。在MSTAR数据集的基础上,利用本专利技术得到图1中的10幅图像(即10类军事目标)的融合特征向量,再将融合特征向量与串联向量在二维空间分别进行可视化。由图3可看出,串联向量在二维空间中类间存在混叠,类内数据分散。10类目标的特征混叠分布在5个区域内。而本专利技术得到的10类目标的融合特征向量在二维空间中分布在相对分散的10个区域,其类间距离更大,类内更紧凑,因此区分性更好。图3表明本专利技术采用的SAE,利用其非线性表达能力从输入数据中挖掘了更有效的信息,将特征进行深度融合,改变了原始特征的空间分布,从而提升了融合特征的区分性。图4为本专利技术实验结果对比图。图中表明特征融合前后的目标识别精度对比,横坐标为10类军事目标,纵坐标表示每一类目标对应的识别精度,其中基线特征(100维)和TPLBP特征(128维)得到的目标识别精度分别用带星号的虚线和带四边形的点虚线表示,利用本专利技术融合特征向量(145维)得到的识别精度带圈实线表示。为探究本专利技术的有效性,分别利用基线特征、纹理特征作为含两个隐层的SAE的训练样本,进行目标识别,再与融合特征向本文档来自技高网
...
基于栈式自编码器的特征融合方法

【技术保护点】
一种基于栈式自编码器的特征融合方法,其特征在于包括下述步骤:首先,提取图像的局部三斑块二值模式纹理特征,并利用特征选择方法选择并提取图像的若干种基线特征,将得到的所有特征进行串联得到串联向量;然后,对串联向量先进行标准化再进行白化;将白化后的结果作为SAE的输入,利用逐层贪婪训练法对SAE进行训练;最后利用训练好的SAE,通过softmax分类器对SAE进行微调,使得损失函数最小,SAE的输出即为区分性高的融合特征向量;上述SAE是指栈式自编码器。

【技术特征摘要】
1.一种基于栈式自编码器的特征融合方法,其特征在于包括下述步骤:首先,提取图像的局部三斑块二值模式纹理特征,并利用特征选择方法选择并提取图像的若干种基线特征,将得到的所有特征进行串联得到串联向量;然后,对串联向量先进行标准化再进...

【专利技术属性】
技术研发人员:计科峰康妙冷祥光邹焕新雷琳孙浩李智勇周石琳
申请(专利权)人:中国人民解放军国防科学技术大学
类型:发明
国别省市:湖南,43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1