基于卷积神经网络的双源图像特征提取及融合识别方法技术

本发明专利技术公开了一种基于卷积神经网络的双源图像特征提取及融合识别方法，包括：利用卷积神经网络具有迁移学习的特性，通过大量的可见光数据库训练卷积神经网络模型参数；将训练好的模型分别用于自动提取可见光与热红外目标图像的隐藏特征，并使用最大值降采样方法减少特征维度；结合费希尔判别法和主成分分析算法对目标的多源图像特征进行降维融合；利用支持向量机分类器对目标图像的融合特征进行分类识别。本发明专利技术针对无人机平台中多源传感器图像目标分类识别，实现利用卷积神经网络提取图像隐藏特征，再组合费希尔判别法和主成分分析算法用于特征的降维融合，为基于特征级的多源图像目标分类识别提供了一种新的有效途径。

Feature Extraction and Fusion Recognition of Dual-Source Image Based on Convolutional Neural Network

The invention discloses a dual-source image feature extraction and fusion recognition method based on convolution neural network, which includes: using convolution neural network with migration learning characteristics, training convolution neural network model parameters through a large number of visible light databases; using the trained model to automatically extract hidden features of visible light and thermal infrared target images, and using maximum value. Decomposition method reduces feature dimension; Fischer discriminant method and principal component analysis algorithm are combined to reduce dimension fusion of multi-source image features of the target; support vector machine classifier is used to classify and recognize fusion features of the target image. The invention aims at the classification and recognition of multi-source sensor image targets in UAV platform, realizes the extraction of image hiding features by convolutional neural network, and then combines Fisher discriminant method and principal component analysis algorithm for feature reduction fusion, thus providing a new effective way for multi-source image target classification and recognition based on feature level.

【技术实现步骤摘要】
基于卷积神经网络的双源图像特征提取及融合识别方法
本专利技术属于图像信号处理与模式识别领域，是一种基于卷积神经网络的双源图像特征提取及融合识别方法。
技术介绍
近二十年来，基于特征的目标识别分类技术成为图像信号处理与模式识别研究的热点，在军事和民用领域得到了广泛的应用。例如海上舰艇探测、海上救援、地面军事目标打击、嫌犯追踪等等。目前，单传感器的特征级目标识别分类技术已经相对成熟，单因为传感器自身的限制，其工作环境和适用对象相对单一，无法满足复杂环境中的应用需要。可见光传感器的成像分辨率高，目标纹理细节丰富，边缘清晰，但容易受到光照条件的干扰，在强反射及光照不足时无法提供准确有效的信息。而热红外传感器成像虽然成像分辨率差，边缘易模糊，但不受光照情况影响，可满足无光照或有强光反射情况下的工作需要。将多源传感器图像进行融合识别，可以有效扩展复杂条件下多源图像目标识别的适用范围，并提高识别率。目前在基于特征的多源传感器目标识别中，主要还依赖于人工提取图像特征，如图像的统计特征、边缘特征、纹理特征等等，常见的特征提取算法有：HU不变矩、LBP局部二值模式、GLCM灰度共生矩阵、Gabor特征等本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的双源图像特征提取及融合识别方法，其特征在于：包括以下步骤：1.建立多类目标的可见光、热红外两种成像传感器源的图像数据库，每个库包括相互对的L类目标，每类目标的样本数为n，总样本数为N＝nL；2.搭建深层卷积神经网络模型，模型结构依次为图像输入层、卷积层、池化层、丢弃层、全连接层和输出层，其中卷积层与池化层需要组合使用并需多次重复；3.利用卷积神经网络的迁移学习特性，对搭建好的深层卷积神经网络进行训练，得到最优解的各层网络参数并保存模型；4.对于数据库中的每个样本，分别将其可见光、热红外成像传感器源对应的图像作为输入送入训练好的深层卷积神经网络模型中计算；利用多层卷积自动提...

【技术特征摘要】
2018.07.11 CN 20181075854191.基于卷积神经网络的双源图像特征提取及融合识别方法，其特征在于：包括以下步骤：1.建立多类目标的可见光、热红外两种成像传感器源的图像数据库，每个库包括相互对的L类目标，每类目标的样本数为n，总样本数为N＝nL；2.搭建深层卷积神经网络模型，模型结构依次为图像输入层、卷积层、池化层、丢弃层、全连接层和输出层，其中卷积层与池化层需要组合使用并需多次重复；3.利用卷积神经网络的迁移学习特性，对搭建好的深层卷积神经网络进行训练，得到最优解的各层网络参数并保存模型；4.对于数据库中的每个样本，分别将其可见光、热红外成像传感器源对应的图像作为输入送入训练好的深层卷积神经网络模型中计算；利用多层卷积自动提取输入图像的隐藏特征，可表示为矩阵形式Ivis/ir＝[m，m，M]，其中vis/ir分表表示可见光及热红外成像源图像样本，[m，m]表示卷积输出窗口结果，M表示叠加的卷积核的数量；5.对每个样本提取到的特征矩阵Ivis/ir进行降采样处理：令mmax＝max(m，m)，则三维特征矩阵[m，m，M]降采样到M维的特征向量，表示为I′vis/ir＝[mmax1，…，mmaxs，]；6.对双源数据库中的N个样本，构造两个N*M大小的二维特征矩阵Avis，Air：其中，矩阵元素分别是可见光、热红外数据库中属于第i类目标的第j个样本特征向量，i＝1，2，...，L，j＝1，2，...，n；7.将二维特征矩阵Avis，Air进行串联融合，得到包含可见光与热红外图像隐藏特征的新特征矩阵FN，2*M＝[Avis，Air]；8.通过Fisher判别函数：式中，i为特征分量编号；k为目标所属类型，k＝1，2，...，L，L为目标类别总数；xi(k)为类型k的单个样本的第i维特征；wk为类型为k的样本集合；mi(k)为类型为k的所有样本第i维特征的均值；ni为所有类型样本的第i维特征的总数；mi为所有类型样本的第i维特征的均值；ni(k)为类型为k的所有样本的第i维特征的个数；求特征矩阵FN，2*M每...

【专利技术属性】
技术研发人员：冷阳，张弓，刘文波，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32