一种基于卷积神经网络和协方差张量矩阵的降维方法技术

本发明专利技术公开了一种基于卷积神经网络和协方差张量矩阵的降维方法，包括以下步骤：首先对原始图像进行基于结构树的边缘检测，从而得到每幅图像的边缘图，然后将边缘图像输入到卷积神经网络对边缘图像提取形状特征；为了丰富图像细节特征，使用卷积神经网络对原始图像进行特征提取；将传统特征提取方法与卷积神经网络特征提取相结合，以得到多种视觉特征。本发明专利技术关注图像目标的形状特征，并使用卷积神经网络来提取图像特征，相比传统的特征提取方法更能丰富直观的表示图像，同时在降低维度的过程中，更加注重多种视觉特征之间的相关性，更能使其作为一个整体来表示图像，更加具有鲁棒性和实用性。

A dimensionality reduction method based on convolution neural network and covariance tensor matrix

The invention discloses a dimension reduction method based on convolution neural network and covariance tensor matrix, which comprises the following steps: firstly, edge detection based on structure tree is carried out on the original image to obtain the edge image of each image, and then the edge image is input to convolution neural network to extract shape features of the edge image; In order to enrich the image details, convolution neural network is used to extract the original image features, and traditional feature extraction methods are combined with convolution neural network feature extraction to obtain a variety of visual features. The invention pays attention to the shape features of image objects and extracts image features by convolution neural network. Compared with the traditional feature extraction method, the method can enrich and intuitively represent the image. At the same time, in the process of reducing the dimension, it pays more attention to the correlation between various visual features, and can make it represent the image as a whole. It is more robust and practical.

【技术实现步骤摘要】
一种基于卷积神经网络和协方差张量矩阵的降维方法
本专利技术涉及模式识别与机器学习领域，更具体地涉及一种基于卷积神经网络和协方差张量矩阵的降维方法，属于数据降维

技术介绍
在大数据时代,人们收集和获得数据的能力越来越强。大数据正在以各种形式渗透到当今世界的各个领域，例如生物基因功能组信息,文本分类以及图片多媒体等领域，而这些数据已呈现出数据量大、维数高，异构、分散以及结构复杂等特性，数据的海量性将造成存储开销大、检索速度慢等问题；而数据的高维性将造成维度灾难问题，膨胀的维数导致计算量迅速上升；复杂几何结构造成难于观测的状况。如何处理呈指数爆炸式增长的大数据使其可以以最小的硬件和软件代价存储和管理成为最具有挑战性的课题之一。数据降维，是把数据从高维的空间映射到低维的空间，最好的保持数据的结构和紧致性，提取出数据中的真正有用信息，同时去除数据的冗余信息，从而获取高维数据低维表示。一方面可以解决“维数灾难”，缓解“噪声丰富”现状，降低复杂度；另一方面可以更好地处理存储数据。因此，各种降维算法受到研究者的广泛关注，研究者们迫切找到合适的降维方法解决存储量大和运算复杂度高等问题，然而现存的降维方法仍然存在一些问题：(1)在处理图像时，形状是一个确认图像目标的重要线索，而大多数降维方法在处理图像数据时往往忽略图像中目标的形状特征；(2)只着眼于图像的某一类型的特征，而忽略了其它方面的特征，造成无法丰富全面的表述图像，无法将多种视觉特征作为一个整体去表示图像数据。
技术实现思路
本专利技术的目的提出了一种基于卷积神经网络和协方差张量矩阵的降维方法，以解决上述提出的问题。为达到上述目的，本专利技术提出的具体技术方案为：一种基于卷积神经网络和协方差张量矩阵的降维方法，该方法包括如下步骤：(1)首先，将图像I＝{I1,...Ii...,IN},i＝1,...,N中每一幅图像Ii分成大小为32×32的M个重叠小块，对于每一幅图像，定义它的标签为将标签Y映射到另一个空间Z，既得到每个像素点的值，并求得每对像素点之间的距离值，该距离值是一个dz维的向量；利用分离函数h(xi,θ)，xi为像素点的值或者是距离值，输出的值是否大于阈值τ将像素点归到左枝叶或右枝叶来判断此像素点是否为边缘或是否相似；然后将每个重叠小块的结果映射到原图像从而得到原图像I＝{I1,...Ii...,IN},i＝1,...,N的边缘图像E＝{E1,...,Ei,...EN},i＝1,...,N；(2)首先将边缘图像Ei通过降采样得到卷积神经网络(CNN-F网络)规定的大小的图像Ei′，将Ei′输入到网络中，通过卷积、池化等得到第七层全连接层的输出，作为该图像形状特征(3)然后将原始图像Ii经过处理得到卷积神经网络(CNN-F网络)规定的大小的图像Ii′，将Ii′输入到网络中，通过卷积、池化等得到第七层全连接层特征的输出，作为该图像的细节特征(4)在原始图像Ii上提取全局特征，通过a×a的网格把图像划分成大小相等的子区域，每个子区域用υ个尺度α个方向的Gabor滤波器进行滤波处理，所有子区域的特征串接得到整幅图像目标描述子将传统特征提取方法与卷积神经网络特征提取相结合能更丰富全面的表示图像；(5)对于得到的多种视觉特征t＝3，首先求得各种视觉特征的协方差矩阵对同一样本的各种视觉特征进行张量计算，从而得到所有样本的协方差张量矩阵通过多种视觉特征F的协方差张量矩阵T和协方差矩阵V得到多种视觉特征的张量矩阵(6)通过分解张量矩阵得到转换矩阵将原始的多种视觉特征与该转换矩阵相乘，即得到降维后的结果r是降维的维数。进一步的，所述步骤(4)中所述传统特征提取方法优选为Gist。进一步的，所述步骤(6)具体为：对于多种视觉特征矩阵这里t＝3，用来计算数据的张量矩阵随后被分解，是降低的维度，表示张量积；向量被堆叠作为转换矩阵Unum，被用来将原始的高维特征映射到低维空间，映射后的特征相连接用于图像的低维表示；a)对于有N个样本的多视觉特征每一种视觉特征为它的协方差矩阵计算为，多种视觉特征的协方差张量矩阵计算为，T是一个张量，其维度为b)接下来，最大化相关变量num＝1,...,t之间的相关性，其中被称作相关向量，因此优化问题，其中corr(z1,...,zt)＝(z1⊙...⊙zt)Te指相关性运算，⊙是一种逻辑运算成为元素方式积，e∈RN是一个全1向量；c)对上述的优化问题采用下面的计算方法，进一步考虑到则上述公式就写成如下形式，为了控制公式的复杂度，进一步增加一个正则化项，因此上式的附加条件就变成如下，其中I是一个单位矩阵，ε是一个负平衡参数；定义一个张量矩阵为：对于上式的计算方法，如此定义：T12...t本身是一个维度为的张量矩阵，定义T12...t是一个维度为的二维矩阵T(t)，通过将张量矩阵T12...t中第维度相关的结构映射为T(t)的行，所有其它维度的结构作为列来得到；则以此类推上式可以写成，另外定义则上诉公式写成如下表示方式，d)对于上述优化问题定义然后优化问题就变成，基于上式解决得到r个unum，r是需要降低的维度，让转换矩阵则我们最终获得第num个视觉特征的映射数据，将不同视觉特征的相连接作为最后的图像数据的降维表示F∈R(t×r)×N。本专利技术的优点和技术效果：本专利技术通过结构树的方法提取图像的边缘图像，利用卷积神经网络提取边缘图像的形状特征，然后利用卷积神经网络对原始图像提取其全局的细节特征，同时结合传统的特征提取方法更丰富全面的表示图像；通过协方差张量矩阵对多种视觉特征在最大化它们之间相关性的基础上进行维度下降处理。图像目标的形状特征是人眼感知识别目标的重要线索，引入图像目标的形状特征能进一步形象的描述图像，卷积神经网络特征提取方法能更好的描述图像目标的形状和细节特征，将卷积神经网络特征提取方法与传统的特征提取方法相结合能更形象更丰富的描述图像，且最大化多种视觉特征相关性的基础上实现降维过程，能够将同一个样本的多种视觉特征作为一个整体来表示图像，提高降维的性能。附图说明图1是本专利技术的总体示意图。图2是本专利技术的整体流程图。图3是本专利技术使用的卷积神经网络结构图。图4是本专利技术中Sport-8数据集的部分图像。图5是本专利技术中LabelMe数据集的部分图像。图6是本专利技术中数据集的部分边缘图像。图7是本专利技术Sport-8数据集的识别率与其它方法的对比图。图8是本专利技术LabelMe数据集的识别率与其它方法的对比图。图9是本专利技术评价指标混淆矩阵的评价结果图。具体实施方式为使本专利技术的内容和优点更加清晰，以下通过具体实例，结合附图详细说明本专利技术的具体实施过程。其中，以UIUC-Sport8数据集与LabelMe数据集为例进行详细说明，UIUC-Sport8数据集共1579幅彩色图像，共包括8种户外运动场景，分别为：羽毛球运动(200幅)、木球(137幅)、槌球(236幅)、马球(182幅)、攀岩(194幅)、划船(250幅)、帆船(190幅)、单板滑雪(190幅)，如图4所示。LabelMe数据集共2688幅彩色图像，共包括8种场景图像，分别为：360幅海岸场景、328幅森林场景、260幅公路场景、308幅城市场景、374幅山峦场景、410幅原野场景、292幅街道场本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络和协方差张量矩阵的降维方法，其特征在于，该方法包括如下步骤：(1)首先，将图像I＝{I1,...Ii...,IN},i＝1,...,N中每一幅图像Ii分成大小为32×32的M个重叠小块，对于每一幅图像，定义它的标签为

【技术特征摘要】
1.一种基于卷积神经网络和协方差张量矩阵的降维方法，其特征在于，该方法包括如下步骤：(1)首先，将图像I＝{I1,...Ii...,IN},i＝1,...,N中每一幅图像Ii分成大小为32×32的M个重叠小块，对于每一幅图像，定义它的标签为将标签Y映射到另一个空间Z，即得到每个像素点的值，并求得每对像素点之间的距离值，是一个dz维的向量；利用分离函数h(x)，其中x为像素点的值或者是距离值，该分离函数输出的值是否大于阈值α将像素点归到左枝叶或右枝叶来判断此像素点是否为边缘或是否相似；然后将每个重叠小块的结果映射到原图像从而得到原图像I＝{I1,...Ii...,IN},i＝1,...,N的边缘图像E＝{E1,...,Ei,...EN},i＝1,...,N；(2)将边缘图像Ei通过降采样得到卷积神经网络规定的大小的图像Ei′，将Ei′输入到网络中，通过卷积、池化得到第七层全连接层的输出，作为该边缘图像的边缘特征(3)然后将原始图像Ii经过降采样得到卷积神经网络规定的大小的图像Ii′，将Ii′输入到网络中，通过卷积、池化得到第七层全连接层的输出，作为该原图像细节特征(4)在原始图像Ii上提取全局特征，通过a×a的网格把图像划分成大小相等的子区域，每个子区域用υ个尺度α个方向的Gabor滤波器进行滤波处理，所有子区域的特征串接得到整幅图像目标描述子(5)对于得到的多种视觉特征首先求得各类视觉特征的协方差矩阵对同一样本的各类视觉特征进行张量计算，从而得到所有样本的最后的协方差张量矩阵通过多种视觉特征F的协方差张量矩阵T和协方差矩阵V我们得到多种视觉特征的张量矩阵(6)通过分解张量矩阵得到转换矩阵将原始的多种视觉特征与转换矩阵相乘，即得到降维后的结果r是降维的维数。2.如权利要求1所述的降维方法，其特征在于，所述步骤(2)中边缘检测方法具体包括以下：对数据集中的每一幅图像I＝{I1,...Ii,...IN}，i＝1,...,N进行基于结构树的快速边缘检测，从而得到每一幅图像Ii的边缘图像E＝{E1,...,Ei,...,EN}，i＝1,...,N，首先将彩色图像重叠分割成M个32×32大小的图像块pi，0<i≤M，对每个图像块pi计算在CIE-LUV颜色空间中的3个颜色通道和两个尺度归一化的梯度幅值，将每个梯度幅值通道分成基于方向的4个通道，这样每个图像块p就得到3个颜色通道，2个幅值通道，8个方向通道，总共13个通道；使用半径为2的三角型滤波器对每个图像块pi进行模糊，并且使用因数2对每个图像块pi进行降采样，最后形成32×32×13/4＝3328个像素值；另外对每个通道使用半径为8的三角形滤波器进行模糊，并且降采样到5×5大小，则每个通道产生的像素对数为300个，计算每个像素对的欧氏距离，则产生3900个距离值，将像素值和距离值定义为候选特征xi，0<i≤dz＝7228；下面将决策树应用于结构输出空间0<j≤32，其中表示相应的第i图像块的图像注释，即像素值，i′,j表示像素的位置；定义一个映射函数，∏:Y→Z将结构输出空间Y映射到一个中间空间Z，在这个空间中距离是容易测量的，其中即上一步所求得的候选特征值xi，我们使用PCA量化对候选特征值xi进行聚类，聚成k＝2类，...

【专利技术属性】
技术研发人员：年睿，耿月，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37