一种基于改进的推土距离的混合高斯模型匹配方法组成比例

本发明专利技术提出了一种适用于图像分类和图像检索的算法系统。该算法主要包括图像建模和图像匹配两个模块。在图像建模中，为了提高特征的描述能力，该算法首次利用深层卷积神经网络提取图像的深度特征，并在此基础上利用混合高斯模型建模表示图像。在图像匹配中，针对推土距离算法的效率以及对噪声敏感两个问题，提出了一种准确高效的改进的推土距离算法，在算法设计过程中加入了高斯噪声并引入了稀疏约束。同时，在设计改进的推土距离算法中，针对现有测地距离度量算法设计的缺陷，本发明专利技术在考虑了高斯分布的黎曼几何结构后设计了三种测地距离，用以更准确地度量高斯分布之间的距离。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、概率统计、黎曼几何
，具体利用深层卷积神经网络特征建模混合高斯模型，并针对混合高斯模型之间相似性的度量，提出一种高效且鲁棒的度量算法。
技术介绍
在图像处理过程中，图像的特征表示作为图像处理的第一步，有着非常重要的作用。图像的特征表示主要通过一系列算法将图像表示为一个或多个数学意义上的矩阵。现阶段的图像特征表示方法主要分为两类：基于手工设计的特征和基于深层卷积神经网络的特征。前者计算简单高效，包括Scale-invariant feature transform(SIFT)、Histogram of Oriented Gradient(HOG)、Local Binary Pattern(LBP)等，后者虽然计算时间较长，但是有很强的描述能力，常用的卷积神经网络包括Krizhevsky等人在文献[Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C],NIPS 2012:1097-1105]中提出的AlexNet，以及之后研究者在此基础上提出的GoogleNet、VGGNet等。本方法利用Simonyan等人在文献[Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[C],ICLR 2015]中提出的19层的VGGNet提取图像的深度特征，以表示图像。混合高斯模型(Gaussian Mixture Model-GMM)具有很强的数据建模能力，可以很好地建模高维特征空间中特征描述子的分布，因此混合高斯模型GMM常被用于描述图像，本方法通过GMM建模描述图像，并首次利用深层卷积神经网络特征建模GMM。成功建模之后的图像可以通过一个GMM表示，于是图像之间的相似性可以看作是GMM之间的相似性。但是，GMM之间相似性的度量一直以来都是研究的重点和难点。在已有的GMM相似性匹配算法中，推土距离(The Earth Mover’s Distance-EMD)算法是一个很好的选择，它将GMM之间的匹配问题巧妙地转化为了运输问题。但是，传统的EMD算法仍然存在计算效率和噪声敏感的问题，本方法针对这些不足提出了一种改进的推土距离算法(The Improved-Earth Mover’s Distance-I-EMD)。I-EMD算法在EMD算法的基础上引入了稀疏约束，并加入了高斯噪声以增加算法对噪声的鲁棒性。另一方面，在EMD相关算法中，一个非常重要的计算过程是度量两个GMM中任意高斯分布之间的测地距离。现有的距离度量算法往往只考虑了高斯分布的概率特性，例如常用的马氏距离、巴氏距离、KL散度等度量算法。然而，实际上高斯分布不仅是一个概率分布，同时还构成了一个黎曼流形空间，所以在度量高斯分布之间的距离时也应该考虑到其黎曼几何结构。
技术实现思路
本专利技术要解决的技术问题是：将基于深层卷积神经网络的特征用于建模混合高斯模型以描述图像，同时准确高效地度量两个混合高斯模型之间的距离。本专利技术采用的技术方案是：一种基于改进的推土距离的混合高斯模型匹配方法，包括以下步骤：步骤1：提取图像的深层卷积神经网络特征。将图像与已训练好的卷积神经网络(CNN,Convolutional Neural Network)进行卷积运算，将网络的最后一层卷积层输出作为图像的卷积神经网络特征。步骤2：混合高斯模型建模图像。利用GMM描述图像的深层卷积神经网络特征在特征空间的分布，每幅图像由1个含有多个单高斯分布的GMM模型表示。具体过程如下：首先，利用已经训练好的19层的VGGNet提取图像的深层卷积神经网络特征，对于一幅图像的特征，用含有n个单高斯的混合高斯模型G表示； G = Σ i = 1 n ω i g i = Σ i = 1 n ω i N ( X | μ i , Σ i ) - - - ( 1 ) ]]>其中，N(X|μi,∑i)表示权重为ωi的第i个单高斯，μi,∑i分别表示第i个单高斯的均值向量和协方差矩阵。步骤3：利用改进的推土距离算法计算图像之间的距离。通过第2步，图像之间的距离转化为了GMM模型之间的距离，利用本专利技术提出的I-EMD算法计算GMM之间的距离。在I-EMD算法计算过程中，利用本专利技术提出的三种不同测地距离度量两个高斯分布之间的距离。步骤4：计算相似性矩阵。通过第3步，计算所图像之间的距离，构成距离矩阵(相似性矩阵)。步骤5：图像匹配并返回结果。对于图像分类问题，将第4步得到的相似性矩阵送入核化的支持向量机(Kernel SVM)中进行分类。对于图像检索问题，利用第4步计算得到的距离矩阵，返回与被检索图像距离最小的N幅图片。本专利技术提出了一种基于改进的推土距离的混合高斯模型匹配方法，在算法设计过程中加入了高斯噪声并引入了稀疏约束。该方法提供了三种距离度量方式，用来度量高斯分布之间的距离(相似性)。本方法提出的改进的推土距离系统，计算准确高效，且在图像分类、图像检索等多媒体领域具有广泛的应用前景。附图说明附图1是系统流程框图。附图2是本专利技术系统在图像分类的示意图。其中：(a)输入图像；(b)将输入图像送入19层的VGGNet，并将其最后一层卷积层输出作为图像的深层卷积神经网络特征；(c)利用GMM模型表示图像；(d)通过本专利技术提出的I-EMD计算GMM之间的距离，其中高斯分布之间的距离通过本专利技术提出的三种测地距离计算得到；(e)根据I-EMD算法的度量结果得到相似性矩阵；(f)将相似性矩阵送入核化的支持向量机中进行分类。附图3是推土距离算法示意图。其中：表示第p个GMM中第i个单高斯的权重，表示第p个GMM中第i个单高斯和第q个GMM中第j个单高斯之间的测地距离。具体实施方式本专利技术提出了一种基于深层卷积神经网络的改进的推土距离算法系统。技术核心在于使用了深层卷积神经网络提取图像特征并通过GMM建模图像，通过I-EMD算法实现GMM之间的匹配，其中利用了高斯分布的黎曼几何结构设计度量高斯分布之间的距离。本专利技术的具体实施包括以下步骤(系统流程图以及在图像分类上的示意图分别如附图1，附图2所示)：步骤1：提取图像的深层卷积神经网络特征。对图像做尺度变换，得到3个不同尺度下的图像，将3个尺度的图像与本文档来自技高网...

【技术保护点】
一种基于改进的推土距离的混合高斯模型匹配方法，其特征在于以下步骤：步骤1：提取图像的深层卷积神经网络特征；将图像与已训练好的卷积神经网络CNN进行卷积运算，将网络的最后一层卷积层输出作为图像的卷积神经网络特征；步骤2：混合高斯模型建模图像；利用GMM描述图像的深层卷积神经网络特征在特征空间的分布，每幅图像由1个含有多个单高斯分布的GMM模型表示；所述的利用深层卷积神经网络特征建模混合高斯模型，具体过程如下：首先，利用已经训练好的19层的VGGNet提取图像的深层卷积神经网络特征，对于一幅图像的特征，用含有n个单高斯的混合高斯模型G表示；G=Σi=1nωigi=Σi=1nωiN(X|μi,Σi)---(1)]]>其中，N(X|μi,∑i)表示权重为ωi的第i个单高斯，μi,∑i分别表示第i个单高斯的均值向量和协方差矩阵；步骤3：利用改进的推土距离算法计算图像之间的距离，通过步骤2，图像之间的距离转化为了GMM模型之间的距离，利用I‑EMD算法计算GMM之间的距离；在I‑EMD算法计算过程中，利用三种不同测地距离度量两个高斯分布之间的距离；步骤4：计算相似性矩阵；通过第3步，计算所图像之间的距离，构成距离矩阵；步骤5：图像匹配并返回结果；对于图像分类问题，将第4步得到的相似性矩阵送入核化的支持向量机(Kernel SVM)中进行分类；对于图像检索问题，利用步骤4计算得到的距离矩阵，返回与被检索图像距离最小的N幅图片。...

【技术特征摘要】
1.一种基于改进的推土距离的混合高斯模型匹配方法，其特征在于以下步骤：步骤1：提取图像的深层卷积神经网络特征；将图像与已训练好的卷积神经网络CNN进行卷积运算，将网络的最后一层卷积层输出作为图像的卷积神经网络特征；步骤2：混合高斯模型建模图像；利用GMM描述图像的深层卷积神经网络特征在特征空间的分布，每幅图像由1个含有多个单高斯分布的GMM模型表示；所述的利用深层卷积神经网络特征建模混合高斯模型，具体过程如下：首先，利用已经训练好的19层的VGGNet提取图像的深层卷积神经网络特征，对于一幅图像的特征，用含有n个单高斯的混合高斯模型G表示； G = Σ i = 1 n ω i g i = Σ i = 1 n ω i N ( X | μ i , Σ i ) - - - ( 1 ) ]]>其中，N(X|μi,∑i)表示权重为ωi的第i个单高斯，μi,∑i分别表示第i个单高斯的均值向量和协方差矩阵；步骤3：利用改进的推土距离算法计算图像之间的距离，通过步骤2，图像之间的距离转化为了GMM模型之间的距离，利用I-EMD算法计算GMM之间的距离；在I-EMD算法计算过程中，利用三种不同测地距离度量两个高斯分布之间的距离；步骤4：计算相似性矩阵；通过第3步，计算所图像之间的距离，构成距离矩阵；步骤5：图像匹配并返回结果；对于图像分类问题，将第4步得到的相似性矩阵送入核化的支持向量机(Kernel SVM)中进行分类；对于图像检索问题，利用步骤4计算得到的距离矩阵，返回与被检索图像距离最小的N幅图片。2.根据权利要求1所述的一种基于改进的推土距离的混合高斯模型匹配方法，其特征在于，所述利用改进的推土距离算法计算图像之间的距离，具体过程如下：对于图像I1和I2，它们的GMM分别为和表示高斯分布和之间的测地距离；EMD算法的表达式为： E M D ( G 1 , G 2 ) = min f 12 d 12 T f 12 s . t . A 12 f 12 = W , f 12 ...

【专利技术属性】
技术研发人员：李培华，王旗龙，郝华，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21