本发明专利技术公开了一种融合空间信息的图像特征聚合表示方法及系统，该方法包括：对每幅图像提取局部特征，并对所述局部特征的集合进行聚类得到视觉单词；将每幅图像在空间上划分为多层，使每一层被划分为若干个子区域，聚合每一层属于同一子区域的所述局部特征与对应的所述视觉单词的残差信息从而生成局部聚合描述子特征向量，然后对该特征向量做归一化处理；计算两幅图像的每一层的所述局部聚合描述子特征向量集的内积乘以对应的所述权重后进行累加来计算两幅图像的相似度。由此，降低误匹配，进一步提高图像检索精度。
【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种融合空间信息的图像特征聚合表示方法及系统，该方法包括：对每幅图像提取局部特征，并对所述局部特征的集合进行聚类得到视觉单词；将每幅图像在空间上划分为多层，使每一层被划分为若干个子区域，聚合每一层属于同一子区域的所述局部特征与对应的所述视觉单词的残差信息从而生成局部聚合描述子特征向量，然后对该特征向量做归一化处理；计算两幅图像的每一层的所述局部聚合描述子特征向量集的内积乘以对应的所述权重后进行累加来计算两幅图像的相似度。由此，降低误匹配，进一步提高图像检索精度。【专利说明】一种融合空间信息的图像特征聚合表示方法及系统
本专利技术属于多媒体检索领域，特别涉及一种融合空间信息的图像特征聚合表示方 法及系统。
技术介绍
随着互联网和移动互联网的飞速发展，人们面临的问题不再是缺乏多媒体信息， 而是如何找到自己真正所需要的信息。传统的图像检索是基于文本的图像检索，其典型框 架是首先对图像用文本进行注解，然后用基于文本的数据库管理系统进行图像的检索，检 索操作是基于该图像的文本描述进行精确匹配或概率匹配。然而，文本注解工作基本上都 是人工进行的，而人工标注往往具有主观性、不完整性和不准确性，于是基于内容的图像检 索技术应运而生，其主要思路是：从图像中分析提取底层视觉特征，利用这些特征来描述每 一幅图像，并以此衡量图像之间的相似程度以实现基于内容的检索。 现有的图像特征主要分为局部特征和全局特征两大类。局部特征因其局部性而 对遮挡、重叠等情况具备良好的鲁棒性，但计算复杂度和空间复杂度都较高；全局特征提 取速度快，存储占用少，但对插入logo,内容裁剪等变换鲁棒性不足。所以局部特征和全 局特征都有各自的优点，从而近些年，结合全局特征和局部特征的方法引起了广泛研究， 如：BoW(Bag-of-Words), VLAD (Vector of Locally Aggregated Descriptors)和 Fisher Vector,这类方法都是通过聚合一部分局部特征的统计信息来生成最终的全局特征。针对 每幅图片，BoW首先提取局部特征（如SIFT)，然后把这些局部特征聚类到视觉单词，并统 计属于每个视觉单词的特征个数，从而形成全局的特征向量。但BoW只统计了每个视觉单 词的出现次数，所以在区分性上存在局限性。为了进一步提高检索精度，Jegou等人提出了 VLAD (局部聚合描述子），也是一种图像特征聚合表示方法。与BoW不同的是，该算法并不 统计视觉单词的词频信息，而是通过聚合局部特征与局部特征对应的视觉单词的残差信息 来形成最终的全局特征，所以VLAD更具区分性，对裁剪、插入logo有更强的鲁棒性。 但是VLAD没有考虑局部特征的其他信息，如：主方向，空间信息等。由于VLAD是 全局特征，而空间信息是具体到某个局部特征的，所以将局部特征的空间信息融入到最终 生成的全局特征中是比较困难的。
技术实现思路
为了解决上述问题，本专利技术的目的在于，提供一种融合空间信息的图像特征聚合 表示方法及系统，其能够克服上述现有技术没有融入局部特征空间信息的问题，降低误匹 配，进一步提1?图像检索精度。 本专利技术提出一种融合空间信息的图像特征聚合表示方法，该方法包括： 局部特征提取步骤，对于图像库中的每幅图像分别提取其局部特征，并对所述局 部特征的集合进行聚类，将聚类中心作为视觉单词； 特征表示步骤，将每幅图像在空间上划分为多层，使每一层被划分为若干个子区 域，并通过将每一层属于同一个子区域的所述局部特征量化为对应的所述视觉单词并聚合 所述局部特征与对应的所述视觉单词的残差信息的方式生成局部聚合描述子特征向量；然 后对该局部聚合描述子特征向量进行归一化处理； 图像匹配步骤，为所述图像的每一层赋予权重，通过将两幅图像的每一层的所述 局部聚合描述子特征向量集的内积乘以对应的所述权重后进行累加来计算两幅图像的相 似度。 本专利技术所提出的融合空间信息的图像特征聚合表示方法，其中，在所述特征表示 步骤中，对所述图像进行区域划分的方法为： 使第1层沿图像的纵向和横向等间隔划分为zixz1个子区域。 本专利技术所提出的融合空间信息的图像特征聚合表示方法，其中，在所述特征表示 步骤中，所述生成局部聚合描述子特征向量的步骤具体为： 局部特征量化步骤，将子区域内的每个局部特征量化到对应的视觉单词μ i， 【权利要求】1. 一种融合空间信息的图像特征聚合表示方法，其特征在于，该方法包括： 局部特征提取步骤，对于图像库中的每幅图像分别提取其局部特征，并对所述局部特 征的集合进行聚类，将聚类中心作为视觉单词； 特征表示步骤，将每幅图像在空间上划分为多层，使每一层被划分为若干个子区域，并 通过将每一层属于同一个子区域的所述局部特征量化为对应的所述视觉单词并聚合所述 局部特征与对应的所述视觉单词的残差信息的方式生成局部聚合描述子特征向量；然后对 该局部聚合描述子特征向量进行归一化处理； 图像匹配步骤，为所述图像的每一层赋予权重，通过将两幅图像的每一层的所述局部 聚合描述子特征向量的内积乘以对应的所述权重后进行累加来计算两幅图像的相似度。2. 根据权利要求1所述的融合空间信息的图像特征聚合表示方法，其特征在于，在所 述特征表示步骤中，对所述图像进行区域划分的方法为： 使第1层沿图像的纵向和横向等间隔划分为2X21个子区域。3. 根据权利要求1所述的融合空间信息的图像特征聚合表示方法，其特征在于，在所 述特征表示步骤中，所述生成局部聚合描述子特征向量的步骤具体为： 局部特征量化步骤，将子区域内的每个局部特征量化到对应的视觉单词μ i，其中I I. I 12表示L2范数，q(x)为量化函数，x表示局部特征，C代表所述视觉单词的集 合，Rf/表示d维的实空间； 残差信息统计步骤，统计局部特征与其对应视觉单词的残差信息，其中xinc表示局部特征X的位置在子区域c中，X :q(x) = μ i表示局部特征X被量 化到第i个视觉单词μ i，i表示视觉单词的序号。4. 根据权利要求1所述的融合空间信息的图像特征聚合表示方法，其特征在于，在所 述特征表示步骤中，对该局部聚合描述子特征向量进行归一化处理的具体过程包括： L2范数计算步骤，计算第0层特征向量，的!^范数| |V°| |2， 特征向量归一化步骤，对每个子区域的特征向量进行归一化，5. 根据权利要求1所述的融合空间信息的图像特征聚合表示方法，其特征在于，在所 述图像匹配步骤中，计算两幅图像的相似度的方法具体可形式化为：其中，X和Y代表两幅不同的图像，L表示空间金字塔的总层数，V1 (X)和V1 (Y)是由第 1层的每个子区域的特征向量组合而构成，表示第1层的权重，〈.，.> 表示计算内积； 该相似度S的计算方法进一步为：其中，I*表示6. -种融合空间信息的图像特征聚合表示系统，其特征在于，该系统包括： 局部特征提取模块，用于对于图像库中的每幅图像分别提取其局部特征，并对所述局 部特征的集合进行聚类，将聚类中心作为视觉单词； 特征表示模块，用于将每幅图像在空间上划分为多层，使每一层被划分为若干个本文档来自技高网...
【技术保护点】
一种融合空间信息的图像特征聚合表示方法，其特征在于，该方法包括：局部特征提取步骤，对于图像库中的每幅图像分别提取其局部特征，并对所述局部特征的集合进行聚类，将聚类中心作为视觉单词；特征表示步骤，将每幅图像在空间上划分为多层，使每一层被划分为若干个子区域，并通过将每一层属于同一个子区域的所述局部特征量化为对应的所述视觉单词并聚合所述局部特征与对应的所述视觉单词的残差信息的方式生成局部聚合描述子特征向量；然后对该局部聚合描述子特征向量进行归一化处理；图像匹配步骤，为所述图像的每一层赋予权重，通过将两幅图像的每一层的所述局部聚合描述子特征向量的内积乘以对应的所述权重后进行累加来计算两幅图像的相似度。
【技术特征摘要】
【专利技术属性】
技术研发人员：顾晓光，周仁浩，张勇东，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。