实现面向图像理解的视觉单词生成和评价的系统及方法技术方案

本发明专利技术涉及一种实现面向图像理解的视觉单词生成和评价的系统及方法，其中包括特征提取器，用以提取视频图像的局部特征和全局特征；特征融合器，用以将提取出的局部特征信息和全局特征信息进行融合得到融合特征信息描述矩阵；特征降维器，用以运用主成分分析方法对所述的融合特征信息描述矩阵进行降维处理；视觉词典生成器，用以对降维后的融合特征信息矩阵进行处理生成视觉词典；性能评估器，用以对所述的视觉词典的优劣性进行评价。采用该种结构的实现面向图像理解的视觉单词生成和评价的系统及方法，实现结合局部特在和全局特征，缓解维护灾难问题，计算复杂度更小，能在任意形状的样本空间上聚类且收敛于全局最优解，具有更广泛应用范围。

【技术实现步骤摘要】

本专利技术设及计算机视觉
，尤其设及计算机视觉单词生成
，具体 是指一种。
技术介绍
图像理解的最终目标是给出图像的解释，该些解释可W说明图像所包含内容的意 义。图像理解是一个基于知识的过程，需要知识的支持，在对图像进行理解时要充分利用和 图像有关的知识，才能实现对图像的正确理解，该是视觉分析的高级语义阶段。如何从低层 次的视觉特征描述得到高级语义理解，近来年，词包模型的提出，使得该一问题得到了有效 地支持，而视觉词典构建的好坏直接影响了图像内容的分析理解效果。目前传统的视觉字 典的构造方法是在提取图像特征例如颜色、纹理等的基础上，将提取的图像特征使用聚类 方法，例如K均值化-means)聚类，来构造视觉词典。常用的特征向量包括局部特征；基于 梯度直方图的SIFT(尺度不变特征变换）、化OH(梯度位置及方向直方图）等，它们不但具 有很强的可区分性，可W区分不同的图像内容，同时也能容忍一定程度的图像噪声与特征 检测带来的误差。 沈项军等在其申请的专利技术专利"基于D-S证据理论的视觉词典构建方 法"中公开了一种基于D-S证据理论的视觉词典构建方法，通过使用D-S 证据理论考察不同特征的视觉相似性并进行特征融合，从而对初始视觉字典进行更进一步 的细分，构造出更加有效的视觉词典，提高图像的分类准确率。 黄祥林等在其申请的专利技术专利"一种图像检索中视觉单词的提取方 法"巧01310159183. 7]中公开了一种图像检索中视觉单词的提取方法，通过对图像库中的 局部特征集合进行二值化，得到特征独特性和信息量保持的二值局部特征，在向量空间上 提高特征的空间利用率，有利于提高视觉单词的独特性，并通过快速计算二值特征的汉明 距离在之后的检索或分类应用中提高计算的速度和减小存储的代价。 焦李成等在其申请的专利技术专利"基于潜在狄利克雷分配的自然图像分类方 法"巧01310296468.引中公开了基于潜在狄利克雷分配的自然图像分类方法，主要解决现 有全监督自然图像分类方法分类时间较长W及在缩短了分类时间的前提下分类精度下降 的问题。与经典分类方法相比，该方法在缩短了平均分类时间的同时提高了分类精度，可用 于目标识别。 王爽等在其申请的专利技术专利"潜在狄利克雷模型的多尺度字典自然场景图像分类 方法"巧01310306975. 2]中公开了潜在狄利克雷模型的多尺度字典自然场景图像分类方 法，采用了多尺度特征和潜在语义主题模型，丰富了图像的特征信息，避免了大量的人工标 记工作，提高了分类正确率，可用于目标识别及车辆、机器人导航。 杨卫国等人在其申请的专利技术专利"一种人脸识别方法、装置及移动终 端"巧01010559584.引中公开了一种人脸识别方法、装置及移动终端，该方法包括；对目标 对象进行预处理、局部滤波器组根据G油or算法提取人脸局部特征、通过PCA和LDA对人脸 局部特征进行降维、将特征送分类器判定其是否为人脸图像。该方法可有效提高特征提取 速度，减少存储量，且具有较好的识别性能，适合在移动终端等资源有限的嵌入式平台上使 用。[000引本专利"实现面向图像理解的视觉单词生成和评价的系统和方法"与上述专利"一 种人脸识别、装置及移动终端"存在如下不同： (1)面向应用不同：本专利是面向图像理解的视觉单词生成方法，而专利"一种人 脸识别方法、装置及移动终端"是仅仅应用在人脸识别中，而本专利可W应用在一切基于视 觉单词的图像理解领域中。 (2)输出结果不同；本专利输出的是视觉单词及其有效性评价，而专利"一种人脸 识别、装置及移动终端"输出的是人脸识别的结果。 (3)流程不同；本专利包含有特征提取器、特征融合器、特征降维器、视觉词典生 成器及性能评估器，其中的特征提取器又包含有局部特征提取器和全局信息提取器，提取 的局部特征和全局信息分别为尺度不变特征转换（Scale-invariantfeaturetransform， SIFT)和采用Canny边缘检测子得到的前景物体外部轮廓信息；而专利"一种人脸识别方 法、装置及移动终端"包含有对目标图像进行预处理、局部滤波器组根据G油or算法提取人 脸局部特征、通过PCA和LDA对人脸局部特征降维、将特征宋分类器判定是否为人脸图像。 两篇专利的不同之处在于，本文的专利采用的特征是局部特征和全局特征融合后的特征， 只是采用PCA进行降维，生成了视觉词典，并对视觉词典的有效性进行评价，而专利"一种 人脸识别方法、装置及移动终端"首先要进行预处理，采用的仅仅是Gabor提取的局部特征， 并采用PCA和LDA共同进行降维，输出的结果为判定图像是否为人脸的分类结果。 因此，本专利"面向图像理解的视觉单词生成及评价系统"和专利"一种人脸识别 方法、装置及移动终端"虽然看起来有些许相似，但是从根本上看，有本质的不同，且本专 利首次将轮廓系数引入作为视觉词典的评价，极大地提高了视觉单词评价的有效性和快速 性。 综上可知，现有的视觉词典生成方法大多基于局部特征SIFT,并采用常见的 K-means聚类方法得到视觉词典。但是图像的局部特征向量维数较高，在进行向量之间的相 似性比较时，随着维数的增加，局部特征的向量分布变得稀疏，并且大部分向量产生高相关 距离，从而降低了视觉模式的比较性和普适性。同时，K-means聚类方法存在着聚类效果不 稳定，对初始聚类中屯、较为敏感的问题。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够实现结合局部特在 和全局特征、缓解维护灾难问题、具有更广泛应用范围的实现面向图像理解的视觉单词生 成和评价的系统及方法。 为了实现上述目的，本专利技术的实现面向图像理解的视觉单词生成和评价的系统及 方法具有如下构成： 该实现面向图像理解的视觉单词生成和评价的系统，其主要特点是，所述的系统 包括： 特征提取器，用W提取视频图像的局部特征和全局特征； 特征融合器，用W将提取出的局部特征信息和全局特征信息进行融合得到融合特 征信息描述矩阵； 特征降维器，用W运用主成分分析方法对所述的融合特征信息描述矩阵进行降维 处理； 视觉词典生成器，用W对降维后的融合特征信息矩阵进行处理生成视觉词典； 性能评估器，用W对所述的视觉词典的优劣性进行评价。 较佳地，所述的性能评估器用W采用轮廓系数指标对所述的视觉词典的优劣性进 行评价。 本专利技术还设及一种实现面向图像理解的视觉单词生成和评价的方法，其特征在 于，所述的方法包括W下步骤： (1)所述的特征提取器提取视频图像的局部特征和全局特征； (2)所述的特征融合器将提取出的局部特征信息和全局特征信息进行融合得到融 合特征信息描述矩阵； (3)所述的特征降维器运用主成分分析方法对所述的融合特征信息描述矩阵进行 降维处理； (4)所述的视觉词典生成器对降维后的融合特征信息矩阵进行处理生成视觉词 典；[002引 （5)所述的性能评估器对所述的视觉词典的优劣性进行评价。 较佳地，所述的特征提取器提取视频图像的局部特征和全局特征，包括W下步 骤： (1-1)所述的特征提取器采用尺度不变特征变换方法提取视频图像的尺度不变转 换特征来对图像的局部特征信息进行描述； (1-2)所述的特征提取器采用傅里叶形状描述符对形状特征进行描述来对本文档来自技高网...

【技术保护点】
一种实现面向图像理解的视觉单词生成和评价的系统，其特征在于，所述的系统包括：特征提取器，用以提取视频图像的局部特征和全局特征；特征融合器，用以将提取出的局部特征信息和全局特征信息进行融合得到融合特征信息描述矩阵；特征降维器，用以运用主成分分析方法对所述的融合特征信息描述矩阵进行降维处理；视觉词典生成器，用以对降维后的融合特征信息矩阵进行处理生成视觉词典；性能评估器，用以对所述的视觉词典的优劣性进行评价。

【技术特征摘要】

【专利技术属性】
技术研发人员：何莹，王建，钟雪霞，梅林，吴轶轩，尚岩峰，王文斐，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：上海;31