基于视觉词袋模型的人脸图像检索方法技术

本发明专利技术提供一种基于视觉词袋模型的人脸图像检索方法，所述检索方法包括索引阶段和检索阶段，通过对人脸部位进行局部区域图像的划分和有效检索，并改进了传统的词项频率‑文档频率相似度权重计算方式，从而提升了在海量数据集下进行相似图像检索的效率及检索精度。通过本发明专利技术提供的基于视觉词袋模型的人脸图像检索方法，解决了现有检索方法存在的视觉单词噪点、运行效率低、及检索结果准确率低的问题。

【技术实现步骤摘要】
基于视觉词袋模型的人脸图像检索方法
本专利技术属于人脸图像检索
，特别是涉及一种基于视觉词袋模型的人脸图像检索方法。
技术介绍
近年来随着网络带宽技术和物联网行业的进步，智能手机等智能终端设备和应用迅速普及，围绕图像检索技术的相关研究越来越深入。传统的BoVW(BagofVisualWords)视觉词袋检索模型在目标检索方面获得了广泛应用，其技术要点在于，借鉴了文本检索技术中的词袋模型，通过提取图像中的视觉特征描述符(descriptor，也称特征点)并加以聚类形成视觉词汇表，对于一个待检索的图像，通过检测出的一组视觉单词来表示，从视觉词汇表中找到相关的单词，计算拥有这些视觉单词的图像跟检索图像的相似度并以此排序，从而得到检索结果。这种方法已经被广泛应用于基于目标的图像检索中，但是对于基于人脸的检索，这种方法有诸多局限性，主要包括以下几点：第一，传统的视觉词袋模型在建立索引阶段进行特征点检测的时候，是对整幅图片进行检测，而对于人脸图像检索场景来说，只关注图像中的人脸部分，检测图像其余部分会导致大量的视觉单词噪点。第二，传统方法在生成视觉词汇表时是对所有视觉特征描述符进行k-means(k均值)聚类，在海量图像的场景下会导致非常低的运行效率。第三，传统方法在计算检索图像和候选图像的相似度时，采用的是TF-IDF(TermFrequency-InverseDocumentFrequency，词项频率-文档频率)相似度权重计算方式，仅仅考虑到视觉特征点的信息，而没有考虑人脸的五官特征信息，会导致检索结果准确率低等问题。鉴于此，有必要提供一种新的基于视觉词袋模型的人脸图像检索方法用于解决上述技术问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于视觉词袋模型的人脸图像检索方法，用于解决现有检索方法存在的视觉单词噪点、运行效率低、及检索结果准确率低的问题。为实现上述目的及其他相关目的，本专利技术提供一种基于视觉词袋模型的人脸图像检索方法，所述检索方法包括：索引阶段和检索阶段；其中，所述索引阶段包括：1.1)通过特征分类器对训练图像中的任一张图像提取出人脸部位，并从人脸部位中提取出局部区域图像；1.2)根据划分的局部区域，分别计算每个局部区域内的任一张局部区域图像，得到对应的视觉特征描述符向量；1.3)采用聚类算法对每个局部区域内的视觉特征描述符向量进行聚类，得到视觉单词词汇表，然后再根据所述视觉单词词汇表中的视觉单词对视觉特征描述符向量进行归类统计，生成倒排索引表，其中，所述倒排索引表以key-value键值对的形式表示；所述检索阶段包括：2.1)通过特征分类器提取出待检索图像，并从待检索图像中提取出局部区域图像，然后分别计算每个局部区域图像，得到对应的视觉特征描述符向量；2.2)利用索引阶段生成的视觉单词词汇表对2.1)中所述的视觉特征描述符向量进行归类统计，得到相应的key-value键值对；2.3)采用分布式并行计算方式将2.2)中得到的key-value键值对与倒排索引表进行匹配，得到相似图像列表；2.4)通过对相似图像进行相似度分数计算，得到相似图像的相似度排序。优选地，所述局部区域图像包括额头、左部眼睛区域、右部眼睛区域、鼻子、左嘴角及右嘴角。优选地，所述局部区域图像还包括左眉毛、右眉毛、左耳朵、右耳朵、下颌、左脸颊、或右脸颊中的一种或多种。优选地，1.2)中还包括采用主成分分析法对所述视觉特征描述符向量进行降维处理，使所述视觉特征描述符向量从128维降到64维。优选地，1.3)中key-value键值对包括key和value两部分，其中，所述key包括<局部区域ID_视觉单词ID>；所述value包括视觉单词t的idf值，其中，N为训练图像中所有人脸部位的总数，dft为出现视觉单词t的人脸部位个数；所述value还包括视觉单词t出现过的人脸部位列表及记录所述视觉单词t在相似图像d中的权重wft，d，其中，d为相似图像，tft,d为视觉单词t在相似图像中出现的次数。优选地，所述相似度分数是通过以视觉单词为粒度的特征点相似度和以划分的局部区域为粒度的区域相似度相结合的方式计算得到，其中，所述相似度分数score(q，d)＝λ·S(q，d)+(1-λ)·J(q，d)，其中，S(q，d)为相似图像d和待检索图像q在特征点粒度上的相似度权重，J(q，d)为待检索图像q和相似图像d在局部区域粒度上的相似度权重，λ为平滑参数，且0≤λ≤1。优选地，所述相似图像d和待检索图像q在特征点粒度上的相似度权重其中，n为待检索图像q所有局部区域上的视觉单词总数，wft，d为视觉单词t在相似图像d中的权重，wt，q为视觉单词t在待检索图像q中的权重。优选地，通过WF-IDF权重计算wt，q，公式为wt，q＝wft，q·idf(t)，其中，wft，d为视觉单词t在相似图像d中的权重，idf(t)为视觉单词t的idf值。优选地，视觉单词t在相似图像d中的权重其中，d为相似图像，tft,d为视觉单词t在相似图像d中出现的次数。优选地，视觉单词t的idf值其中，N为训练图像中所有人脸部位的总数，dft为出现视觉单词t的人脸部位个数。优选地，所述待检索图像q和相似图像d在局部区域粒度上的相似度权重其中，P为局部区域的总数，wj(q，d，k)为待检索图像q和相似图像d在局部区域k中是否有相同的视觉单词，如果有，wj(q，d，k)＝1，否则wj(q，d，k)＝0。优选地，0.6≤λ≤0.8。如上所述，本专利技术的基于视觉词袋模型的人脸图像检索方法，具有以下有益效果：1.本专利技术所述检索方法通过采用局部区域划分方法将人脸部位划分成多个局部区域图像，在进行人脸检索时，不仅减少了视觉单词噪点，还提高了检索速度；而且划分的局部区域数量越多，检索速度提升越大。2.本专利技术所述检索方法通过对每个局部区域内的视觉特征描述符向量进行聚类，生成视觉单词词汇表，提高了运行效率。3.本专利技术所述检索方法通过以视觉单词为粒度的特征点相似度和以划分的局部区域为粒度的区域相似度相结合的方式计算得到相似度分数，不仅考虑到特征点粒度的相似度，还考虑了局部区域粒度的相似度，大大提高了检索结果的准确率。附图说明图1显示为本专利技术所述检索方法中索引阶段的流程图。图2显示为本专利技术所述检索方法中检索阶段的流程图。图3显示为对两张人脸图像进行局部区域粒度上的相似度权重计算结果示意图。元件标号说明1.1)～1.3)步骤2.1)～2.4)步骤具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。请参阅图1至图3。需要说明的是，本实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。如图1和图2所示，本实施例提供一种基于视觉词袋模型的人脸图像检索方法，所述检索方法包括：索引本文档来自技高网...

【技术保护点】
一种基于视觉词袋模型的人脸图像检索方法，其特征在于，所述检索方法包括：索引阶段和检索阶段；其中，所述索引阶段包括：1.1)通过特征分类器对训练图像中的任一张图像提取出人脸部位，并从人脸部位中提取出局部区域图像；1.2)根据划分的局部区域，分别计算每个局部区域内的任一张局部区域图像，得到对应的视觉特征描述符向量；1.3)采用聚类算法对每个局部区域内的视觉特征描述符向量进行聚类，得到视觉单词词汇表，然后再根据所述视觉单词词汇表中的视觉单词对视觉特征描述符向量进行归类统计，生成倒排索引表，其中，所述倒排索引表以key‑value键值对的形式表示；所述检索阶段包括：2.1)通过特征分类器提取出待检索图像，并从待检索图像中提取出局部区域图像，然后分别计算每个局部区域图像，得到对应的视觉特征描述符向量；2.2)利用索引阶段生成的视觉单词词汇表对2.1)中所述的视觉特征描述符向量进行归类统计，得到相应的key‑value键值对；2.3)采用分布式并行计算方式将2.2)中得到的key‑value键值对与倒排索引表进行匹配，得到相似图像列表；2.4)通过对相似图像进行相似度分数计算，得到相似图像的相似度排序。...

【技术特征摘要】
1.一种基于视觉词袋模型的人脸图像检索方法，其特征在于，所述检索方法包括：索引阶段和检索阶段；其中，所述索引阶段包括：1.1)通过特征分类器对训练图像中的任一张图像提取出人脸部位，并从人脸部位中提取出局部区域图像；1.2)根据划分的局部区域，分别计算每个局部区域内的任一张局部区域图像，得到对应的视觉特征描述符向量；1.3)采用聚类算法对每个局部区域内的视觉特征描述符向量进行聚类，得到视觉单词词汇表，然后再根据所述视觉单词词汇表中的视觉单词对视觉特征描述符向量进行归类统计，生成倒排索引表，其中，所述倒排索引表以key-value键值对的形式表示；所述检索阶段包括：2.1)通过特征分类器提取出待检索图像，并从待检索图像中提取出局部区域图像，然后分别计算每个局部区域图像，得到对应的视觉特征描述符向量；2.2)利用索引阶段生成的视觉单词词汇表对2.1)中所述的视觉特征描述符向量进行归类统计，得到相应的key-value键值对；2.3)采用分布式并行计算方式将2.2)中得到的key-value键值对与倒排索引表进行匹配，得到相似图像列表；2.4)通过对相似图像进行相似度分数计算，得到相似图像的相似度排序。2.根据权利要求1所述的基于视觉词袋模型的人脸图像检索方法，其特征在于，所述局部区域图像包括额头、左部眼睛区域、右部眼睛区域、鼻子、左嘴角及右嘴角。3.根据权利要求2所述的基于视觉词袋模型的人脸图像检索方法，其特征在于，所述局部区域图像还包括左眉毛、右眉毛、左耳朵、右耳朵、下颌、左脸颊、或右脸颊中的一种或多种。4.根据权利要求1所述的基于视觉词袋模型的人脸图像检索方法，其特征在于，1.2)中还包括采用主成分分析法对所述视觉特征描述符向量进行降维处理，使所述视觉特征描述符向量从128维降到64维。5.根据权利要求1所述的基于视觉词袋模型的人脸图像检索方法，其特征在于，1.3)中key-value键值对包括key和value两部分，其中，所述key包括<局部区域ID_视觉单词ID>；所述value包括视觉单词t的idf值，其中，N为训练图像中所有人脸部位的总数，dft为出现视觉单词t的人脸部位个数；所述va...

【专利技术属性】
技术研发人员：陈晓东，陈新荃，
申请(专利权)人：中国科学院上海高等研究院，
类型：发明
国别省市：上海,31