基于多特征的视频索引方法技术

本发明专利技术公开了一种基于多特征的视频索引方法，包括：利用样本图像生成图像的多个特征，包括局部聚合描述符和BOC描述符；根据所述局部聚合描述符和BOC描述符，训练编码本，并构建多特征分层索引；对所构建的多特征分层索引进行查询，获得候选集；根据镜头类型，确定图像的局部聚合描述符和BOC描述符赋予不同的权重，优化候选集排序结果，即可完成视频索引。本发明专利技术的方法通过优化图像特征描述符的生成，利用基于多特征的索引结构，将软分配思想与VLAD相结合，结合多特征，将索引划分为不同的特征索引层，优化了局部聚合描述符的生成，提高了局部聚合描述符的识别率，在保证查询速度的情况下，提高了查询准确率。

【技术实现步骤摘要】
基于多特征的视频索引方法
本专利技术属于图像检索领域，具体涉及一种视频索引方法。
技术介绍
随着互联网与多媒体技术的迅猛发展，网络中充斥着各种各样的多媒体信息。人们对于视频信息检索的需求也变得越来越大。传统的视频检索技术采用基于关键字的检索方式，这种方式主要是根据该视频所在URL、文件名、标签和视频周围的文本等外部信息进行检索或者通过手工视频标注来检索。不可否认，手工标注可以提供快速的视频检索，但是，手工标注耗时费力，且手工标注视频信息难免出现漏洞，掺进了人的主观偏见，于是基于内容的视频检索（CBVR，ContentBasedonVideoRetrieval）应运而生。基于内容的视频检索系统允许用户输入一张图片，以查找包含具有相同或相似内容的图片的视频。基于内容的视频检索系统的核心是使用图像的可视特征对图像进行检索。它的实现依赖于两个关键技术：特征提取与索引结构。选择和提取具有代表性的特征，直接关系到基于内容的视频检索系统的性能。由于要利用低层视觉特征，提取高层语义特征，将之用于检索，实现难度很大，所以现在视频检索主要集中在对低层特征的检索。低层特征根据提取区域不同又可以分为局部特征和全局特征。由于局部特征数目过多，内存占用太大，所以现在一般采用全局特征。常用的全局描述符有BOF（Bag-of-Features）、GIST、VLAD（VectorsofLocallyAggregatedDescriptors）等。BOC描述符是由法国自动化研究所在2011年提出一种采用学习方式生成的颜色描述符，BOF是最先使用的聚合描述符，它能提供较高的查询准确率，为基于内容的图像检索开辟了一个新的方向，同时带来了一系列有待解决的新问题，如何聚合一副图像中大量的高维局部特征向量以获得一个最佳的图像聚合向量。由于BOF只统计了局部特征对应的视觉单词的词频信息，因此BOF描述符的辨别能力受到了限制。为了进一步提高BOF的准确率，Jegou提出了VLAD，VLAD描述符是先从图像中提取SIFT描述符，然后聚类，将各个聚类的结果拼接起来形成最终的全局描述符。VLAD描述符对于遮挡、旋转具有较强的稳定性。索引结构用于对海量高维图像特征数据进行有效的组织和管理，是加快图像检索速度和提高检索准确度的关键因素。近几十年来，研究人员在索引结构方面进行了大量的研究，提出了多种树型索引结构，并在维度较低的特征空间获得较好的检索效果，但是传统的数型索引结构在处理高维数据时会面临“维度灾难”。于是，Indyk等人提出了基于位置敏感哈希的索引结构。这类索引结构在一定程度上缓解了“维度灾难”，但是由于其占用内存空间过大，因此无法满足海量图片的检索需求。为了减少索引结构占用内存空间的大小，基于词袋模型的图像索引结构应运而生。在基于词袋模型的索引结构中，Chen提出的基于残差量化的倒排索引结构能够提供较高的检索性能。残差量化倒排索引结构将特征向量进行分层量化，逐步求精，减小误差，提高了查询的准确率。虽然基于内容的视频索引领域取得了很大的进步，但是还有许多问题需要克服。从VLAD的生成过程可以看出，局部特征向量到训练好的聚类中的分配采用的是硬分配策略，即每个局部特征向量只能量化到与其最近的一个聚类中，但是实际情况下，即使两个描述符之间的距离非常的近，也有可能被分配到完全不同的聚类中。而且描述符VLAD它只利用了图像的灰度信息，忽略了图像的颜色信息索引结构方面，不能充分的表达图像的内容。多特征有利于提高图像检索准确度，但是残差量化倒排索引结构只是针对单一特征，无法适应基于多特征的图像检索。
技术实现思路
本专利技术的目的在于提供一种基于多特征的视频索引方法，其目的在于通过优化图像特征描述符的生成，利用基于多特征的索引结构，从而解决提高视频检索系统的性能的问题。实现本专利技术目的所采用的具体技术方案如下：一种基于多特征的视频索引方法，利用查询图片对视频的关键帧图像进行查询，从而完成视频的检索，其特征在于，该方法包括：从关键帧图像中选取样本图像，生成多个图像特征，包括局部聚合描述符和BOC描述符；根据关键帧图像的局部聚合描述符和BOC描述符，训练残差编码本，并构建视频图像的多特征分层索引；利用查询图片对所构建的多特征分层索引进行查询，获得候选集；根据镜头类型，确定视频图像的局部聚合描述符和BOC描述符赋予不同的权重，优化候选集排序结果，即可完成视频索引。本专利技术采用软分配思想改进局部聚合描述符的生成过程，将其与BOC（bagofcolor）描述符、镜头类型共同作为图像特征构建多特征分层索引，最后用于多特征分层索引查询和重排序。具体步骤如下：（1）生成描述符SA-VLAD（SoftAssignment-VectorsofLocallyAggregatedDescriptors）通过训练样本集合，获得包含k个聚类的编码本；然后，根据局部特征向量与k个聚类中心的远近，选取最近的t个聚类中心；最后，根据到t个聚类中心的距离计算隶属度，分配局部特征向量，拼接各个聚类即可获得SA-VLAD向量。（2）多特征分层索引构建首先，对训练样本集进行训练，获得残差量化编码本；其次，根据残差编码本，对关键帧的SA-VLAD描述符和BOC描述符进行残差量化，获得残差编码；最后，将关键帧特征插入索引中，即根据SA-VLAD、BOC描述符的残差编码和镜头类型，计算部分距离并将其与编码放入相应的倒排链表中去。（3）多特征分层索引查询首先，根据两种描述符的残差编码本，生成距离查找表，用于加速精确距离计算；其次，通过查询图片的BOC描述符和SA-VLAD描述符查找距离最近的w条倒排链表；最后依据镜头类型，将倒排链表中的候选对象取出作为候选集。（4）候选集重排序候选集排序过程中，通过镜头类型选取不同的权重配比，采用SA-VLAD和BOC特征的相似度加权和计算最终的图像相似度，并根据图像相似度返回检索结果。在远镜头中，BOC描述符权重较高；在非远镜头中，SA-VLAD描述符权重较高。本专利技术在分析视频的特点的基础上，优化了局部聚合描述符的生成，设计了结合非对称距离计算、残差量化编码和倒排索引的索引方法——多特征分层索引，以及基于多特征的候选集查询和排序算法，提高了视频检索系统的性能。具体而言，本专利技术具有以下优点：（1）提高描述符的识别率，本专利技术将软分配思想与VLAD相结合，优化了局部聚合描述符的生成，提高了局部聚合描述符的识别率。（2）优化查询结果准确率，本专利技术结合多特征，将索引划分为不同的特征索引层，在保证查询速度的情况下，提高了查询准确率。附图说明图1为本专利技术实施例的SA-VLAD生成流程图。图2为本专利技术实施例的多特征分层索引逻辑结构图。图3为本专利技术实施例的残差量化器训练过程示意图。图4为本专利技术实施例的多特征分层索引构建过程索引。图5为本专利技术实施例的残差量化编码过程示意图。图6为本专利技术实施例的多特征分层检索过程流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例中的视频优选为足球视频，采用sift特征作为图像的局部特征。本专利技术实施例主要分为三个部分：训练本文档来自技高网...

【技术保护点】
一种基于多特征的视频索引方法，通过查询图片对视频的关键帧图像进行查询，从而完成对视频的检索，其特征在于，该方法包括：从关键帧图像中选取样本图像，生成图像特征，包括局部聚合描述符和BOC描述符；根据关键帧图像的局部聚合描述符和BOC描述符，训练残差编码本，并构建视频图像的多特征分层索引；利用查询图片对所构建的多特征分层索引进行查询，获得候选集；根据视频图像的局部聚合描述符和BOC描述符的权重，优化候选集排序结果，即可完成视频索引。

【技术特征摘要】
1.一种基于多特征的视频索引方法，通过查询图片对视频的关键帧图像进行查询，从而完成对视频的检索，其特征在于，该方法包括：从关键帧图像中选取样本图像，生成图像特征，包括局部聚合描述符和BOC描述符；根据关键帧图像的局部聚合描述符和BOC描述符，训练残差编码本，并构建视频图像的多特征分层索引；利用查询图片对所构建的多特征分层索引进行查询，获得候选集；根据视频图像的局部聚合描述符和BOC描述符的权重，优化候选集排序结果，即可完成视频索引；其中，所述构建视频图像的多特征分层索引的具体过程如下：首先，对样本图像进行训练，获得残差编码本；其次，根据所述残差编码本，对视频关键帧图像的局部聚合描述符和BOC描述符进行残差量化，分别获得关键帧图像的局部聚合描述符残差编码和BOC描述符残差编码；最后，将所述BOC描述符残差编码和局部聚合描述符残差编码分别作为第一层索引和第二层索引，并根据镜头类型获得各层索引所对应的倒排链表，即可得到多特征分层索引；所述查询的具体步骤如下：首先，查找多特征分层索引中最近的若干条倒排链表；其中所述查找过程具体为：根据查询图像的BOC描述符，在BOC特征索引层找到距离最近的多个倒排链表；根据查询图像的局部聚合描述符，在局部聚合描述符的特征索引层找到距离最近的多个倒排链表；根据查询图片的镜头类型选择相应的倒排链表，即可完成查找；然后，依据镜头类型，将相应的倒排链表中的候选对象取出作为候选集。2.根据权利要求1所述的一种基于多特征的视频索引方法，其特征在于，所述的生成局部聚合描述符的具体过程为：首先，提取样本图像的局部特征向量，并进行聚合，得到多个聚类中心；其次，根据所述局部特征向量到各聚类中心的距离，获得分配权重，将局部特征向量分配到相应的聚类中心；最后，确定所述局部特征向量与其对应的聚类中心的差值，该差值的集合即为所述局部聚合描述符。3.根据权利要求2所述的一种基于多特征的视频索引方法，其特征在于，所述分配权重的公式如下：式中，k是聚类的数目，ci是第i个聚类中心，Sj是n个局部特征向量中的第j个，μi(Sj)是局部特征向量Sj对于第i个聚...

【专利技术属性】
技术研发人员：于俊清，徐涛，周玲，艾列富，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：