基于多特征的视频索引方法技术

本发明专利技术公开了一种基于多特征的视频索引方法，包括：利用样本图像生成图像的多个特征，包括局部聚合描述符和BOC描述符；根据所述局部聚合描述符和BOC描述符，训练编码本，并构建多特征分层索引；对所构建的多特征分层索引进行查询，获得候选集；根据镜头类型，确定图像的局部聚合描述符和BOC描述符赋予不同的权重，优化候选集排序结果，即可完成视频索引。本发明专利技术的方法通过优化图像特征描述符的生成，利用基于多特征的索引结构，将软分配思想与VLAD相结合，结合多特征，将索引划分为不同的特征索引层，优化了局部聚合描述符的生成，提高了局部聚合描述符的识别率，在保证查询速度的情况下，提高了查询准确率。

【技术实现步骤摘要】
基于多特征的视频索引方法
本专利技术属于图像检索领域，具体涉及一种视频索引方法。
技术介绍
随着互联网与多媒体技术的迅猛发展，网络中充斥着各种各样的多媒体信息。人们对于视频信息检索的需求也变得越来越大。传统的视频检索技术采用基于关键字的检索方式，这种方式主要是根据该视频所在URL、文件名、标签和视频周围的文本等外部信息进行检索或者通过手工视频标注来检索。不可否认，手工标注可以提供快速的视频检索，但是，手工标注耗时费力，且手工标注视频信息难免出现漏洞，掺进了人的主观偏见，于是基于内容的视频检索（CBVR，ContentBasedonVideoRetrieval）应运而生。基于内容的视频检索系统允许用户输入一张图片，以查找包含具有相同或相似内容的图片的视频。基于内容的视频检索系统的核心是使用图像的可视特征对图像进行检索。它的实现依赖于两个关键技术：特征提取与索引结构。选择和提取具有代表性的特征，直接关系到基于内容的视频检索系统的性能。由于要利用低层视觉特征，提取高层语义特征，将之用于检索，实现难度很大，所以现在视频检索主要集中在对低层特征的检索。低层特征根据提取区域不同又可以分为局部特征本文档来自技高网...

【技术保护点】
一种基于多特征的视频索引方法，通过查询图片对视频的关键帧图像进行查询，从而完成对视频的检索，其特征在于，该方法包括：从关键帧图像中选取样本图像，生成图像特征，包括局部聚合描述符和BOC描述符；根据关键帧图像的局部聚合描述符和BOC描述符，训练残差编码本，并构建视频图像的多特征分层索引；利用查询图片对所构建的多特征分层索引进行查询，获得候选集；根据视频图像的局部聚合描述符和BOC描述符的权重，优化候选集排序结果，即可完成视频索引。

【技术特征摘要】
1.一种基于多特征的视频索引方法，通过查询图片对视频的关键帧图像进行查询，从而完成对视频的检索，其特征在于，该方法包括：从关键帧图像中选取样本图像，生成图像特征，包括局部聚合描述符和BOC描述符；根据关键帧图像的局部聚合描述符和BOC描述符，训练残差编码本，并构建视频图像的多特征分层索引；利用查询图片对所构建的多特征分层索引进行查询，获得候选集；根据视频图像的局部聚合描述符和BOC描述符的权重，优化候选集排序结果，即可完成视频索引；其中，所述构建视频图像的多特征分层索引的具体过程如下：首先，对样本图像进行训练，获得残差编码本；其次，根据所述残差编码本，对视频关键帧图像的局部聚合描述符和BOC描述符进行残差量化，分别获得关键帧图像的局部聚合描述符残差编码和BOC描述符残差编码；最后，将所述BOC描述符残差编码和局部聚合描述符残差编码分别作为第一层索引和第二层索引，并根据镜头类型获得各层索引所对应的倒排链表，即可得到多特征分层索引；所述查询的具体步骤如下：首先，查找多特征分层索引中最近的若干条倒排链表；其中所述查找过程具体为：根据查询图像的BOC描述符，在BOC特征索引层找到距离最近的多个倒排链表；根据查询图像的局部聚合描述符，在局部聚合描述符的特征索引层找到距离最近的多个倒排链表；根据查询图片的镜头类型选择相应的倒排链表，即可完成查找；然后，依据镜头类型，将相应的倒排链表中的候选对象取出作为候选集。2.根据权利要求1所述的一种基于多特征的视频索引方法，其特征在于，所述的生成局部聚合描述符的具体过程为：首先，提取样本图像的局部特征向量，并进行聚合，得到多个聚类中心；其次，根据所述局部特征向量到各聚类中心的距离，获得分配权重，将局部特征向量分配到相应的聚类中心；最后，确定所述局部特征向量与其对应的聚类中心的差值，该差值的集合即为所述局部聚合描述符。3.根据权利要求2所述的一种基于多特征的视频索引方法，其特征在于，所述分配权重的公式如下：式中，k是聚类的数目，ci是第i个聚类中心，Sj是n个局部特征向量中的第j个，μi(Sj)是局部特征向量Sj对于第i个聚...

【专利技术属性】
技术研发人员：于俊清，徐涛，周玲，艾列富，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：