一种视频检测系统及方法，根据用户输入的查询视频，快速、准确地检查输入是否复制了视频数据集里某个视频的片段，并在存在复制片段的情况下输出其起止位置。该方法包括特征提取、特征匹配和融合判断三个步骤。首先提取视频帧的ＳＵＲＦ特征，该特征在提取过程中使用积分图的优化方案，提取速度快。不同于传统的直接对各个特征点的特征向量进行匹配的方法，在特征匹配步骤采用双层匹配的方法：首先对每一关键帧中的特征向量使用ｂａｇ－ｏｆ－ｗｏｒｄｓ方法，得到此关键帧的词频直方图，然后对各个关键帧的词频直方图进行索引，用于查找相匹配的关键帧对；最后对于关键帧对中的特征点进行匹配。在融合判断步骤，建立概率图模型进行ＰＳＥ，利用强有力的推理方法对复制片段的存在和位置进行推导，充分利用视频的时间一致性和空间一致性，避免了传统融合方法的弊端。
【技术实现步骤摘要】
本专利技术涉及信息处理领域，特别是涉及多媒体处理系统，更具体而言，涉及判断视 频数据集中是否包含有某个视频片段的复制，并在包含有的情况时确定复制片段的位置。
技术介绍
复制视频是指对源视频进行各种处理之后得到的视频，相关的处理包括视频 格式变换，颜色变换，画面几何变换，插入字幕，帧丢失，画面噪声等等。将视频V视为 一个帧序列化，1彡i彡N}，视频复制检测的形式定义如下给定一个视频集合阶}， 和一个查询视频Q=他，1彡i彡N}，视频复制检测的任务为对于此}中的每个视频 RJ ={Ri ,\<i<Mj)，找出可能存在的1彡u<v彡N和1彡x<y《MJ，满足他，11彡i彡v} 是的一份复制。视频复制检测有两种途径，分别是基于关键字的视频复制检测，以及基于内容的 视频复制检测。基于关键字的视频复制检测是指利用视频的标题、标注等附加的文字信息 判断是否为复制视频的方法，这种方法具有非常大的局限性，现实意义不大。基于内容的视 频复制检测(Content-Based Video Copy Detection)是指利用视频本身的信息判断是否 为复制视频的方法，适应性强，准确度高，为视频的版权保护、视频监控、冗余视频检测等提 供了有效的技术手段。视频复制检测系统需要指定一个视频数据集，这个数据集由多个视频组成；系统 输入为一个查询视频；系统通过比对查询视频的特征和数据集里各个视频的特征，判断前 者是否包含后者某个片段的复制，如果有则确定复制片段的在查询视频和数据集视频中的 位置；系统输出包括判断和复制片段位置。基于内容的视频复制检测系统分为三步特征提取、特征匹配和融合判断。首先， 选取视频中的一些帧作为关键帧，在关键帧图像上提取特征，以这些特征作为视频的描述。 在图像处理中有许多种特征，它们分为两大类全局特征和局部特征。提取全局特征时将 整个图像映射为一个向量，其描述能力不强，降低了视频复制检测的精确度。提取局部特征 时，检测图像中的特征点，然后将每个特征点附近的局部图像映射为一个向量，作为这个点 的特征，所有特征点的向量组成了这幅图像的特征。局部特征描述能力强，能表达丰富的视 频内容信息，并且经过各种处理后的图像和原来图像有相近的局部特征，使得能准确找到 具有复制关系的视频片段，在视频复制检测中有关键作用。第二步将查询视频和数据集里视频的特征进行匹配。具体来说，在使用局部特征 时，对于查询视频的每个特征向量，在数据集里视频的特征向量中找出与其相似的一个或 多个特征向量，得到特征点对。视频数据库的特征数量巨大，比如10个小时的视频数据，如 果每秒钟提取一幅关键帧，每幅关键帧上有100个特征点，则总共有3600000个特征向量。 因此需要使用索引结构来进行匹配，常用的包括哈希表(hash tables), kd_树等。即便使 用了索引结构，匹配这一步仍然占用了整个过程的大部分时间，因此有必要设计新的匹配 方法，提高系统的速度，改进检测效率。4第三步根据匹配结果判断查询视频中是否复制了数据集里某个视频的片段。具体 来说，需要对第二步的匹配结果进行融合得到查询视频和数据集里视频的特征向量集合的 相似程度，然后以相似程度为依据进行判断。常用的融合方法由特征点对估计出变换处理 的参数，将属于同一个变化处理的所有特征点对的相似分数(由特征点对中两个特征向量 的距离计算)相加，取各个处理中相似分数最高者为最终的相似分数，如果超过阈值则视 为含有复制片段。这种融合方法没有充分考虑视频特征向量序列的时间一致性，融合效果 不佳，需要设计更有效的方法，改进系统的性能。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供及系 统，根据本专利技术的视频检测系统根据用户输入的查询视频，快速、准确地检查输入是否复制 了视频数据集里某个视频的片段，并在存在复制片段的情况下输出其起止位置。本专利技术针 对快速、准确的要求，提出一个既考虑运行速度又考虑检测性能的系统。本系统提取视频帧 的加速鲁棒特征(Speeded Up Robust Feature，简称SURF)，这种特征已被证实为既具有良 好的分辨性又具有良好的鲁棒性，而且在提取过程中使用了积分图的优化方案，提取速度 快。不同于传统的直接对各个特征点的特征向量进行匹配的方法，在本系统的特征匹配步 骤，采用了双层匹配的方法首先对每一关键帧中的特征向量使用bag-of-words方法，得 到此关键帧的词频直方图，然后对各个关键帧的词频直方图进行索引，用于查找相匹配的 关键帧对；最后对于关键帧对中的特征点进行匹配。在融合判断步骤，本系统建立了概率 图模型，进行概率化片段估计(Probabilistic Segment Estimate简称PSE)，利用强有力 的推理方 法对复制片段的存在和位置进行推导，充分利用了视频的时间一致性和空间一致 性，避免了传统的融合方法的弊端。该方法的具体步骤如下1.首先提取查询视频和数据集里视频的SURF特征； 2.利用k-means方法对数据集里所有视频的SURF特征进行聚类，得到V = 256个 ■向fi，ilj^ bag—of—words ^^去中的i司· (vocabulary)；3.根据bag-of-words方法，将每个关键帧的所有特征向量投射到基向量上，得到 基向量上的词频直方图；4.对数据集里视频的各个关键帧的词频直方图建立近似最近邻(Approximate Nearest Neighbor,简称ANN)索引，在索引中找到查询视频中每个关键帧词频直方图的相 似者；5.对查询视频中的每个关键帧，将其中的特征向量和相似关键帧中的进行匹配， 得到特征点对；6.对查询视频中的每个关键帧，根据其特征点对估计变换处理的参数；7.利用估计到的参数序列，根据概率图模型，推导复制片段是否存在以及其位置。虽然在下文中将结合一些示例性实施及使用方法来描述本专利技术，但本领域技术人 员应当理解，为并不旨在将本专利技术限制于这些实施例。反之，旨在覆盖包含在所附的权利要 求书所定义的本专利技术的精神与范围内的所有替代品、修正及等效物。本专利技术的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可 以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书，权利要 求书，以及附图中所特别指出的结构来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中图1示出了根据本专利技术的概率图模型；图2示出了根据本专利技术的视频检测系统的基本流程架构；以及图3是根据本专利技术的视频检测系统流程架构。具体实施例方式下面结合附图对本专利技术的具体实施方式作进一步的详细描述。需要注意的是，根 据本专利技术的视频复制检测系统及方法的实施方式仅仅作为例子，但本专利技术不限于该具体实 施方式。所述方法是在视频检测系统中依次按以下步骤实现的步骤(1).提取查询视频Q和数据集里视频R的SURF特征。对于查询视频，每Pq 帧选取一关键帧；对于数据集里视频，每Pd帧选取一帧为关键帧。在关键帧上提取SURF点 即特征点处的特征向量。所谓SURF (Speeded Up Robust本文档来自技高网...
【技术保护点】
一种基于内容的视频复制检测方法，根据用户输入的查询视频，检查输入是否复制了视频数据集里某个视频的片段，并在存在复制片段的情况下输出其起止位置，其特征包括：特征提取步骤，选取视频中的一些帧作为关键帧，在关键帧图像上提取特征，以这些特征作为视频的描述；特征匹配步骤，采用关键帧对匹配和特征点匹配的双层匹配，将查询视频和数据集里视频的特征进行匹配；融合判断步骤，对上述特征匹配步骤的匹配结果进行融合，对复制片段的存在和位置进行推导，从而根据匹配结果判断查询视频中是否复制了数据集里某个视频的片段。
【技术特征摘要】
【专利技术属性】
技术研发人员：梁颖宇，张钹，李建民，孙富春，贾银高，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。