用于对视频进行比较的方法和装置制造方法及图纸

一种把查询视频与目标视频进行比较的方法，其中把查询视频的各帧和目标视频的各帧划分成各个块。计算对应于每一个块的平均强度值。从对应于每一个块的平均强度值的时间改变提取出最小值和最大值。从所述最小值和最大值获得上升和下降。所述上升和下降被用于确定在查询视频与目标视频之间是否存在对准。

【技术实现步骤摘要】
【国外来华专利技术】用于对视频进行比较的方法和装置
[0001 ] 本专利技术涉及一种用于对视频进行比较的方法和装置。
技术介绍
在例如YouTube、Google Video和Yahoo !Video之类的视频寄存网站中，可以由用户将视频内容上传到网站上，并且可以通过搜索引擎使得视频内容对于其他人可用。据相信，当前的网络视频搜索引擎基于由用户输入的特定文字查询而提供根据其相关性分数排列的搜索结果列表。用户于是必须考虑所述结果以便找到感兴趣的一个或多个视频。由于对于用户来说很容易把视频上传到寄存网站、获得视频并且在做出一些修改之后再次分发视频，因此在视频搜索结果中潜在地会有大量复制或接近复制的内容。基于其总体内容和主观印象，这样的复制品将被用户视为“实质上相同”。举例来说，复制的视频内容可以包括具有完全相同或近似完全相同的内容但是具有不同的文件格式、具有不同的编码参数并且/或者具有不同的长度的视频序列。其他差异可以是光度变化，比如颜色和/或照明改变，以及/或者空间域和/或时间域内的微小编辑操作，比如添加或改动字幕、徽标和/或边框。这些实例的意图不是穷举性列举，并且在复制视频中还可以出现其他类型的差异。复制视频的激增可能使得用户找到他或她实际想要的内容变得困难或者不方便。作为一个实例，基于来自YouTube、Google Video和Yahoo !Video的采样查询，发现在搜索结果中平均会列出超过27%的接近复制视频，其中受欢迎的视频是在结果中被复制最多的那些视频。由于搜索结果中的复制视频的高百分比，用户必须花费大量时间对其进行筛选以找到其需要的视频，并且 必须反复观看其已经看过的视频的相似拷贝。复制结果会降低用户在视频搜索、获取和浏览方面的体验。此外，由于会在网络上存储及传送复制视频数据，因此这样的复制视频内容会增加网络开销。关于视频拷贝和相似度检测的研究一直以来是基于识别出不同的特征并且对其应用匹配算法。一般来说，视频拷贝检测技术属于两个类别的其中之一:成对关键帧比较方法；以及序列匹配方法。在成对关键帧比较方法中，从视频中提取出关键帧并且实施关键帧之间的成对比较，以便测量视频之间的重叠程度。关键帧匹配方法通常把视频分割成用以表示视频的一系列关键帧。每一个关键帧随后被划分成各个区段，并且从显著的局部区段中提取出特征。所述特征例如可以是对应于每一个区段的颜色、纹理、角落或形状特征。关键帧匹配能够检测出经过了很大程度的编辑的近似拷贝，比如各帧的时间顺序改变或者插入/删除。但是由于在关键帧中存在太多局部特征，因此识别出关键帧、从每一个关键帧中提取出局部特征并且在其间实施量度距离比较以便把一个视频剪辑与数据库中的大量视频相匹配的做法的计算量非常大。近来的研究旨在提高关键帧匹配方法的速度，这是通过对特征矢量进行快速索引或者通过使用统计信息来减少特征矢量的维度。但是对于在线分析来说，把视频分割成关键帧的成本以及从查询视频中提取出局部特征的成本仍然都不可避免。在Web2.0视频寄存环境中提供在线实时视频复制检测成为一项严峻挑战。关键帧匹配方法更加适合于离线视频冗余检测，其中进行细粒度分析以对数据库视频进行聚集和分类。在序列匹配中，一个具有多帧的时间区间提供用于比较查询视频与目标视频的相似度的基础。这方面通常涉及从查询视频帧和目标视频帧中提取出一个特征序列，其例如可以是基于序数、运动、颜色和形心的特征。随后对所提取出的特征序列进行比较，以便确定视频之间的相似度距离。举例来说，在使用序数签名的情况下，首先把每一个视频帧划分成NlxN2个块，并且计算每一个块的平均强度。随后对于每一帧，根据其平均强度对各个块进行排列。所述排列顺序被视为该帧的序数度量。把对应于一个视频的序数度量序列与另一个视频的序数度量序列进行比较，以便评估其相似度。序列匹配允许确定复制视频之间的重叠位置的起始处。序列匹配方法适合于识别具有格式修改(比如编码和帧分辨率改变)以及在空间域和时间域内经过微小编辑的几乎完全相同的视频和视频拷贝。具体来说，通过使用空间和时间序数签名允许检测出由于视频数字化/编码处理(例如颜色、亮度和直方图均衡化、编码参数的改变)和显示格式转换(例如转换到信箱或邮箱格式)以及部分内容的修改(例如裁边和焦距拉近)而引入的视频失真。对照关键帧匹配方法，特别在使用序数度量时，序列匹配方法涉及相对简单的计算并且提供对于一帧的精简表示。序列匹配往往在计算上高效，并且可以实施实时计算以用于处理现场视频。举例来说，对于具有2x2帧划分的序数度量仅仅需要4个维度来表示每一帧，从而在两帧之间所需的比较点更少。但是视频寄存网站中的视频复制品检测需要把一个视频剪辑与大量数据库视频进行比较，并且这通常需要实时地实施。对于视频序数签名的顺序比较是一项耗时的处理。为了说明“顺序扫描”的时间复杂度，考虑把一个较短的查询视频剪辑C “滑动”过一个更长的目标视频序列T，并且在每一点处计算相似度距离。顺序扫描的时间复杂度是Q ((m-n+1) xn)，其中m是T中的数据点的数目，η是C中的数据点的数目。例如考虑将把持续时间为5分钟并且每秒钟有30帧的查询视频与一共由10个视频构成的一个目标视频集合进行比较，其中每一个目标视频的持续时间是10分钟并且每秒钟有30帧。假设使用具有2x2划分的空间序数度量，则顺序扫描需要近似246亿次运算。必须改进视频复制检测处理的速度，以便在Web2.0环境中对于用户查询提供及时的响应。
技术实现思路
根据本专利技术的第一方面，在一种把查询视频与目标视频进行比较的方法中，把查询视频的各帧和目标视频的各帧划分成各个块。计算对应于每一个块的平均强度值。从对应于每一个块的平均强度值的时间改变提取出最小值和最大值。从所述最小值和最大值获得上升(incline)和下降(decline)。所述上升和下降被用于确定在查询视频与目标视频之间是否存在对准。根据本专利技术的一种方法通过减小两个视频之间的比较空间而给出了高效的视频复制检测。在一个实施例中，计算查询视频与目标视频之间的相似度距离。在一个实施例中，只有当发现存在对准时，才实施查询视频与目标视频之间的相似度距离计算。在一个实施例中，计算最佳相似度距离并且将其与给定阈值进行比较，以便确定查询视频和目标视频是否是复制品。特别有用的做法是把涉及视频的相似度的信息保存在视频数据存储库中以用于改进视频搜索结果，但是这种做法对于其他目的可能也是有利的，比如用于组织所获得内容。由于其在搜索、话题跟踪和版权保护方面的潜能，视频复制品和相似度检测是有用的。当把给定视频添加到数据存储库中时，可以应用根据本专利技术的一种方法。但是其也可以被用来管理先前已被添加到数据存储库中的视频内容，以便例如净化关于由该数据存储库保存的视频内容的相似度的信息。在一个实施例中，包括在数据存储库中的任一个视频文件可以被采用作为所述给定视频文件并且充当查询，以便找到数据存储库中的相似视频文件。在一个实施例中，使用时间系列匹配技术来利用特定的重要最大值和最小值压缩视频序列，基于这些极值点获得主要上升/下降，随后通过根据这些主要上升/下降把查询视频与目标视频对准来找到潜在的视频匹配位置。基于潜在的对准位置，可以应用现有的视频复制品检测技术(例如序列匹配方法或本文档来自技高网...

【技术保护点】
一种用于把查询视频与目标视频进行比较的方法，其包括：把查询视频的帧和目标视频的帧划分成块；计算对应于每一个块的平均强度值；从对应于每一个块的平均强度值的时间改变提取出最小值和最大值；从所述最小值和最大值获得上升和下降；以及利用所述上升和下降确定在查询视频与目标视频之间是否存在对准。

【技术特征摘要】
【国外来华专利技术】2011.01.07 US 12/986,7281.一种用于把查询视频与目标视频进行比较的方法，其包括: 把查询视频的帧和目标视频的帧划分成块； 计算对应于每一个块的平均强度值； 从对应于每一个块的平均强度值的时间改变提取出最小值和最大值； 从所述最小值和最大值获得上升和下降；以及 利用所述上升和下降确定在查询视频与目标视频之间是否存在对准。2.如权利要求1所述的方法，其包括:计算查询视频与目标视频之间的相似度距离。3.如权利要求2所述的方法，其中，只有当发现存在对准时，才实施查询视频与目标视频之间的相似度距离计算。4.如权利要求2所述的方法，其包括:计算最佳相似度距离并且将最佳相似度距离与给定阈值进行比较，以便确定查询视频和目标视频是否是复制品。5.如权利要求1所述的方法，其中，所提取出的最小值和最大值是主要最小值和主要最大值，并且排除非主要最小值和非主要最大值。6.如权利要求5所述的方法，其包括:从主要最小值和主要最大值获得主要上升和主要下降，并且利用所述主要上升和下降来确定在查询视频与目标视频之间是否存在对准。7.如权利要求6所述的方法，其包括:根据主要上升和主要下降的梯度对主要上升和主要下降进行排序，并且利用具有较大梯度的那些主要上升和主要下降来确定对准。8.如权利要求2所述的方法，其包括:利用序列匹配来确定相似度距离。9.如权利要求2所述的方法，其包括:利用关键帧成对匹配来确定相似度距离。10.如权利要求1所述的方法，其包括:把查询视频和目标视频分割成一个区间列表并且在每一个区间内选择主要上升/下降，其中基于视频的长度来调整区间大小。11.如权利要求4所述的方法，其包括:当确定查询视频不是目标视频的复制品时，把查询视频存储在保存目标视频的视频数据库中。12.—种被编程或配置成施行包括以下步骤的方法的设备: 把查询视频的帧和目标视频的帧划分成块； 计算对应于每一个块的平均强度值； 从对应于每一个块的平均强度值的时间改变提取出最小值和最...

【专利技术属性】
技术研发人员：Y·任，F·常，T·L·伍德，
申请(专利权)人：阿尔卡特朗讯公司，
类型：
国别省市：