用于对视频进行比较的方法和装置制造方法及图纸

本发明专利技术涉及一种用于把查询视频与目标视频进行比较的方法，其包括：把查询视频的帧和目标视频的帧划分成块，并且计算对于每一个块的平均强度值。对于查询视频产生多个查询时间系列，每一个查询时间系列表示对于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化。对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化，所述查询时间系列和目标时间系列被用来确定在查询视频与目标视频之间是否存在对准。

【技术实现步骤摘要】
【国外来华专利技术】用于对视频进行比较的方法和装置
本专利技术涉及一种用于对视频进行比较的方法和装置。
技术介绍
在例如YouTube、GoogleVideo和Yahoo!Video之类的视频寄存网站（videohostingwebsite）中，可以由用户将视频内容上传到网站上，并且可以通过搜索引擎使得视频内容对于其他人可用。人们相信，当前的网络视频搜索引擎基于由用户输入的特定文字查询而提供根据其相关性分数排列的搜索结果列表。用户于是必须考虑所述结果以便找到感兴趣的一个或多个视频。由于对于用户来说很容易把视频上传到寄存网站、获得视频并且在做出一些修改之后再次分发视频，因此在视频搜索结果中潜在地会有大量复制或接近复制的内容。基于其总体内容和主观印象，这样的复制品将被用户视为“实质上相同”。举例来说，复制视频内容可以包括具有完全相同或近似完全相同的内容的视频序列，但是该视频序列具有不同的文件格式、具有不同的编码参数并且/或者具有不同的长度。其他差异可以是光度变化，比如颜色和/或照明改变，以及/或者空间域和/或时间域内的微小编辑操作（比如添加或改动字幕、徽标和/或边框）。这些实例的意图不是穷举性列表，并且在复制视频中还可以出现其他差异类型。复制视频的激增可能使得用户找到他或她实际想要的内容变得困难或者不方便。作为一个实例，基于来自YouTube、GoogleVideo和Yahoo!Video的采样查询，发现在搜索结果中平均会列出超过27%的接近复制视频，其中受欢迎的视频是在结果中被复制最多的那些视频。由于搜索结果中的复制视频的高百分比，用户必须花费大量时间对其进行筛选以找到其需要的视频，并且必须反复观看其已经看过的视频的相似拷贝。复制结果会降低用户在视频搜索、获取和浏览方面的体验。此外，由于会在网络上存储及传送复制视频数据，因此这样的复制视频内容会增加网络开销。一种视频拷贝检测技术是序列匹配。在序列匹配中，一个具有多帧的时间区间提供用于比较查询视频与目标视频的相似度的基础。这方面通常涉及从查询视频帧和目标视频帧中提取出一个特征序列，其例如可以是基于序数、运动、颜色和形心的特征。随后对所提取出的特征序列进行比较，以便确定视频之间的相似度距离。举例来说，在使用序数签名的情况下，首先把每一个视频帧划分成N1xN2个块，并且计算每一个块的平均强度。随后对于每一帧，根据其平均强度对各个块进行排列。所述排列顺序被视为该帧的序数度量。把对于一个视频的序数度量序列与另一个视频的序数度量序列进行比较，以便评估其相似度。序列匹配使得能够确定复制视频之间的重叠位置的起始处。序列匹配方法适合于识别具有格式修改（比如编码和帧分辨率改变）以及在空间域和时间域内经过微小编辑的几乎完全相同的视频和视频拷贝。具体来说，通过使用空间和时间序数签名允许检测由于视频数字化/编码处理（例如颜色、亮度和直方图均衡化、编码参数的改变）和显示格式转换（例如转换到信箱或邮箱格式）以及部分内容的修改（例如裁边和放大）而引入的视频失真。特别在使用序数度量时，序列匹配技术涉及相对简单的计算并且提供对于一帧的精简表示。序列匹配往往在计算上高效，并且可以实施实时计算以用于处理直播视频。举例来说，对于一帧的2x2划分的序数度量仅仅需要4个维度来表示每一帧，从而在两帧之间所需的比较点更少。但是在帧序列发生改变的情况下，比如插入、删除或替换帧，基于序列匹配的现有技术无法检测复制视频剪辑。帧序列的改变由用户编辑引入，或者由视频寄存网站引入，以便例如在视频中插入广告。由于不可能事先假设用户修改的类型，因此缺乏检测帧序列改变的能力会限制序列匹配技术对于真实生活问题的适用性。用于检测具有帧序列改动（比如插入、删除或替换帧）的复制视频的现有解决方案是基于关键帧匹配技术。关键帧匹配技术通常把视频分割成用以表示视频的一系列关键帧。每一个关键帧随后被划分成各个区段，并且从显著的局部区段中提取出特征。所述特征例如可以是对应于每一个区段的颜色、纹理、角落或形状特征。关键帧匹配能够检测出经过了很大程度的编辑（比如帧的时间顺序改变或者插入/删除）的近似拷贝。但是由于在关键帧中仅存在太多局部特征，因此识别出关键帧、从每一个关键帧中提取出局部特征并且在其间实施量度距离比较以便把一个视频剪辑与数据库中的大量视频相匹配的做法的计算成本昂贵。近来的研究针对提高关键帧匹配速度的方法，这是通过对特征矢量进行快速索引或者通过使用统计信息来减少特征矢量的维度。但是对于在线分析来说，把视频分割成关键帧的成本以及从查询视频中提取出局部特征的成本仍然都不可避免。在Web2.0视频寄存环境中提供在线实时视频复制检测成为一项严峻挑战。关键帧匹配方法更加适合于离线视频冗余检测，其中进行细粒度分析以对数据库视频进行聚集和分类。
技术实现思路
根据本专利技术的第一方面，一种用于把查询视频与目标视频进行比较的方法包括：把查询视频的帧和目标视频的帧划分成块，并且计算对于每一个块的平均强度值。对于查询视频产生多个查询时间系列，每一个查询时间系列表示对应于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化。对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化。查询时间系列和目标时间系列被用来确定在查询视频与目标视频之间是否存在对准。通过使用本专利技术，可以产生能够比较其相似度的时间系列。复制视频在其对应的时间系列中表现出相似度，这可以被用来识别出它们是有关联的。根据本专利技术的一种方法通过减小两个视频之间的比较空间而给出了高效的视频复制检测。一个实施例包括把查询时间系列和目标时间系列分割成对应的离散线性分段集合，并且对这些线性分段施行局部序列对准。线性分割允许把平均视频强度压缩成线性上升/下降（incline/decline）的离散列表，其随后可以被比较对准。在复制视频中，重叠的视频区段通常不会跨越视频序列的整个长度，并且可以隔离出相似的区段。因此需要线性分段的局部对准。在生物信息学中，Smith-Waterman算法是用于确定两个核苷酸或蛋白质序列之间的相似区段的众所周知的算法。Smith-Waterman算法对所有可能长度的串分段进行比较，并且优化相似度度量。本专利技术的专利技术人认识到，可以扩展Smith-Waterman算法以便对视频强度分段施行局部对准。取代对串进行比较，对强度线性分段进行比较以便找到视频之间的局部最优对准。Smith-Waterman算法是用以提供优化搜索的动态编程算法。其对时间和存储器资源的要求相当高：计算复杂度是O(MN)，存储是O(min(M,N))，其中M和N是所比较的序列的长度。为了加速搜索过程，取代对准所有强度分段，在一个实施例中，将一个主要上升/下降序列选择为所比较的视频的关键签名的表示。在施行更加耗时的Smith-Waterman算法之前，应用试探法来提供这些主要上升/主要下降的快速对准，这是通过去除不太可能得到成功对准的对准而实现的。这样就降低了计算成本。通过滤除非常不同的视频并且通过收窄对于相似视频的潜在匹配区段，所述试探法加速了匹配算法的执行。在应用视频复制检测技术之前不可能事先知道用户修改的类型的情况下，根据本专利技术的一个实施例可能是有利的，从而允本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.01.07 US 12/986,728;2011.01.24 US 13/012,5161.一种用于把查询视频与目标视频进行比较的方法，其包括：把查询视频的帧和目标视频的帧划分成块；计算对于所述块的平均强度值；对于查询视频产生多个查询时间系列，所述查询时间系列表示对于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化；对于目标视频产生多个目标时间系列，所述目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化；利用查询时间系列和目标时间系列来确定在查询视频与目标视频之间是否存在对准；把查询时间系列和目标时间系列分割成对应的离散线性分段集合；以及对那些线性分段施行局部序列对准。2.如权利要求1所述的方法，其包括：从已分割时间系列中选择主要上升和主要下降，并且使用主要上升和主要下降来施行对准。3.如权利要求2所述的方法，其中，所选择的主要上升和主要下降排除跳跃上升和跳跃下降。4.如权利要求1所述的方法，其中，把查询视频的主要上升和下降与目标视频的主要上升和主要下降进行比较，以便获得具有连续匹配的上升和下降的近似对准。5.如权利要求4所述的方法，其包括：把主要上升/主要下降的查询视频序列与主要上升/主要下降的目标视频序列相匹配。6.如权利要求5所述的方法，其中，通过以下步骤来实施所述匹配：利用相对于主要上升/主要下降的目标视频序列绘制主要上升/主要下降的查询视频序列来创建具有单元的矩阵；以及当存在匹配时，在所述矩阵的适当单元中添加标记。7.如权利要求6所述的方法，其中，在对准主要上升/主要下降之后，把所述主要上升/主要下降扩展到邻近的非主要上升/非主要下降。8.如权利要求7所述的方法，其包括：识别出具有标记的连续单元的对角线，并且保留其长度大于给定阈值的那些对角线以进行附加的对准处理。9.如权利要求8所述的方法，其包括：选择K条最长的对角线，并且尝试把包括在所述K条最长的对角线中的位置接近的分段联合起来从而形成更长的分段。10.如权利要求9所述的方法，其包括：为匹配的对角线授予奖励分数并且为更长线中的间隙授予惩罚分数，当已链接的近似对准的组合分数超出给定分数阈值时，检查是否能够把已链接的分段周围的先前忽略的初始的短对准分段联合起来从而形成近似对准，并且选择具有超出最终分数阈值的最终分数的局部近似对准以供进一步检查。11.如权利要求2所述的方法，其包括：获得分段的近似对准以便选择可能的成功对准集合，并且随后对所选集合应用Smith-Waterman算法。12.如权利要求11所述的方法，其包括：对于未被包括在所选集合中的近似对准分段施行帧层级的对准。13.如权利要求1所述的方法，其包括：当确定查询视频不是目标视频的复制品时，把查询视频存储在保存目标视频的视...

【专利技术属性】
技术研发人员：Y·任，F·常，T·L·伍德，
申请(专利权)人：阿尔卡特朗讯公司，
类型：
国别省市：