用于比较视频的方法和设备技术

一种用于比较视频的方法，该方法包括：检测视频的帧中的局部特征，以及确定检测到的局部特征相较于它们在随后的第二帧中各自的位置而言在第一帧中的位置。为所述检测到的局部特征中的至少一部分生成移动指示符，以获得多个移动指示符，移动指示符代表局部特征相对于其在第二帧中的位置而言在第一帧中的位置，移动指示符包括方向。移动指示符根据方向范围被分组。对方向范围内的多个分组的移动指示符求和，以获得该方向范围的值。通过为多对帧确定检测到的局部特征相对于它们在随后的第二帧中各自的位置而言在第一帧中的位置，获得至少一个给定方向范围的时间序列值。对于至少一个方向范围，将第一视频的第一时间序列值同第二视频的第二时间序列值进行比较，以确定所述第一视频和第二视频的相似性。

【技术实现步骤摘要】
【国外来华专利技术】用于比较视频的方法和设备
本专利技术涉及用于比较视频的方法和设备。
技术介绍
在诸如YouTube、谷歌视频和雅虎视频这样的视频托管网站中，视频内容可由用户上传至网站，并通过搜索引擎由他人获得。统计显示，例如，在最受欢迎的视频分享网站之一的YouTune上，目前每天上传20亿个视频，合计每分钟上传24个小时的视频。社交网络站点的日渐流行使得用户能够更加容易获得视频，对它们进行编辑（例如，添加标识或注释），并将修改后的视频上传至相同的视频分享网站或其它网站。这可能导致在相同的网站上分享一个视频的多个相似或相同的拷贝，不方便用户寻找他或她真正想要的内容，并增加了存储和提供视频所需的资源。基于视频的整体内容和主观印象，视频可能被用户认为是“基本上相同的”，或者是复制品。例如，重复的视频内容可以包括具有相同或者几乎相同内容的视频序列，但是这些视频序列的文件格式不同，具有不同的编码参数，并且/或者长度不同。其它的不同可以是光度差异，如颜色和/或灯光变化，和/或在空间和/或时间域中所作的细微编辑操作，例如对字幕，标识和/或边框所作的增加或修改，和/或对帧进行的尺寸调整和裁剪。这些例子不应被理解为详尽的列举，还可以产生其它类型的不同。因此，视频拷贝能够包含对原始视频的各种失真，修改和格式转换，并且仍然被认为是原始视频的复制品。重复视频的扩散使得用户很难，或者说不方便找到他或她真正想要的内容。举例而言，基于来自YouTube、谷歌视频和雅虎视频的样本查询，发现平均而言在搜索结果中列有超过27%的相似视频，在这些搜索结果中，流行的视频被复制最多。考虑到搜索结果中包括高百分比的重复视频，用户必须花费大量时间对其进行筛选以找到他们所需要的视频，并且必须重复观看那些已经观看过的相似视频拷贝。重复的结果使得用户的视频搜索、获取和浏览体验大打折扣。此外，因为要在网络上存储和传输重复的视频数据，这些重复的视频内容增加了网络开销。通过在视频数据库中搜索查询视频的（精确的或近似的）拷贝，基于内容的拷贝检测（CBCD）技术使基于视频内容的检索变得容易。CBCD技术的应用给用户、内容制作人或拥有人以及网络运营商带来诸多好处。例如，通过检测重复视频，视频分享网站可以减少所存储的冗余视频拷贝的数量；如果不再需要浏览相似的结果，则用户可以得到更好的视频搜索体验；版权所有人可以更容易发现对他们的视频片段的重新使用；并且内容分发网络可以引导用户访问附近的视频拷贝，该拷贝的存在可能是未知的。视频拷贝检测的问题是检测给定的视频中是否包含与目标视频中的序列在感知上相似的序列。具体而言，假定查询视频Q和目标视频T都是一系列的视频帧，视频Q包含一系列的帧Qs，目标视频T包含一系列的帧Ts，如果Qs和Ts之间的差异性低于噪声阈值，则该系列的帧Qs是该系列的帧Ts的拷贝或者接近拷贝。这两个视频的长度不受限制。查询视频Q可以长于或短于目标视频T。已经提出了基于对不同的视频特征进行识别，并对这些视频特征应用匹配方案，从而寻找视频拷贝的各种CBCD技术。由于视频分享网站常常包含大型数据库，从这样大型的视频数据库中找到视频的相似或相同的拷贝，并向互联网用户提供实时响应，这是一个巨大挑战。视频拷贝检测可以分为两个步骤：生成视频特征描述符和对描述符进行匹配。视频特征可以由全局描述符和局部（local）描述符来表示。全局描述符（包括依次的度量）是从帧的整个区域获得的。局部描述符，例如Harris描述符或尺度不变量特征变换（SIFT），可以通过将每个帧分割成多个区域并从突出的局部区域提取特征来获得。Harris描述符还被更具体地称为“Harris角落检测器”，其基于图像梯度的特征值来检测图像中的角。举例来说，局部特征可以包括来自每个区域的颜色、纹理、角、和/或形状特征，或者其它特征，这些并非详尽列举。一般而言，全局特征描述符可以被有效地计算并压缩存储，但是相对于局部变化来说鲁棒性较低。局部特征描述符的鲁棒性更好，但是计算起来更昂贵并且需要更多的存储空间。
技术实现思路
根据本专利技术的第一个方面，一种用于比较视频的方法，该方法包括：对视频的帧中的局部特征进行检测，以及确定检测到的局部特征相较于它们在随后的第二帧中的各自的位置而言在第一帧中的位置。为检测到的局部特征中的至少一部分生成移动指示符，以获得多个移动指示符，移动指示符代表相对于局部特征在第二帧中的位置来说该局部特征在第一帧中的位置，移动指示符包括方向。移动指示符根据方向范围被分组。对方向范围内的多个分组的移动指示符求和，以获得该方向范围的值。通过为多对帧确定检测到的局部特征相较于它们在随后的第二帧中的各自的位置而言在第一帧中的位置，获得至少一个给定方向范围的时间序列值。对于至少一个方向范围，将第一视频的第一时间序列值同第二视频的第二时间序列值进行比较，以确定第一视频和第二视频的相似性。因此，根据本专利技术，一个实施方式可以提供鲁棒性和区别性，这是因为该方法在检测重复视频的过程中使用局部特征。此外，因为其计算效率高，其能够提供相对快速的处理，并且，相对于先前已知的基于局部特征描述符的方法，所需存储空间更少。可以对整个第一和第二视频进行处理并检查以进行匹配，但是在某些实施方式中，仅仅使用视频的片段来检测它们之间是否存在相似性。在实施方式中，多个不同的特征检测器可供用于检测局部特征。特征检测器的例子包括Harris角点检测器，ORB，SIFT，Sobel，MSER和PCBR，并且它们可以检测边缘、角、斑点、或一些其它方面，或者各个方面的组合。在一些特征检测器中，局部特征称作关键点，该术语也在本说明书中合适的地方使用。已经在测试中证明FAST和ORB能够提供特别好的结果。举例来说，可以通过利用SIFT或BRIEF或其它合适的算法来计算局部特征描述符，并应用描述符匹配在帧中寻找相应的局部特征来生成移动指示符。从相应特征的位置得到运动向量。匹配产生运动向量。因此，举例来说，借助BRIEF，海明（Hamming）距离可以用来匹配BRIEF描述符。一旦找到两个匹配的特征，从由两个特征的相对位置形成的向量计算出方向。在一个实施方式中，移动指示符包括距离参数，并且如果它的距离参数位于给定尺寸范围内，移动指示符被包括在方向范围分组中，如果它的距离参数位于给定尺寸范围外，则移动指示符不被包括在方向范围分组中。例如，如果使用像素来表述移动指示符的距离参数，则可以设定上限和下限阈值，使得只有那些尺寸在3和15个像素之间的移动指示符被包括在分组中，剩余部分被丢弃，不进行进一步处理。仅仅作为例子而言，3到15个像素之间的尺寸被称为可使用的有效范围。但是，不一定使用该范围，该范围不具有限制性。通过为距离参数设定合适的上限和下限阈值，能够降低错误匹配或非典型运动的可能性。也就是说，极长的移动指示符意味着关键点在帧中移动极快，如果视频以正常帧率提取的话，这是不可能的。极短的运动向量可以仅仅是固定点，该固定点不一致地被检测到，因此实际上不移动。在一个实施方式中，距离参数范围可以是固定的，并且可以是关注的视频的任意合适的范围。在另一个实施方式中，距离参数范围可以是变化的，以（举例来说）依靠所获得的结果进行调整来改善流程，或为了关注的不同类型的视频或视频的特征，或其本文档来自技高网...

【技术保护点】
一种用于比较视频的方法，该方法包括：检测视频的帧中的局部特征；确定检测到的局部特征相较于所述局部特征在随后的第二帧中各自的位置而在第一帧中的位置；为所述检测到的局部特征中的至少一部分生成移动指示符，以获得多个移动指示符，所述移动指示符代表局部特征相对于所述局部特征在所述第二帧中的位置而在所述第一帧中的位置，所述移动指示符包括方向；根据方向范围将移动指示符分组；对方向范围内的多个分组的移动指示符求和，以获得该方向范围的值；通过为多对帧确定检测到的局部特征相较于所述局部特征在随后的第二帧中各自的位置而在第一帧中的位置，获得至少一个给定方向范围的时间序列值；以及对于至少一个方向范围，将第一视频的第一时间序列值与第二视频的第二时间序列值进行比较，以确定所述第一视频和第二视频的相似性。

【技术特征摘要】
【国外来华专利技术】2011.08.10 US 13/206,8561.一种用于比较视频的方法，该方法包括：通过将每个帧分割成多个区域并从突出的局部区域提取特征来检测视频的帧中的局部特征；确定检测到的局部特征相较于所述局部特征在随后的第二帧中各自的位置而在第一帧中的位置；为所述检测到的局部特征中的至少一部分生成移动指示符，以获得多个移动指示符，所述移动指示符代表局部特征相对于所述局部特征在所述第二帧中的位置而在所述第一帧中的位置，所述移动指示符包括方向；根据方向范围将移动指示符分组；对至少一个方向范围内的移动指示符求和，以获得相对应的方向范围的移动指示符的整数值；通过为多对帧确定检测到的局部特征相较于所述局部特征在随后的第二帧中各自的位置而在第一帧中的位置，获得至少一个给定方向范围的时间序列值；以及对于至少一个方向范围，将第一视频的第一时间序列值与第二视频的第二时间序列值进行比较，以确定所述第一视频和第二视频的相似性。2.如权利要求1所述的方法，其中所述移动指示符包括距离参数，并且如果所述移动指示符的距离参数位于给定尺寸范围内，则所述移动指示符被包括在方向范围分组中，且如果所述移动指示符的距离参数位于给定尺寸范围外，则所述移动指示符不被包括在方向范围分组中。3.如权利要求1所述的方法，该方法包括：获得第一视频的多个方向范围的多个第一时间序列值；将所述多个第一时间序列值合并，以产生第一时间序列签名；获得第二视频的多个方向范围的多个第二时间序列值；将所述多个第二时间序列值合并，以产生第二时间序列签名；以及比较第一时间序列签名和所述第二时间序列签名，以确定所述第一视频和第二视频的相似性。4.如权利要求1所述的方法，该方法包括：将所述第一时间序列与所述第二时间序列对齐；计算对齐的第一时间序列与第二时间序列之间的最佳相似性距离；以及将所述最佳相似性距离与给定阈值进行比较，以确定所述第一视频和所述第二视频是否是重复视频。5.如权利要求1所述的方法，该方法包括：当确定所述第二视频不是所述第二视频的复制品时，在存储所述第一视频的视频数据库中存储所述第二视频。6.一种被编程或配置为执行方法的设备，所述方法包括以下步骤：通过将每个帧分割成多个区域并从突出的局部区域提取特...

【专利技术属性】
技术研发人员：J·R·张，Y·任，F·常，T·L·伍德，
申请(专利权)人：阿尔卡特朗讯公司，
类型：
国别省市：