时基媒体之间的匹配的检测和分类制造技术

一种检测视频内容的部分之间的匹配的系统和方法。匹配模块接收输入视频和表示参考数据库中的参考视频的参考指纹的集合。匹配模块比较参考指纹和输入指纹，以生成来自参考视频集合的候选分段的列表。每个候选分段包括潜在地与输入视频相匹配的参考视频的时间局部化部分。对每个候选分段应用分类器以将分段分类为匹配分段或非匹配分段。然后基于分类为匹配的分段，输出标识来自参考视频集合的参考视频的匹配部分的结果。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及视频处理，更具体地涉及检测匹配的视频内容。
技术介绍
电子视频库可以包含成千上万的视频文件，这使得对这些库的管理成为极具挑战 性的任务。视频托管网站需要用于标识未授权视频的机制。虽然一些文件可以通过文件 名或用户提供的其他信息来标识，但是这些识别信息可能是错误的或不足以正确地标识视 频。使用人工来手动地标识视频内容的备选方法昂贵且耗时。视频共享站点面临的另一个问题在于该站点可能包含相同视频内容的多个拷贝。 这浪费了存储空间，并成为主机的一大开销。第三个问题在于由于文件的数目巨大，很难 按照对用户而言方便的方式来组织视频库。例如，搜索结果可能具有多个相同或非常相似 的视频的拷贝，使得用户难以对结果进行导航。鉴于上述问题，需要一种自动地比较和匹配重叠视频内容的技术。
技术实现思路
一种系统和方法，检测重复的视频内容。匹配模块接收表示输入视频的输入视频 指纹(fingerprint)。匹配模块生成来自参考视频集合的候选分段的列表。每个候选分段 包括参考视频集合中的参考视频的时间局部化部分。对每个候选分段应用分类器，以便将 分段分类为匹配分段或非匹配分段。然后基于被分类为匹配的分段来产生结果，该结果标 识来自参考视频集合的参考视频的匹配部分。在一个实施方式中，通过获得表示参考视频集合中的参考视频的参考指纹以及标 识输入指纹与参考指纹之间的部分匹配来确定候选分段。然后基于标识的部分匹配来确定 初始候选参考视频的集合。分析初始候选参考视频，以确定输入视频的分段与参考视频的 分段之间的时间上连续的匹配。然后基于该时间上连续的匹配来选择候选分段。说明书中描述的特征和优势并非意在穷尽，特别地，根据附图、说明书和权利要 求，多种附加的特征和优势对于本领域技术人员而言将是显然的。而且，应当注意，说明书 中所使用的语言在原则上是为了易读和指示的目的而不是为了界定或限制专利技术主题而选 择的。附图说明图1是用于检测输入视频与参考视频集合之间的匹配的系统的一个实施方式；图2是用于将参考视频与输入视频进行匹配的参考数据库的一个实施方式；图3是用于检测匹配视频内容的过程的一个实施方式；图4是用于生成与输入视频潜在匹配的候选视频分段的列表的过程的一个实施方式；图5是示出了针对输入视频生成的LSH关键词的无重复(duplicate-free)列表的表的一个实施方式；图6示出了用于根据与输入视频的部分匹配来确定参考视频的品质因数(figure of merit)的技术的一个实施方式；图7示出了用于对输入视频指纹进行排列的技术的一个实施方式；图8示出了用于对视频子指纹中的LSH关键词进行排列的技术的一个实施方式；图9示出了用于输入视频子指纹有序集合的LSH查找技术的一个实施方式；图10示出了用于确定匹配的输入视频子指纹与参考视频子指纹之间的映射的一个实施方式；图11是用于将参考视频分段分类为匹配分段或非匹配分段的过程的一个实施方 式；以及图12是用于跨时间将输入视频的时间局部化块与参考视频进行匹配的技术的一 个实施方式。附图仅为了示意的目的绘出了本专利技术的各个实施方式。本领域技术人员根据以下 的描述将很容易认识到，在不脱离此处所描述的本专利技术的原理的情况下，可以采用此处示 出的结构和方法的备选实施方式。具体实施例方式描述了一种系统和方法，用于确定输入媒体文件(例如视频或音频或两者)是否 与媒体文件的参考集合(例如，视频和/或音频片段的数据库)中的参考媒体文件匹配或 部分匹配。匹配检测过程可以检测媒体文件的部分(例如，20秒的片段)之间的匹配，即 使媒体文件不具有相同的开始和结束点，或者在匹配部分之前或之后出现的内容不同。另 夕卜，该过程足够鲁棒以承受由于低质量转码而出现的标准降低，并且对于一定量的时标修 改(例如，较快或较慢地回放视频)是鲁棒的。该过程能够正确地分类“真阳”(数据库中 具有一个或多个匹配媒体文件的情况)或“真阴”(数据库中没有相应的匹配的情况)两 者。通常，该过程可以在紧迫的时间约束下(用以处理上传业务率)和/或使用有限量的 存储器来检测匹配。图1示出了用于检测时基媒体之间的匹配的系统的一个实施方式。需要注意的 是，虽然具体示例是在匹配视频内容的上下文中提供的，但是所描述的系统和方法可以用 于其他类型的媒体内容匹配例如音频、图像等等。摄取(ingest)服务器104从视频源接收 输入视频102。例如，视频源可以是与摄取服务器104通过网络进行通信的客户端计算机。 备选地，视频源可以是可通信地耦合至摄取服务器104的数据库或其他存储设备。例如，视 频源可以是视频存储介质，例如DVD、CD-ROM、数字视频录像机(DVR)、硬盘驱动器、闪存或 其他存储器。摄取服务器104还可以可通信地耦合至视频捕获系统(例如摄像机)以接收 即时视频内容。指纹生成模块106从摄取服务器104接收输入视频102，并生成表示输入视频102 的“指纹”。指纹是表示例如压缩格式的视频文件中的某些或全部视频文件的空间、时间和 /或结构特征的位向量。指纹基于视频的可视内容来标识视频，使得由压缩、解压、噪声、帧 率、开始和结束时间、源分辨率等所导致的细微变化不会显著影响指纹。在一个实施方式中，指纹生成模块106将接收到的视频分为多个重叠的分段，并且针对每个分段生成子指纹。分段的优选长度是0. 5秒到5. 0秒，但是也可以使用其他长度的分段。由此，每个子指纹表示媒体的时间局部化分段(例如，4秒的视频或1.5秒的音 频)。分段的开始时间通常以固定频率相间隔(例如，对于视频每隔0. 25秒，或对于音频每 隔0. 10秒)。例如，针对从0秒到4秒的分段计算第一子指纹，针对从0. 25秒到4. 25秒的 分段计算第二子指纹，针对从0. 50秒到4. 50秒的分段计算第三子指纹，以此类推。每个子 指纹由子指纹标识符代码来参考，该子指纹标识符代码标识该子指纹所表示的视频的特定 分段。例如，子指纹标识符代码可以包括(视频、偏移)对。标识符的“视频”部分唯一地 标识参考视频数据库中的视频(例如，使用32位标识符)。标识符的“偏移”部分通过例如 参考分段开始时间的偏移索引来标识视频的特定分段(或相应的子指纹)。例如，如果分段 的开始间隔0. 25秒，则在0秒开始的分段可以具有偏移索引0，在0. 25秒开始的分段具有 偏移索引1，在0.5秒开始的分段可以具有偏移索引2，以此类推。分段也可以直接通过其 开始时间来标识。子指纹的完整有序序列提供了视频的完全指纹。在一个实施方式中，每个子指纹包括值的向量，每个值取自有限大小的字母表 (例如，256大小的字母表，每个向量维编码为一个字节，但是没有顺序)中的无序值。例如， 每个值可以基于使用熵编码的值的概率分布进行编码。通过将汉明(Hamming)距离度量替 换为适合于从其中取得子指纹的空间的距离度量，来进行对度量空间的扩展。对非均勻采 样的(生成了指纹的)序列的概述对于本领域技术人员而言将是易见的。为了清楚，本说 明书将假设均勻采样，并将假设使用汉明距离的无序字母表以便比较。匹配模块108将输入视频102的指纹与表示参考视频集合的某参考指纹集合进行 比较。参考指纹可以用于所有可用的参考视频或其子集。在某些情况下，指纹本文档来自技高网...

【技术保护点】
一种用于检测重复的视频内容的计算机实现的方法，所述方法包括：接收表示输入视频的输入指纹；生成来自参考视频集合的候选分段的列表，所述候选分段的列表包括所述参考视频集合中的参考视频的时间局部化分段；使用分类器将来自所述候选分段的列表的候选分段分类为匹配候选分段或非匹配候选分段；以及基于对所述候选分段的分类来产生结果，所述结果标识来自所述参考视频集合的参考视频的匹配部分。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M科维尔，J亚格尼克，J法斯特，S巴拉甲，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：US[美国]