基于时间片段的提取和视频指纹的健壮性匹配制造技术

一种针对基于时间、事件的视频指纹法的计算机实现的方法、装置、和计算机程序产品代码。在一个实施例中，检测视频内容中的事件。所述视频内容包括多个视频帧。事件代表视频内容中的离散兴趣点。使用所述事件生成基于时间、事件的片段的集合。每个基于时间、事件的片段是覆盖事件集合的视频内容的片段。使用与每个基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从每个基于时间、事件的片段导出时间序列信号。根据每个基于时间、事件的片段的时间序列信号提取基于时间片段的指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。

【技术实现步骤摘要】
【国外来华专利技术】
概括地说，本专利技术涉及数据处理系统，具体地，涉及用于处理视频的方法和装置。 更具体地，本专利技术涉及这样一种计算机实现的方法、装置、和计算机可用程序代码，用于为 了近似复制品视频的识别和视频盗版的检测而进行基于片段的时间视频指纹的提取和健 壮性匹配。
技术介绍
随着在线数字内容的增加，越来越多的人们持续访问在线媒体，因此识别拥有版 权的内容的需求不断增加。例如，拥有版权的音频和视频内容的所有者关注于识别和去除 在社会网络和内容共享站点上其拥有版权的内容的未授权副本。社会网络和内容共享站点 允许用户张贴例如音乐、照片、和视频的内容，用于网站的其他用户浏览。社会网络和内容共享站点包括但不限于YouTube 、Facebook 、和MySpace 。这些社会网络和内容共享站点的用户频繁地利用盗版的电影、图像、和/或电视(τν)节目。拥有版权的音频和视频内容的所有者关注于识别他们内容的授权的出现，以确保 针对拥有版权的内容的每次出现都适当地补偿版权的所有者。例如，所有者可希望确保针 对每次在无线电设备上播放特定歌曲时适当地支付报酬。另一方面，广告主关注于监视他们的广告在例如电视、无线电设备、和/或因特网 上的出现，以确保广告内容被广播适当次数。这些应用通常共享以下需求用以从未知媒 体、在线视频、无线电、和/或电视中识别已知拥有版权的数字媒体(例如音频和/或视频) 的副本或近似复制品。用于识别和保护拥有版权的内容的目前可用方案包括水印法(watermarking)和 指纹法(fingerprinting)。水印法将可见的或不见的水印插入视频内容，由此识别内容的 合法拥有者。水印法技术被设计为，使得水印被自动地传送至视频的任意精确副本以及传 送至基于原始内容的水印部分创建的任意衍生内容。任意这样的副本或衍生作品(无论授 权的或未授权的)可通过扫描嵌入在复制的或衍生视频内容中的水印的存在来识别。然而，即使将水印设计为在不破坏视频内容自身的情况下难以去除，但是水印可 能被挫败和去除。如果成功去除了水印，则视频内容变为永久解除锁定，并且经由水印将不 再能够监视和/或检测未授权的复制品或衍生物。由于水印的问题，另一方案(称为基于内容的指纹法和内容匹配法)近来获得了 发展，因为基于内容的指纹法不依赖于在视频内容中任何水印的存在。通过这个方案，内容 的整个部分被看作“伪水印”，并且被概括成表征内容的唯一音频_视觉方面的一个或多个 唯一指纹。为了识别内容的两个部分是否为彼此的副本或衍生物，将内容的两个部分的基 于内容的指纹相比较。如果基于内容的指纹足够相似，则说明内容的两个部分是副本、近似 复制品、或衍生物。基于内容的视频指纹法包括基于音频的指纹方法，这唯一地表征视频中的音轨或 语音。基于内容的指纹法还基于从视频中对关键帧的提取，以及使用他们的视觉特征来创建基于视觉关键帧的指纹。然后，使用这些基于帧的指纹的集来描述每个视频。实质上，基 于帧的视频特征可以是全局的或局部的。换句话说，可以从整个帧或从帧的一个或多个区 域来提取基于帧的视频特征。基于内容的指纹法通常需要对于许多共同编辑操作和图像/视频处理转换不变 的相似指纹。共同编辑操作包括但不限于，剪切、接合、和/或重新排序。图像/视频处理 转换包括但不限于，剪辑、缩放、纵横比改变、视频重新捕获或重新压缩、全局照明改变、色 彩空间转变、褪色、数据损坏和加入噪音。对于在视频副本中观察到的虚假视频转换的情况，目前可用的基于内容的指纹法 方案具有不同程度的成功，除了健壮的基于帧的指纹法技术之外，主要是由于指纹的成功 匹配需要复杂的帧排列的事实。基于帧的指纹法技术对于大多数转换不变。在存在帧排列问题和丢失或不正确取样的帧时，基于内容的指纹法变得不精确和 不可靠。充分改变帧的视频出现的任意图像处理转换也可能挫败基于帧的匹配方案。换句 话说，目前的基于内容的指纹法典型地不能够检测视频取样经过了编辑操作的副本和衍生 视频内容。
技术实现思路
所示实施例提供了一种针对基于时间、事件的视频指纹法的计算机实现的方法、 装置、和计算机程序产品代码。在一个实施例中，检测视频内容中的事件。所述视频内容包 括多个视频帧。事件代表视频内容中的离散兴趣点。使用所述事件生成基于时间、事件的 片段的集合。每个基于时间、事件的片段是覆盖事件集合的视频内容的片段。使用与每个 基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从每个基于时间、事件 的片段导出时间序列信号。根据每个基于时间、事件的片段的时间序列信号提取基于时间 片段的指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。附图说明在所附权利要求中阐述了本专利技术的认为是新颖性特征的特性。然而，当结合附图 阅读时，通过参照示例性实施例的以下具体实施方式，本专利技术自身及其具体实施方式将被 最佳地理解，其中图1是可实现示例性实施例的数据处理系统的网络的图形表示；图2是根据本专利技术示例性实施例的数据处理系统的视图；图3是示出根据示例性实施例的针对测试视频生成基于片段的时间指纹以及与 指纹的参考数据库相匹配的框图；图4是示出根据示例性实施例的针对拥有版权的内容生成基于时间片段的指纹 的参考数据库的框图；图5是示出根据示例性实施例的基于片段的时间指纹生成器的框图；图6是示出根据示例性实施例的指纹提取处理的视图；图7是根据示例性实施例的指纹匹配引擎的框图；图8是示出根据示例性实施例的匹配处理的框图；图9是示出根据示例性实施例的提取基于片段的时间指纹的处理的流程图；以及图10是示出根据示例性实施例的使用基于时间片段的指纹确定测试片段是否匹 配于参考视频的处理的流程图。具体实施例方式现在参照附图，具体地参照图1-2，提供了可实现本专利技术实施例的数据处理环境的 示例性示图。可以理解，图1-2仅是示例性的，并没有确定或暗示对于可实现本专利技术各个方 面和实施例的环境的限制。在不脱离本专利技术的精神和范围的情况下，可以对于所述的环境 进行许多修改。图1示出在其中可实现示例性实施例的数据处理系统的网络的图形表示。网络数 据处理系统100是在其中可实现示例性实施例的计算机网络。网络数据处理系统100包含 网络102，其是用于在网络数据处理系统100中连接在一起的各个设备和计算机之间提供 通信链路的介质。网络102可包括连接，例如电线、无线通信链路、或光缆。在所示实例中，服务器104和服务器106与存储单元108 —起连接至网络102。此 外，客户端110、112和114连接至网络102。客户端110、112和114可以是例如个人计算机 或网络计算机。在所示实例中，服务器104向客户端110、112和114提供数据，例如引导文 件、操作系统图像和应用。在这个实例中，客户端110、112和114是服务器104的客户端。 网络数据处理系统100可包括没有示出的附加服务器、客户端和其它设备。在所示实例中，网络数据处理系统100是具有网络102的互联网，所述网络102代 表使用传输控制协议/互联网协议(TCP/IP)的协议族彼此通信的在世界范围内的网络和 网关的集合。在互联网的中心是主节点或主机之间的高速数据通信线路的骨干，包括路由 数据和消息的成千上万个商业、政府、教育和其它计算机系统。当然本文档来自技高网...

【技术保护点】
一种针对基于时间、事件的视频指纹法的计算机实现的方法，所述计算机实现的方法包括：检测视频内容中的事件，其中所述视频内容包括多个视频帧，以及其中事件代表视频内容中的离散兴趣点；使用所述事件生成基于时间、事件的片段的集合，其中每个基于时间、事件的片段是覆盖事件集合的视频内容的片段；使用与所述基于时间、事件的片段的集合中的每个基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从所述每个基于时间、事件的片段导出时间序列信号；以及根据所述每个基于时间、事件的片段的时间序列信号提取片段指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：JW常，AI耐特塞夫，JR史密斯，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]