基于哈希的媒体搜索制造技术

识别视频内容的项目的方法，涉及提供关于视频集合中的每个图像的空间哈希值和时间哈希值。每个哈希值基于像素值之间的差中的熵的度量。针对时间编码的哈希值的对的表格被创建并且根据哈希值中的一个哈希值进行排序。然后，针对给定的哈希值的对的搜索可以限于表格中的匹配第一值的部分。

【技术实现步骤摘要】
【国外来华专利技术】专利
本专利技术涉及对顺序数据的搜索，且特别涉及用于检测视觉等价(visualequivalence)的视频序列的匹配。专利技术背景在广播和视听内容产生和分配系统中，通常有必要在系统中确认在某个点处的视频序列的标识。这是确保自动化播放系统的正确运行的监测过程的基本特征。公知的方法是将元数据与视频帧相关联并将与未知的视频序列相关联的元数据与来自已知视频序列的元数据进行比较以便使内容的特定项目能够被识别。然而，这依赖于元数据的存在及元数据的完整性。英国专利申请1402775.9描述了如何能够从视听序列自动地导出描述视听流的空间和时间特性的元数据的方式，从而确保了来自可获得的视听序列的精确的元数据的可获得性。国际专利申请WO2009/104022描述了如何能够从视听数据导出空间和时间“签名”的方式。这些类型的签名，也被称之为“指纹”，使视频场或帧或场或帧的序列能够被特征化。在本说明书中，术语指纹用于标示该特征化的数据以及术语图像有时候出于方便用来表示场或帧。概述本专利技术的一个方面在于一种识别视频内容的项目的方法，所述方法包括以下步骤：提供时间上分离的搜索图像的集合，每个搜索图像通过像素值进行定义并且每个搜索图像在所述集合中具有时间位置；对于每个搜索图像，提供一对搜索哈希值，包括：包含在搜索图像内的像素值之间的差值的函数的空间搜索哈希值和包含在一个搜索图像中的像素值与在时间上分离的搜索图像中的像素值之间的差值的函数的时间搜索哈希值；形成定义在所述集合中的搜索图像的时间位置与相应的空间搜索哈希值和时间搜索哈希值之间的关联的搜索数据；根据哈希值中的第一哈希值的值排序所述搜索数据；对于时间上分离的搜查图像的搜查序列，每个搜查图像通过像素值进行定义并且每个搜查图像在搜查序列中具有时间位置，提供：包含在搜查图像内的像素值之间的差值的函数的空间搜查哈希值和包含在一个搜查图像中的像素值与在时间上分离的搜查图像中的像素值之间的差值的函数的时间搜查哈希值；以及仅搜索对应于所述一对哈希值中的所述第一哈希值的搜查值的排序的数据的部分以定位所述一对哈希值的第二哈希值的搜查值的出现。像素值之间的差值可以在组中的搜索图像上聚合，该组可以是搜索图像的行进窗口。哈希值可以包括像素值之间的特定差值的出现频率的函数，以及可选地包括关于图像区域的平均像素值之间的特定差值的出现的频率的函数。很少出现的差值的频率值可以被给予比频繁出现的频率更高的权重。频率值可通过将它们与所述差的大小的和成比例地减少进行归一化以获得比单位量更小的频率值以及该值可以在求和之前通过其对数进行加权。更一般地，每个哈希值可包括像素值之间的所述差值中的熵的度量的函数。熵的度量可以由下式来给出：-∑pN.log(pN)其中，pN是像素差值N出现的归一化的频率，以及其中求和是关于所有可能的N值进行的。用于形成搜索哈希值的像素值之间的差值可以根据搜索图像或搜查图像的一个或多个相应的指纹而形成。本专利技术的一个不同的方面在于一种用于识别视频内容的项目的装置，其中匹配是在关于图像的一个或多个序列的相应的哈希值的对之间进行搜查，所述哈希值的对包括：包含在搜索图像内的像素值之间的差值的函数的空间搜索哈希值和包含在一个搜索图像中的像素值与在时间上分离的搜索图像中的像素值之间的差值的函数的时间搜索哈希值；所述装置包括：定义搜索项目的图像的时间位置与根据哈希值的所述对中的第一哈希值的值而排序的相应的哈希值对之间的关联的第一查找表；定义第一查找表中对应于哈希值的对中的所述第一哈希值的任何特定值的排序的数据的部分的第二查找表；以及搜索处理器，所述搜索处理器可与所述查找表协作运行以仅搜索对应于哈希值的对中的所述第一哈希值的搜查值的排序的数据的部分，以定位哈希值的所述对中的第二哈希值的搜查值的出现。要理解的是，该方法和装置可以以广泛的各种方式实现，包括涉及专门的硬件、可编程硬件的硬件和软件应用；能够在通用计算机上运行的软件及上述组合。附图简述图1示出根据本专利技术的实施方式对关于视频内容的项目的空间和时间的指纹数据的哈希值的处理过程。图2示出根据本专利技术的实施方式的用于搜索空间和时间的指纹数据的哈希值以定位描述视频内容的特定项目的数据的过程。专利技术的详细描述本专利技术提供了一种搜索数据的一个或多个顺序流以找到短的“查询数据序列”的匹配出现的新颖的方式。例如，如以上提及的国际专利申请中所描述的，在分布式网络中的某个点处的视频流可以被处理以获得关于视频帧的短的序列的空间和时间“指纹”数据。然后，大的视频内容的库可以被搜索，以定位其中指纹序列匹配的特定内容项目，并识别在该项目内的匹配的位置(时间编码值)。以这种方式，可以确认分布式网络提供预期的视频内容。如果指纹数据是从视频帧的预先确定的区域内的像素值的空间和时间变化而导出的，则可能的是将已经被转换的内容与不同的形式进行匹配，例如从高清晰度到标准清晰度，或经受压缩处理。现在将描述本专利技术的定位视频内容库中的视频帧的查询序列的示例性的实施方式。一秒长的查询序列被处理以获得相应的空间和时间“指纹值”的序列——关于查询序列的每个帧的空间指纹值和时间指纹值。空间指纹是从关于相应的帧内定义的区域的平均像素值导出的；以及时间指纹表示相应的帧与其前面的帧之间的平均像素值差值。合适的指纹包括在国际专利申请WO2009/104022中详细描述的“签名”。以类似的方式，视频内容库中的所有的项目被处理以获得每个帧的空间和时间指纹值。当然，这是主要任务。然而，当各个内容项目被“摄入”到库中时该过程可以自动地被方便地执行，并且其在搜索过程之前完成。显然完全不现实的是搜索整个数千小时的内容的库的指纹值的特定序列。因此，空间和时间指纹序列被处理以形成视频帧的短序列(在本示例中，一秒的持续时间的序列)的特征化的相应的“哈希值”。对于每个内容项目，空间哈希值和时间哈希值的数据集以及以哈希值为特征的帧的项目内的相应时间位置被构造。在本示例中，每个帧的时间编码值与特征化以该帧开始的帧的一秒长的序列的空间哈希值和时间哈希值相关联。下文将详细描述这些哈希值的推导。然而，即使在通过两个哈希值特征化每个帧之后，即使对于中等大小的内容库而言，搜索特定哈希值的任务仍然是不现实的。因此，对于库中的视频内容的每个项目，哈希值的数据集及其相应的时间位置被处理成以便简化搜索。在图1中示出了该数据重组过程。在附图中，出于解释的目的，数据被表示为表格，且该过程将被描述为操作序列，其中新的表格是根据现有表格而创建的。如技术人员将理解的，这些过程可以以许多方式来实现，例如通过在关系数据库内创建关系，通过在电子存储器中移动和拷贝数据项目，或通过其他已知的数据操作过程。在图1中由表格(10)示出了由视频内容的特定项目的空间哈希值和时间哈希值的初始创建而产生的数据集。该数据包括内容项目标识字段(11)和通过索引数据字段(12)索引的I最大个数据记录的集。每个索引的记录包括下列数据字段：●以小时、分钟、秒和帧(13)计的时间编码值，其标识一秒序列的场的第一场，从该一秒序列的场导出时间哈希值和空间哈希值；●关于一秒序列的时间哈希值τ(14)；以及●关于一秒序列的空间哈希值(15)。根据时间哈希值τ(14)对表格(10)的记录进行分类，以创建第本文档来自技高网...

【技术保护点】
一种识别视频内容的项目的方法，所述方法包括以下步骤：提供时间上分离的搜索图像的集合，每个搜索图像由像素值定义并且每个搜索图像在所述集合中具有时间位置；对于每个搜索图像，提供一对搜索哈希值，包括：空间搜索哈希值，所述空间搜索哈希值包含在搜索图像内的像素值之间的差的值的函数，以及时间搜索哈希值，所述时间搜索哈希值包含在一个搜索图像中的像素值与在时间上分离的搜索图像中的像素值之间的差的值的函数；形成定义在所述集合中的所述搜索图像的所述时间位置与相应的空间搜索哈希值和时间搜索哈希值之间的关联的搜索数据；根据所述哈希值中的第一哈希值的值排序所述搜索数据；对于时间上分离的搜查图像的搜查序列，每个搜查图像通过像素值定义并且每个搜查图像在所述搜查序列中具有时间位置，提供：空间搜查哈希值，所述空间搜查哈希值包含在搜查图像内的像素值之间的差的值的函数，以及时间搜查哈希值，所述时间搜查哈希值包含在一个搜查图像中的像素值与在时间上分离的搜查图像中的像素值之间的差的值的函数；以及仅搜索排序的数据中的对应于所述一对哈希值中的所述第一哈希值的搜查值的部分以定位所述一对哈希值的第二哈希值的搜查值的出现。

【技术特征摘要】
【国外来华专利技术】2014.06.24 GB 1411192.61.一种识别视频内容的项目的方法，所述方法包括以下步骤：提供时间上分离的搜索图像的集合，每个搜索图像由像素值定义并且每个搜索图像在所述集合中具有时间位置；对于每个搜索图像，提供一对搜索哈希值，包括：空间搜索哈希值，所述空间搜索哈希值包含在搜索图像内的像素值之间的差的值的函数，以及时间搜索哈希值，所述时间搜索哈希值包含在一个搜索图像中的像素值与在时间上分离的搜索图像中的像素值之间的差的值的函数；形成定义在所述集合中的所述搜索图像的所述时间位置与相应的空间搜索哈希值和时间搜索哈希值之间的关联的搜索数据；根据所述哈希值中的第一哈希值的值排序所述搜索数据；对于时间上分离的搜查图像的搜查序列，每个搜查图像通过像素值定义并且每个搜查图像在所述搜查序列中具有时间位置，提供：空间搜查哈希值，所述空间搜查哈希值包含在搜查图像内的像素值之间的差的值的函数，以及时间搜查哈希值，所述时间搜查哈希值包含在一个搜查图像中的像素值与在时间上分离的搜查图像中的像素值之间的差的值的函数；以及仅搜索排序的数据中的对应于所述一对哈希值中的所述第一哈希值的搜查值的部分以定位所述一对哈希值的第二哈希值的搜查值的出现。2.根据权利要求1所述的方法，其中，搜索图像的组被形成，并且所述空间搜索哈希值包括在所述组内的搜索图像上聚合的、在搜索图像内的像素值之间的差的值的函数。3.根据权利要求1或权利要求2所述的方法，其中，搜索图像的组被形成，并且所述时间搜索哈希值包括在所述组内的搜索图像上聚合的、在一个搜索图像中的像素值与在时间上分离的搜索图像中的像素值之间的差的值的函数。4.根据权利要求2或权利要求3所述的方法，其中，所述搜索图像的组包括关于每个搜索图像的搜索图像的行进窗口。5.根据前述权利要求中的任一项所述的方法，其中，所述空间搜查哈希值包括在所述搜查序列内的搜查图像上聚合的、在搜查图像内的像素值之间的差的值的函数。6.根据前述权利要求中的任一项所述的方法，其中，所述时间搜查哈希值包括在所述搜查序列内的搜查图像上聚合的、在一个搜查图像中的像素值与在时间上分离的搜查图像中的像素值之间的差的值的函数。7.根据前述权利要求中的任一项所述的方法，其中，哈希值包括在像素值之间的差的特定值的出现的频率的函数，且优选包括关于图像区域的平均像素值之间的差的特定值的出现的频率的函数。8.根据权利要求7所述的方法，其中，相应的空间差-值频率被针对搜索图像的组进行求和以形成空间搜索哈希值，以及被针对所述搜查序列进行求和以形成空间搜查哈希值。9.根据权利要求7或权利要求8所述的方法，其中，相应的时间差-值频率被针对搜索图像的组进行求和以形成时间搜索哈希值，以及被针对所述搜查序列进行求和以形成时间搜查哈希值。10.根据权利要求7至权利要求9中的任一项所述的方法，其中，很少出现的差值的频率值相比于频繁出现的频率被给予更高的权重。11.根据权利要求10所述的方法，其中，频率值被通过将它们与所述差的大小的和成比例地减少从而获得比单位量小的频率值来归一化，且优选的是该值在求和之前通过其对数进行加权。12.根据权利要求1至权利要求6中的任一项所述的方法，其中，每个哈希值包括在像素值之间的所述差的值中的熵的度量的函数。13.根据权利要求12所述的方法，其中，所述熵的度量由下式给出：-∑pN.log(pN)其中，pN是像素差值N出现的归一化的频率，以及其中所述求和是针对所有可能的N值进行的。14.根据前述权利要求中的任一项所述的方法，其中，用于形成搜索哈希值的像素值之间的所述差的值是根据搜索图像的一个或多个相应的指纹而形成的。15.根据前述权利要求中的任一项所述的方法，其中，用于形成搜查哈希值的像素值之间的所述差的值是根据搜查图像的一个或多个相应的...

【专利技术属性】
技术研发人员：乔纳森·迪金斯，杰拉德·菲利普斯，
申请(专利权)人：斯耐尔先进媒体有限公司，
类型：发明
国别省市：英国;GB