用于图像帧识别和视频流比较的方法和装置制造方法及图纸

提供了用于识别视频流（20）中的图像帧（10），以及用于将一个视频流（20‑1）和一个或多个其他视频流（20‑2）进行比较的方法和装置（200）。检查每个视频流（20）以产生包括摘要值（310‑1）的相应摘要流（320‑1），其可能记录在摘要记录（410）中。来自第二视频流（20‑2）的候选视频帧（10‑2）提供相应的第二摘要值（310‑2）。摘要值的匹配表明在各视频流中的匹配图像。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术涉及图像处理领域，更具体地，涉及在识别图像帧和比较视频流中使用的方法和装置。

技术介绍

存在有在视频流中识别单独的图像帧的需求。一般来说，使用时间码来识别帧，其中，每个图像帧与适合于该图像帧在流中的时间位置的相应的编码的时间值相关联。作为一个例子，现有技术中已知的有用于商业广播电视和电影系统的SMPTE292M或SMPTE424M等SMPTE时间码标准。这些时间码通常用作专业广播和电影系统的串行数字接口（SDI）标准的一部分。
已知的时间码帧识别系统出现了一些困难。例如，通过一些类型的视频编辑设备不能准确地保持时间码。在一个视频流中的时间码可能变得不可靠，并且将多个不同源的视频流混合在一起可能在组合的视频流中产生不一致的时间码。这些时间码可能损坏，并且一些设备或传输系统可能甚至从视频流中完全移除时间码。
作为另一种选择，已知的是执行图像帧的水印，即，增加标志元素，该标志元素对于普通观看者通常是不容易看到的。然而，水印需要编辑对视频流的访问，并且通过增加水印侵入性地改变图像内容。
还存在有准确识别给定的视频图像流的需求。具体地，需要确定当前视频流是否已经被预先观察到，或者与来自不同源的视频流相匹配。然而，由于上述相同的理由，时间码和水印等已知的图像帧识别系统不能充分地解决这种困难。
本专利技术讨论的示例实施例解决了相关技术的这些困难中的一个或多个。本领域技术人员可以理解的是，根据对本专利技术的教导的理解，这些示例实施例可能解决其他问题。在一个例子中，存在提供用于在视频流中识别图像帧的方法和装置的需求。

技术实现思路

根据本专利技术，提供给了如在所附的权利要求所述的装置和方法。从从属权利要求和以下描述中可以明显看出本专利技术的其他特征。
在一个例子中，描述了用于识别在视频流中的图像帧的装置，包括：摘要值产生单元，其具有下述电路：该电路配置为接收包括多个第一图像帧的多个第一视频流，检查每个所述第一视频流以产生包括多个第一摘要值的相应的第一摘要流并且在有形的存储介质上将所述第一摘要流记录在摘要记录中，每个所述第一摘要值与所述多个第一图像帧中的相应的一个第一图像帧相关联；以及摘要值匹配单元，其具有下述电路：该电路配置为检查候选第二视频流的至少一个第二图像帧以产生相应的第二摘要值，将所述第二摘要值与所述摘要记录中的所述多个第一摘要值进行比较，并且输出比较结果，该比较结果表明所述候选第二视频流和所述多个第一视频流中的相应的一个第一视频流之间的匹配。
在一个例子中，描述了由计算机设备实现的用于识别图像帧和比较视频流的方法，该方法包括：从多个第一视频源中的每一个视频源接收多个第一视频流，每个所述第一视频流包括多个图像帧；检查所述第一视频流中的每个第一视频流为每个所述第一视频流产生第一摘要流，每个所述第一摘要流包括多个第一摘要值，每个所述第一摘要值与所述多个图像帧中的相应的一个图像帧相关联；在摘要记录中记录所述多个第一摘要流；接收候选第二视频流；检查所述候选第二视频流以产生包括第二摘要值的相应的第二摘要流；将所述第二摘要流的所述第二摘要值与所述摘要记录中的所述第一摘要流的所述多个第一摘要值进行比较；根据相应的第一和第二摘要值，当所述比较表明所述候选第二视频流和所述多个第一视频流中的相应的一个第一视频流之间的匹配时，输出比较结果。
在一个例子中，提供了一个有形的非易失计算机可读介质，其具有记录在其上的指令，当执行这些指令时，致使计算机执行本专利技术限定的任意方法的步骤。
附图说明
下面参照附图举例说明的描述有助于更好地理解本专利技术，以及如何实行本专利技术的实施例。
图1为用于识别图像的示例装置的示意图；
图2为用于识别图像的另一示例装置的示意图；
图3为示例图像帧识别系统的示意图；
图4为可能采用示例实施例的示例视频处理系统的示意图；
图5为可能采用示例实施例的另一示例视频处理系统的示意图；
图6为可能采用示例实施例的示例广播传输系统的示意图；
图7为用于识别图像的示例装置的示意图；
图8为用于识别图像的示例装置的示意图；
图9为用于识别图像的示例装置的示意图；
图10为示例方法的示意流程图；
图11为另一示例方法的示意流程图。
具体实施方式
以下将参照内容替换系统对示例实施例进行描述，其中，该内容替换系统可能用于替代电视视频图像中的内容。在一个例子中，该系统布置为向广播电视节目提供广告牌的照片真实替代。然而，根据本文的教导对于本领域技术人员显而易见的是，这里描述的方法和装置可能应用于许多其他具体实施方式中，其可能涉及视频图像的其他形式或与感兴趣的其他主题图像有关。
这里讨论的示例实施例与例如，在公开文献WO2001/58147（Rantalainen）、WO2009/074710（Rantalainen）、和WO2012/143,596（Suontama）中所述的执行动态图像处理系统尤其相关。这些文献可能为进一步的背景信息所考虑，当考虑到以下详细说明时，它们中的内容可能是有用的。
简单地说，WO2001/58147涉及用于改变电视视频图像的方法，其中，使用不可见的电磁辐射，如红外线，识别广告牌或其他可见对象。WO2009/074710描述了通过确定共享区域改变电视视频图像的方法，在该共享区域，通过添加具有预定的图形覆盖率的图形（即，图形覆盖）覆盖预期目标区域，根据没有被添加的图形覆盖的剩余覆盖率添加替代内容。WO2012/143,596描述了如果有已经在任何特定的时间被添加在视频信号的帧中的图像元素的话，检测该图像元素的方法。
在一个例子中，描述了一种用于识别视频流中的图像帧的方法，包括：接收包括第一多个图像帧的第一视频流；检查该第一视频流以产生包括多个第一摘要值的第一摘要流，每个第一摘要值均与第一多个图像帧中的相应的一个图像帧相关联；以及在摘要记录中记录该第一摘要流。
在一个例子中，该方法包括：检查第二视频流中的至少一个第二视频帧以产生相应的第二摘要值；将该第二摘要值与摘要记录中的多个第一摘要值进行比较；以及根据比较的摘要值输出表明第二图像帧和第一多个图像帧中相应的一个图像帧之间的比较结果的比较结果。
在一个例子中，该方法包括：为多个视频流中的每个视频流在摘要记录中记录摘要值；将来自候选视频流中的摘要值与记录的摘要值进行比较；以及输出比较结果。该比较结果可能表明已经找到在多个视频流中的一个匹配的视频流。该比较结果可能表明在比较的视频流中没有找到匹配的视频流。
在一个例子中，第一摘要流是与第一视频流分开记录的。该方法可能包括通过第一通信通道将第一视频流从源位置传输到目的位置，以及通过第二通信通道将第一视频流从目标位置传输到源位置。该方法可能包括使用第一摘要流将辅助视频流与第一视频流同步。
在一个例子中，该方法包括：将从候选视频流从获得的摘要值序列与在摘要记录中的相应的摘要值序列进行比较；以及输出表明候选视频流和在第一视频流中的相应的图像帧序列之间的匹配的比较结果。
在一个例子中，该方法包括：计算候选摘要值和在摘要记录中的一个或多个摘要值之间的距离，并且根据计算出的距离选择匹配。
在一个例子中，通过在容差阈值内不精确地匹配摘要值确定匹配。本文档来自技高网...

【技术保护点】
由计算机设备实现的用于识别图像帧和比较视频流的方法，该方法包括：从多个第一视频源中的每一个第一视频源接收多个第一视频流，每个所述第一视频流包括多个图像帧；检查所述第一视频流中的每个第一视频流，以为每个所述第一视频流产生第一摘要流，每个所述第一摘要流包括多个第一摘要值，每个所述第一摘要值与所述多个图像帧中的相应的一个图像帧相关联；在摘要记录中记录所述多个第一摘要流；接收候选第二视频流；检查所述候选第二视频流，以产生包括第二摘要值的相应的第二摘要流；将所述第二摘要流的所述第二摘要值与所述摘要记录中的所述第一摘要流的所述多个第一摘要值进行比较；以及根据相应的第一和第二摘要值，当所述比较表明所述候选第二视频流和所述多个第一视频流中的相应的一个第一视频流之间的匹配时，输出比较结果。

【技术特征摘要】
【国外来华专利技术】2013.10.03 GB 1317529.41.由计算机设备实现的用于识别图像帧和比较视频流的方法，该方法包括：
从多个第一视频源中的每一个第一视频源接收多个第一视频流，每个所述第一视频流包括多个图像帧；
检查所述第一视频流中的每个第一视频流，以为每个所述第一视频流产生第一摘要流，每个所述第一摘要流包括多个第一摘要值，每个所述第一摘要值与所述多个图像帧中的相应的一个图像帧相关联；
在摘要记录中记录所述多个第一摘要流；
接收候选第二视频流；
检查所述候选第二视频流，以产生包括第二摘要值的相应的第二摘要流；
将所述第二摘要流的所述第二摘要值与所述摘要记录中的所述第一摘要流的所述多个第一摘要值进行比较；以及
根据相应的第一和第二摘要值，当所述比较表明所述候选第二视频流和所述多个第一视频流中的相应的一个第一视频流之间的匹配时，输出比较结果。
2.根据权利要求1所述的方法，其特征在于，所述第二视频流由所述第一视频流中的至少一个第一视频流导出。
3.根据权利要求1所述的方法，其特征在于，所述第二视频流包括从所述多个第一视频流当中选出的片段，其中，所述输出将所述多个第一视频流中的相应的一个第一视频流识别为当前存在于所述第二视频流中。
4.根据权利要求1所述的方法，其特征在于，所述第一视频流是用于广播节目的每个摄像机馈送，所述第二视频流是随着时间推移通过在所述摄像机馈送中进行选择而获得的视频清洁馈送，并且所述输出将所述摄像机馈送中的一个摄像机馈送识别为在所述视频清洁馈送中当前正在广播的。
5.根据权利要1所述的方法，其特征在于，该方法还包括：
准备多个遮蔽信号，每个所述遮蔽与所述第一视频流中的相应的一个第一视频流相关联，每个所述遮蔽信息识别所述相应的第一视频流内的感兴趣的区域；
根据所述比较结果选择所述遮蔽信号中的一个遮蔽信息；以及
将选择出的所述遮蔽信号中的一个遮蔽信息应用于所述第二视频流。
6.根据权利要求1所述的方法，其特征在于，所述方法包括：
将从所述候选第二视频流中获得的所述第二摘要值的序列与相应的所述摘要记录中的所述第一摘要值的序列进行比较；以及
输出比较结果，该比较结果表明所述候选第二视频流和在所述第一视频流的所述相应的一个第一视频流中的所述相应的图像帧的序列之间的匹配。
7.根据权利要求1所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：阿尔托·沃里，
申请(专利权)人：苏蓬诺尔有限公司，
类型：发明
国别省市：芬兰;FI