相似视频片段的检测制造技术

本发明专利技术涉及相似视频片段的检测。公开了用于处理图像的第一序列和图像的第二序列以比较该第一和第二序列的方法和设备。通过以下步骤对该第一序列的各个图像和该第二序列的各个图像进行处理：（ｉ）处理图像中的多个像素邻居中的各个像素邻居的图像数据，以生成所述像素邻居中各个像素邻居的至少一个相应描述符元素；以及（ｉｉ）从所述描述符元素形成整体图像描述符。通过以下方式比较第一序列中的各个图像与第二序列中的各个图像：计算被比较图像的相应整体图像描述符之间的距离。将该距离排列在矩阵中，且处理该矩阵以识别相似图像。

【技术实现步骤摘要】

本专利技术涉及用于检测相似视频片段的方法、设备和计算机程序产品。
技术介绍
近年，客户已访问且保存在他们视频库中的数字视频数据的数量已经急剧上升。 这些视频可以采用商业DVD和VCD、个人录像机记录、HDD和DVR系统上的离播记录、个人 计算机或移动电话或PDA或便携式播放器上的视频下载等形式。可以预期，随着诸如蓝光 的新的高容量技术可用性增加，数字视频库的这种成长将继续且加速。然而，视频材料的冗 余对于用户来说也是问题，用户发现越来越难以管理他们的视频收集品。为了解决这一问 题，正在开发允许用户高效地访问他们的视频内容以及诸如视频归类、摘要、搜索等功能性 的新的自动视频管理技术。 出现的一个问题是需要识别相似视频片段。潜在应用包括基于例如在大视频数据 库内识别用户提供的短片段来识别再发生的视频片段(例如电视台广告语)以及进行视频 数据库检索。另一潜在应用是识别广告(commericals)之前和之后的重复视频片段。 在GB 2444094A "Identifying repeating video sections by comparingvideo fingerprints from detected candidate video sequences (通过比较来自检测的候选视 频序列的视频指纹识别重复视频部分)"中，提出一种方法以识别重复序列作为识别广告中 断的方法。最初，检测硬切换、渐变和音频级别变化，来识别候选片段。只要识别到一定数 量的硬切换/渐变，则考虑是候选片段且存储该候选片段。这将与后续识别的候选片段进 行比较。使用来自一组可能实施方式的特征执行比较音频级别、颜色直方图、颜色聚合向 量、边缘变化率和运动向量长度。 使用该方法的问题在于，为了首先识别片段然后与其它片段进行比较，该方法依 赖于片段与其相邻片段之间的清晰边界。而且，无法部分重复(即，仅片段的一部分重复)。 而且，颜色聚合向量提供很少的空间信息且因此不适于帧间匹配。最后，提议的一些特征在 未压縮的视频中不可用，且因此必须专门计算这些特征，计算和时间要求显著增加。 在W0 2007/053112Al"R印eat clip identification in video data(视频数据 中的重复剪辑识别)"中，提出了一种用于识别视频数据中的重复剪辑的方法和系统。该方 法包含利用基于内容的关键帧采样将视频数据分割为有序的视频单元，其中各个视频单 元包含两个连续关键帧之间的顺序间隔；为各个视频单元生成指纹；将至少两个连续视频 单元分组到一个时间索引的视频片段；以及基于视频片段的相关性识别重复剪辑实例。 首先扫描视频且针对各个帧计算颜色直方图。当根据给定阈值在两个帧之间检测 到直方图的变化时，第二帧被标记为关键帧。 一个关键帧和下一关键帧之间的一组帧构成 视频单元。然后，提取单元级颜色特征(color signature)以及帧级颜色特征。而且，单元 时间长度也被考虑为特征。然后最少两个连续视频单元被结合在一起以形成片段。该片段 与视频中的各个其它片段进行比较。针对单元级特征和时间长度计算L1距离，且如果二者 都低于固定阈值，则检测到匹配且相关矩阵中的相应点被设置为l(否则为O)。然后，l的4序列指示匹配片段的序列。帧级特征仅作为后处理验证步骤使用，而在真正的检测处理中 不使用。 WO 2007/053112A1中的技术的一个缺点在于它基于视频单元，视频单元是基于不 均匀采样内容的关键帧之间的视频。因此，单元是重要的结构元素，例如，一个或更多镜头。 这是明显的问题，因为，在存在非常静态或非常动态的视频内容时，关键帧提取处理本身将 变得不稳定且将检测出太少或太多的单元。而且，对于彼此匹配但例如通过添加文本叠加 或小的画中画等稍有不同的视频段，关键帧提取也可能变得不稳定且将检测出非常不同的 单元。然后，片段被定义为两个或更多单元的组合，且相似度指标被应用在片段级别，即，在 单元对级别检测相似度。所以，该专利技术是十分受限的，因为它目标在于例如镜头组的较长片 段的匹配，且不能应用于只持续少量帧的特定片段。作者意识到这点，并且宣称可以通过假 设以每秒多于一个关键帧进行采样来解决该问题。然而，这只能通过均匀采样来实现，而不 能通过基于内容的采样来实现。这种情况下出现的主要问题是，视频单元级特征对于帧速 变化将失去所有鲁棒性。在所有的情况下，该方法的基本缺点是，它基于固定阈值对片段 (即，单元对)的相似度做出判断，而不考虑相邻片段呈现的相似度大小。二进制相关矩阵 可以提供匹配的十分粗略的描述，且例如由于噪声的存在，导致过多数量的1。然后，搜索匹 配片段的线性序列。使用非均匀关键帧采样，匹配单元对的这些线可以不连续且可以由断 点(breaking)和不共线片段组成，且可以采用复杂线跟踪算法来处理所有这些情况。尽管 帧级特征可用，但是它们仅用于验证已经检测到的匹配帧，不用于实际检测匹配片段。 —般而言，上述现有技术最关心与相邻片段具有极高相似度和明显边界的等长片 段的识别。该情形相当适合于将这种方法应用于识别重复广告识别，重复广告的特征通常 在于清晰的边界(例如，广告之前/之后的少量暗帧)、明显的音频级别以及相等长度的重 复。然而，上述现有技术缺乏处理更任意应用所必须的一般性。 未解决的一个问题是甚至短片段的部分重复，即，仅片段的一部分重复。在这种情 况下，不可能使用片段长度作为用于识别的特征/指纹。 未解决的另一问题是两个片段之一中出现文本叠加或两个片段之一出现线性/ 非线性畸变(例如，模糊或亮度/对比度/饱和度变化)。当考虑更一般的应用时，这种畸 变必须被考虑。 在W0 2004/040479A1 "Method for mining content of video(用于挖掘视 频内容的方法)"中，说明了一种用于检测视频信号中的相似片段的方法。未知以及 任意内容和长度的视频经历特征提取。特征可以例如是基于音频和视频的运动活性 (motion activity)、颜色、音频、纹理，诸如MPEG-7描述符。时间上的特征连续(feature progression)构成时间序列。使用时间序列的各个点(或者多维时间序列的各个向量)之 间的欧几里德距离由该时间序列构造自距离矩阵(self-distance matrix)。在权利要求 中，提及了其他指标，尤其是点积(角距离)和直方图交会法(histogramintersection)。 当考虑多个特征(例如，音频、颜色等)时，对于各个特征，独立地应用在距离矩阵中寻找路 径的方法。随后将最后识别出的片段结合。 该方法使用动态编程技术寻找对角矩阵中的对角线或准对角线路径，S卩，寻找由 合适的代价函数定义的最小代价路径。该代价函数包括在距离矩阵中定义了两个帧之间的 匹配哪里被认为是"好"(低距离)或"坏"(高距离)的固定阈值。因此，不考虑值高于阈5值的点，而考虑距离矩阵中所有值低于阈值的点。然后，将连续的路径(邻近端点)进行接 合，且部分或全部交叠的路径相合并。在接合和合并之后，去除短路径(小于端点之间的某 一距离)。 WO 2004/040479A1中的技术的一个缺点在于，使用动态编本文档来自技高网...

【技术保护点】
一种处理图像的第一序列和图像的第二序列以比较所述第一序列和所述第二序列的方法，该方法包括以下步骤：（ａ）对于所述第一序列的各个图像和所述第二序列的各个图像：处理所述图像中的多个像素邻居中的各个像素邻居的图像数据，以生成所述像素邻居中各个像素邻居的至少一个相应描述符元素；以及根据所述描述符元素形成整体图像描述符；（ｂ）通过下述方式比较所述第一序列中的各个图像与所述第二序列中的各个图像：计算被比较图像的相应整体图像描述符之间的距离；（ｃ）将所述距离排列在矩阵中；以及（ｄ）处理所述矩阵以识别相似图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：斯塔夫罗斯帕斯卡勒基斯，阿尔弗雷多吉亚尼，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]