通过结合视频和音频签名增强的广告检测制造技术

一种用于从在被存储内容中的其它节目中检测广告的系统和方法。该系统包含一个检测并提取特定时间窗中的面部的图像检测模块。将被提取的面部与在随后的时间窗中检测到的面部相比较。如果面部都不匹配，则置位一个标志，以指示一个广告部分的开始。一个声音或语音分析模块通过分析用于检测面部的相同时间窗中的声音签名来验证该广告部分的开始。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及检测广告，特别是通过在连续时间窗中使用视频和音频签名(signature)这二者来检测广告。
技术介绍
现有的用于区分电视广播信号中的广告部分与其他节目内容的系统，通过检测不同的广播模式或所接收的视频信号的电平的差异来进行区分。例如，美国专利号6,275,646描述了一种视频记录/再现设备，其根据电视广播中多个无音频部分之间的时间间隔以及多个视频信号的变化点的时间间隔来区分广告消息部分。德国专利DE29902245公开了一种用于没有广告的收视的电视记录设备。然而，这些专利中所公开的方法是基于一定的规则的，因此依赖于固定的特征，诸如在视频信号中存在的变化点或台标。其他广告检测系统采用闭路字幕文本或快速场景变化检测技术来区分广告和其他节目。假若这些特征(例如视频信号的变化点、台标、闭路字幕文本)的存在被改变的话，上述的这些方法就没有用处。因此，需要在不必依赖这些特征的存在或缺少的情况下检测视频信号中的广告。专利技术概要电视广告几乎总是含有人类和其它有生命或无生命的对象的图像，它们例如可以通过采用已知的图像或面部检测技术被识别或检测。由于许多公司以及政府同样地在各种辨识技术的研发中扩展更多的资源，更复杂和可靠的图像识别技术正在变得容易获得。由于这些复杂而可靠的图像识别工具的出现，所以希望具有利用所述图像识别工具来更准确地区分广告部分与其它广播内容的广告检测系统。此外，希望有一种通过进一步采用诸如音频识别或签名技术之类的附加技术来验证所检测的广告、从而增强广告检测的系统和方法。因此，提供一种利用视频和音频签名的结合的增强的广告检测系统和方法。一方面，所提供的所述方法标识被存储内容中的多个视频片断(video segments)，所述多个视频片断具有顺序的时间次序。将一个视频片断中的图像与下一个视频片断中的图像比较。如果图像不匹配，就比较这两个片断中的声音(sound)签名。如果声音签名不匹配，就置位一个标志(flag)，用来指示节目内容中的例如从一个常规节目向一个广告的转变，或者指示相反的转变。一方面，所提供的系统包含一个图像识别模块，用于检测和提取视频片断中的图像；一个的声音签名模块，用于检测和提取相同视频片断中的声音签名；以及一个处理器，用于比较图像和声音签名，以确定被存储内容中的广告部分。附图简述附图说明图1表示被划分成多个时间片段(time segments)或时间窗的被存储节目内容的格式；图2表示按照一个方面检测被存储内容中的广告的详细流程图；图3是表示按照一个方面用声音签名分析技术增强的广告检测方法的流程图；图4是表示按照另一个方面用声音签名分析技术增强的广告检测方法的流程图；图5是表示按照一个方面的广告检测系统的部件的示意图。具体描述为了检测广告，可以采用已知的面部检测技术来检测和提取一个被存储电视节目中的特定时间窗中的面部图像。然后可以将被提取的面部图像与在前一个时间窗中或者在预定数量的在前时间窗中所检测的那些面部图像作比较。如果面部图像都不匹配，则可以置位一个标志，以指示一个广告的可能开始。图1表示被划分成多个时间片段或时间窗的被存储节目内容的格式。被存储节目内容例如可以是一个所广播的电视节目，其被视频录制在磁带上或者任何其它用于这种用途的可用的存储装置上。如图1中所示，被存储节目内容102被划分为具有预定持续时间的多个片断104a、104b、...、104n。每个片断104a、104b、...、104n包含多个帧。这些片断在这里也被称作时间窗、视频片断或时间片段。图2表示按照一个方面检测被存储内容中的广告的详细流程图。如上所述，被存储内容例如包括已经被录制在录像带中或被存储的电视节目。参看图2，在202，将一个标志清除或初始化。这个标志指示尚未在被存储内容102中检测到广告。在204，标识被存储内容中的一个片断或时间窗(图1的104a)以用于分析。当从被存储节目的开始检测广告时，这个片断可以是被存储内容中的第一个片断。如果例如用户希望在被存储节目的某些部分中检测广告，则这个片段也可以是被存储内容中的任何其它片断。在这个情况下，用户要指出在被存储节目中开始广告检测的位置。在206，采用一种已知的面部检测技术来检测和提取该时间窗中的面部图像。如果在这个时间窗中没有检测到面部图像，则分析后一个时间窗，直到检测到一个具有面部图像的时间窗。因此，可以重复步骤204和206，一直到辨识出一个具有一个或多个面部图像的时间窗。在208，分析下一个片断或时间窗(图1的104b)。在210，如果没有下一个片断，也就是说如果遇到了被存储节目的结尾，则过程在224退出。否则，在212，也检测并提取这个时间窗104b中的面部图像。如果检测不到面部图像，过程返回到204。在214，将从第一时间窗(图1的104a)中检测到的面部图像与从第二时间窗(图1的104b)中检测到的面部图像作比较。在216，如果面部图像匹配，过程返回到208，在此辨识并分析随后的时间窗(例如图1的104c)以检测匹配的面部图像。这些面部图像被与在当前时间窗之前的时间窗中所检测到的面部图像相匹配或相比较。因此，例如参看图1，在时间窗104a中被检测到的面部图像被与时间窗104b中的面部图像比较。在时间窗104b中被检测到的面部图像被与时间窗104c中的面部图像比较，如此等等。另一方面，可以比较多于一个在先时间窗中的面部图像。例如，可以将在时间窗104c中检测到的面部图像与在时间窗104a和104b中检测到的面部图像比较，如果图像都不匹像，则可以确定，节目内容中有变化。通过比较当前窗口的面部图像与在多个在先窗口中检测到的面部图像，可以准确地补偿由于场景(scene)变化而发生的不同图像。例如，时间窗104b和104c中的图像的变化，可能是由于常规节目中的场景变化而发生的，而未必是因为时间窗104c含有一个广告。因此，如果也把时间窗104c中的图像与其内容包括一个常规节目的时间窗104a中的图像比较，并且如果它们匹配，则可以确定，尽管时间窗104c中的图像与时间窗104b中的图像不匹配，时间窗104c含有一个常规节目。这样，就可以逐个片段地区分广告与常规节目中的场景变化。一方面，为了补偿场景变化或区分场景变化与广告，在初始化阶段，在开始比较过程之前，可以积累多个时间窗中的图像，以作为比较的基础。例如，参看图1，可以初始地积累前三个窗口104a...104c中的图像。假设这前三个窗口104a...104c含有一个常规节目。然后，可以把窗口104d中的图像与104c、104b和104a中的图像比较。然后，在处理104e时，可以把窗口104e中的图像与104d、104c和104b中的图像比较，由此创建一个用于比较的例如三个窗口的运动窗口。这样，就可以消除在初始化时由于场景变化导致的对广告的错误检测。此外，如果在记录的初始阶段在播放一个广告，则对多个时间窗的积累将消除对节目的第一个场景是广告的可能的错误确定。回头参看图2，在216，如果当前窗口中的面部图像不匹配(这例如表明节目内容已经改变，即从电视节目变为广告或者从广告变为电视节目)，则过程前进到218，在此确定广告标志是否被置位。广告标志的置位，例如表明当前时间窗是一个广告的一部本文档来自技高网...

【技术保护点】
一种用于检测被存储内容中的广告的方法，包含：标识（２０４）被存储内容中的多个视频片断（１０４ａ…１０４ｎ）；检测（２０６）所述多个视频片断的第一视频片断中的一个或多个第一图像；检测（２１２）所述多个视频片断的第二视频 片断中的一个或多个第二图像；比较（２１４）所述一个或多个第二图像与所述一个或多个第一图像；如果所述一个或多个第二图像都不与所述一个或多个第一图像匹配，则：比较（４２０）在所述多个视频片断的第一视频片断和所述多个视频片 断的第二视频片断中被检测的一个或多个声音签名；并且如果所述多个视频片断的第一视频片断和所述多个视频片断的第二视频片断中的声音签名不匹配，则置位一个指示一个广告部分的开始的标志。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S古特塔，L阿格尼霍特里，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]