一种电视直播流中的广告段检测方法技术

本发明专利技术公开了一种电视直播流中的广告段检测方法，首先，提取不少于一个的视频广告，建立视频广告数据库，提取每个视频广告的不少于一个的视觉特征向量，构建数据结构来组织所述视频广告的所有视觉特征向量；输入待检索视频，提取待检索视频的不少于一个的视觉特征向量；将所述待检索视频的视觉特征向量与所述数据结构中的每个视频广告的视觉特征向量进行匹配，得到匹配结果，根据所述匹配结果更新所述数据结构；根据所有所述匹配结果判断视频检测结果并输出。本发明专利技术能够有效克服现有技术的不足，为电视直播流中视频广告的分析和检测提供信息和依据。

【技术实现步骤摘要】

本专利技术涉及视频检索与视频检测
，尤其涉及。
技术介绍
目前，随着经济的高速发展，各级电视台都会在自己的节目中插播ー些广告来增加电视台的收入，同时ー些企业也愿意出资播放本企业产品的广告，一方面可以为企业做宣传，另一方面又可以提升企业产品销量。而广告公司和企业为了确保其视频广告取得应有的效益，必须派人来监瞀电视台广告的播放情况，同时文化管理部门会依据政府的行政命令要求电视台播放ー些公益广告、政府通告、通知等，为了确保这些强制性广告在规定的时间内播出，文化监管部门也必须派专人进行检測。 在电视节目制作过程中，出于商业目的，通常会加入ー些广告片段，但在网上视频点播、媒体资产管理等领域中，为了有效的检索及浏览视频，插播的广告片段需要被剔除或者替换成其他视频。因此，自动、精确的检测出电视节目视频中的广告片段，成为视频点播、媒体资产管理等领域中急需解决的问题。目前，视频广告的检测都是通过人工进行的，浪费了大量的资源。为了有效地检索相关视频信息，需要研发ー些先进技术对海量的视频数据进行分析、浏览、检索和语义内容分类。视频广告作为ー种独立的视频类型，其检测与分析作为视频分类的ー个重要方面也日益受到重视，视频广告检测方法的研究工作也逐渐成为国内外视频应用领域的研究热点之一。对于视频广告的检测，研发人员基于视频广告和普通节目视频的特征上的区別，提出了多种方法。现在的较为常用的视频广告检测方法大体上分为以下两类 (I)基于标识的方法(Logo-based methods) 此方法是最早的视频广告检测方法。该方法主要利用电视台的台标进行检测。电视台在播放普通电视节目时会将自己的台标显示出来，而播放广告时一般就会隐去台标，这使得我们可以通过检测台标的存在与否来区分视频广告和普通电视节目视频。台标一般分为三种静态台标、半透明台标和动态台标。针对不同形态的台标，都有相应的检测方法，从而实现对视频广告的检测。其中对于静态台标的研究是比较深入的，而且应用得很广泛。但是对于半透明台标和动态台标，检测起来比较困难，所以还没有比较成熟的检测方法。另外，现在很多电台在播放视频广告的时候也会将台标显示出来，这时基于标识的检测方法就会失效。(2)基于规则的方法(Rule-based methods) 基于规则的方法大多是利用广告镜头的信息来进行检测的，它是通过ー组特征和规则来区分广告和普通电视节目视频。由于视频广告和普通电视节目视频在某些特征方面存在着比较明显的差异，因此利用这些区分性比较强的特征，就可以实现对视频广告的检测。在视频方面可以通过提取一段视频巾贞的平均边缘变化率A-ECR (Average of Edge ChangeRatio )和边缘变化方差V-ECR (Variance of Change Ratio )以及平均巾贞差A-FD(Average of Frame Difference)和巾贞方差 V-FD (Variance of Frame Difference)来实现检测。在音频方面，视频广告的音频内容和普通电视节目的音频内容也存在一些明显的特征上的区别，比如可以利用音频多维频率普系数(Mel-frequency Cepstral Coefficient)和音频信息熵来实现对视频广告的分割检测。不过音频方面的特征一般都用于辅助视频特征检测方面，通过两者的结合才能实现对广告段更加精确的分割检测。
技术实现思路
本专利技术的目的是在于提出，对视频广告进行了镜头分割和提取关键帧，基于视频广告的视觉特征与普通电视节目的视觉特征之间的差异对直播视频流中的视频广告进行检测，并提出了视频广告数据库的更新策略，能够大量减少视频检测和编辑领域的工作人员的工作量，提高视频检测速度和检测的精确度。本专利技术提供了，包括以下步骤 A、提取不少于一个的视频广告，建立视频广告数据库，提取每个视频广告的不少于一 个的视觉特征向量，构建数据结构来组织所述视频广告的所有视觉特征向量； B、输入待检索视频，提取待检索视频的不少于一个的视觉特征向量； C、将所述待检索视频的视觉特征向量与所述数据结构中的每个视频广告的视觉特征向量进行匹配，得到匹配结果，根据所述匹配结果更新所述数据结构； D、根据所述匹配结果判断视频检测结果，将所述检测结果输出。进一步地，步骤A中，提取每个视频广告的不少于一个的视觉特征向量，还包括以下步骤 将每个视频广告分割为不少于一个的镜头，提取每个镜头的镜头关键帧； 提取视频广告的每个镜头关键帧的不少于一个的视觉特征，所有视频广告的镜头关键帧的视觉特征构成视频广告的视觉特征，将视频广告的每个视觉特征转换为对应的视频广告的视觉特征向量。进一步地，步骤B中，提取待检索视频的不少于一个的视觉特征向量，还包括以下步骤 将待检索视频分割为不少于一个的镜头，提取每个镜头的镜头关键帧； 提取待检索视频的每个镜头关键帧的不少于一个的视觉特征，所有待检索视频的镜头关键帧的视觉特征组成待检索视频的视觉特征，利用距离关系得到所述待检索视频的每个视觉特征对应的待检索视频的视觉特征向量。进一步地，将视频分割成不少于一个的镜头，还包括以下步骤 提取所述视频的所有视频帧的颜色直方图，计算两个相邻视频图像帧的颜色直方图的相似值，作为帧间相似值； 根据所述视频的帧间相似值、预设的第一阈值、预设的第二阈值和预设的渐变镜头长度第三阈值，确定镜头边界序列。进一步地，提取所有视频帧的颜色直方图，计算帧间相似值，还包括以下步骤 对视频图像进行分块，共分为块，其中是列数，是行数； 对图像的每一个图像块在HSV颜色空间上提取颜色直方图，其中把亮度量化为I个区间，把色调量化为16个区间，把色饱和度量化为8个区间，每一帧图像得到个有个bin的颜色直方图，并对得到的顔色直方图进行归ー化； 采用下面的公式计算两个相邻视频图像帧的颜色直方图的相似值 9 其中，为处于第列第行的块的权重，是第帧的第个块的顔色直方图的第个bin的值，a和b为视频图像帧的序号，函数是求取两个值中较小的值。进ー步地，根据整个视频的帧间相似值、预设的第一阈值、预设的第二阈值和预设的渐变镜头长度第三阈值，确定镜头边界序列，还包括以下步骤 输入整个视频序列的帧间相似值序列，预设高阈值，预设低阈值，预设渐变镜头长度 最低阈值，其中； 根据每个帧间相似度进行判断 如果且没有设置渐变标志，判断镜头发生了突变，输出突变镜头的边界信息； 如果但设置了渐变标志，则渐变镜头长度加I ; 如果但但没有设置渐变标志，则设置渐变标志，记录下当前图像帧位置作为候选镜头开始边界，并开始计数渐变镜头长度； 如果并设置了渐变标志，则检查渐变镜头长度，如果则判断发生了渐变，输出渐变镜头的边界信息，否则判断不是渐变，取消渐变标志，并把渐变镜头长度重新置零； 如果且没有设置渐变标志，则判断没有发生镜头变化； 输出镜头边界序列。进ー步地，所述提取每个镜头的镜头关键帧是提取镜头的第一视频帧和最后ー视频帧作为镜头关键帧。进ー步地，所述提取每个镜头关键帧的视觉特征是采用SIFT尺度不变特征变换匹配算法提取镜头关键帧的视觉特征。 进ー步地，将视频广告的每个视觉特征转换为对应的视频广告的视觉特征向量，还包括以下本文档来自技高网...

【技术保护点】
一种电视直播流中的广告段检测方法，其特征在于，包括以下步骤：A、提取不少于一个的视频广告，建立视频广告数据库，提取每个视频广告的不少于一个的视觉特征向量，构建数据结构来组织所述视频广告的所有视觉特征向量；B、输入待检索视频，提取待检索视频的不少于一个的视觉特征向量；C、将所述待检索视频的视觉特征向量与所述数据结构中的每个视频广告的视觉特征向量进行匹配，得到匹配结果，根据所述匹配结果更新所述数据结构；D、根据所述匹配结果判断视频检测结果，将所述检测结果输出。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘赵杰，
申请(专利权)人：天脉聚源北京传媒科技有限公司，
类型：发明
国别省市：