一种基于分层匹配的视频广告识别方法技术

一种基于分层匹配的视频广告识别方法，通过局部敏感性哈希算法（Ｌｏｃａｌｉｔｙ　　Ｓｅｎｓｉｔｉｖｅ　　Ｈａｓｈ，ＬＳＨ）和精细尺度连续过滤算法（Ｆｉｎｅ　　Ｇｒａｎｕｌａｒｉｔｙ　　Ｓｕｃｃｅｓｓｉｖｅ　　Ｅｌｉｍｉｎａｔｉｏｎ，ＦＧＳＥ），利用广告的新颖的视频特征结合后处理技术开发出一套能够快速检测电视节目中是否存在数据库中的广告。技术方案是：其特征在于包含以下步骤：离线数据库建立与在线监测，其中离线数据库建立分为离线预处理与哈希表建立；在线监测部分分为在线预处理、由粗糙到精细的二级匹配和后处理。

【技术实现步骤摘要】

本专利技术属于视频广告识别方法领域，尤其涉及一种基于分层匹配的视频广告 识别方法。
技术介绍
随着科学技术和信息技术的进步，特别是计算机技术、网络技术和大容量存 储技术的不断发展，人们已经运用各种手段大量的采集和生产了各种类型的多媒 体信息数据。多媒体已成为信息高速公路上传送数据的主要组成部分。在这些多 媒体信息中，数字化媒体结合了视觉和听觉，有效地向人们提供了大量的信息， 具有重要的应用和研究价值。多媒体数据流中，既包括结构化的数据也含有非结构化数据。在多媒体数据 中除了包含传统的文本和数字外，其它主要包含的数据类型还有图形、图像、 动画、视频、音频以及上述各种媒体的组合。为了能够在数据量巨大和结构复杂 的多媒体数据中快速的定位感兴趣的信息，人们提出了比较有效的检索算法—— 基于内容的多媒体信息检索(Content- based multimedia information retrieval, CMIR)。所谓基于内容的多媒体检索是指对多媒体数据(如视频、音 频流等)中所蕴藏的物理和语义内容进行计算机分析和理解，以方便用户查询， 其本质是对无序的多媒体数据流结构化，提取语义信息，保证多媒体内容能被快 速检索。多媒体检索与文本信息检索相比要复杂的多。广告视频检索作为多媒体视频检索的一个方面，正引起人们越来越多的关 注。这是因为广告视频在日常的信息传递中占据着越来越重要的角色，随着商业 化进程的加快，广告越来越频繁的出现在电视、广播、互联网等多个媒体平台， 潜移默化的影响着人们的生活方式。广告作为媒体中商业信息的主要载体在数字 化的今天依然扮演着不可或缺的角色。伴随着网络技术及多媒体技术的日益普 及，数字电视技术在个人与专业应用领域得到了广泛的应用，例如电视节目转录 软件，电视节目监测系统等。如何通过计算机自动甄别广告与正常的视频节目成 为了迫切的市场需要。通过观察，广告的受众可以分为一般观众群体、广告公司和监测机构，不同 的人群对广告内容的需求不尽相同。对于观众来说， 一方面广告影响了正常的视 频节目的播放，扰乱了人们正常地观看模式，有时用户在录制电视节目的过程中， 也不得不花费大量的存储空间，录制这些对自己没有用处的信息。另一方面，观 众如何从浩如烟海的众多广告中，快速寻找自己感兴趣的内容，也已成为一个亟 待解决的问题。对于广告公司而言，广告视频在商业信息的传递中占据着越来越 重要的地位，他们通过对广告的分析，帮助客户了解竞争对手的产品情况，检测 电视台是否完全履行广告合同或是通过监测其他广告公司的广告提高自身的广 告创作技术。监测机构往往是隶属于国家的专业管理部门，他们实时监测广告， 保留违法的证据与信息用以査处违反国家政策法规的公司与个人，维护社会的正 常秩序。每一天，各个电视台都会产生海量的视频数据，如果对广告的监测、过 滤、分析等工作，完全通过人工来完成，处理一个电视台一天的广告数据，往往 需要耗费多名工作人员四五天的工作量，如果考虑到全国多个电台的监测，工作 量更是呈现指数级的增长。如何开发一种能够自动识别广告的电视监测系统，分 析、监测、滤除广告，越来越受到了各方面的重视与关注。针对广告视频和普通节目视频之间的特征区别，人们提出了很多的广告检索 算法。根据检索算法基于的特征不同，比较实用的广告监测系统的检索算法大体 上可以分成以下三类1、基于标识的方法(Logo-based methods)此方法是最早被提出用于广告视频定位的方法。它主要是利用电视台的台标 来进行检测的。电视台在播放一般的节目时会将自己的台标显示出来，而当播放 广告时一般就会隐去台标，这使得我们可以通过检索台标的存在与否来区分广告 视频和一般视频。台标一般分为三种静态台标、半透明台标和动态台标。针对 不同形态的台标，都有相应的检索算法，以实现对广告视频的定位。其中对于静态台标的研究是比较深入的，而且应用得很广泛。但是对于后两种台标，因为其 自身的制作手法和演示特点，检测起来比较困难。所以还没有比较成熟的检测算 法。2、 基于规则的方法(Rule-based methods)基于规则的系统大多是利用广告镜头信息来进行检测，通过多组特征和规则 区分广告视频与一般电视节目视频。由于广告视频和普通的电视节目在某些特征 方面存在着比较明显的差异，因此通过定义和利用这些区分性比较强的特征，就 可以实现对广告视频的检测。比如在视频方面可以通过提取一段视频帧的平均边 缘变化率A-ECR (Average of Edge Change Ratio )和边缘变化方差V-ECR (Variance of Change Ratio )以及平均帧差A-FD (Average of Frame Difference) 和帧方差V-FD (Variance of Frame Difference)来实现检测。在音频方面，广 告视频部分的音频内容和普通的节目部分的音频信息也存在一些明显的特征，比 如音频多维频率普系数(Mel-frequency C印stral Coefficient)和音频信息熵来实现对视频广告的分割检测。不过音频方面的特征一般都是用于辅助视频特征检 测方面，通过两者的结合实现对广告段更加精确的分割检测。在近期的研究中， 很多基于规则的检索方法中有引入了分类器算法，通过对样本的训练，获得分类 性比较好的分类器，然后对广告镜头和普通节目镜头进行分类，从而得到比较精 确的检测结果。3、 基于识另ij的方法(Recognition-based methods)此方法利用视频数据库预先储存大量的已知广告的特征信息，采用相应的匹 配算法计算待确定镜头和广告样本镜头之间的相似度，从而确定其是否为数据库中的广告。在实际的检索系统中首先检测出一些潜在的、可能是广告的视频或音 频段，然后将其特征和广告数据库里面的广告视频段或音频段的特征逐一进行比 较，然后可以判断出此部分是否为数据库里面的广告。但是由于广告数据是一种非格式化、时空并存、数据量大的信息，对于它的 检测就会涉及到很多的问题。此外由于不同的广告视频在制作方式和表现手法上 的多种多样，使得上述三大类广告检测算法在对广告视频检测上都存在着很多问 题。(1)、对于基于标识的检测算法来说，它只是简单的依靠台标的存在来判断 广告视频的存在，因此首先必须能正确的检测出台标。但是现在很多电台在电视 节目里面插播广告视频的时候也往往会将台标显示出来，这样基于标识的检测算 法就会失效；另外，现在电视台的台标越来越复杂，从早期的静态台标演变成现 在的动态的、半透明的、时隐时现的台标，这些使得台标的检测越来越困难。(2)、对于基于规则的方法来说，此方法需要定义多组用来区分广告和普通 节目的特征和阈值。因此区分特征和阈值的选择是十分重要的。但是由于广告是 多格式化的，风格不同的广告之间的区别也十分明显，因此很难找到通用的区分 特征。另外检测系统可能对于某些阈值比较敏感，所以对于所有类型的视频很难 找到一组统一的阈值。而且这类方法过分依赖于各国各地的法律法规，剪切手段， 以及各种节目的制作风格，不能够形成一种通用的电视监测系统。监测的正确率 和查全率往往受到一些视觉信息或听觉信息相类似的节目的干扰本文档来自技高网...

【技术保护点】
一种基于分层匹配的视频广告识别系统，其特征在于包含以下步骤：离线数据库建立与在线监测，其中离线数据库建立分为离线预处理与哈希表建立；在线处理部分分为在线预处理、由粗糙到精细的二级匹配和后处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵耀，刘楠，朱振峰，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：11[中国|北京]