一种基于视频内容感知的广告推荐方法及系统技术方案

本发明专利技术涉及一种基于视频内容感知的广告推荐方法，包括：A、镜头分割步骤，利用基于聚类的方法将源视频分割为独立的场景；B、对象检测步骤，对每个独立场景利用基于区域卷积特征探测获得视频中物体的相关信息；C、广告图片检索步骤，利用衣服检索和基于类别的策略在数据库中搜索匹配物体的广告对象；D、广告目标物体优化步骤，对搜索到的匹配物体的广告对象通过优化处理得到候选广告；E、广告插入位置优化步骤，优化广告和目标物之间的距离及广告与所有物体之间的重叠区域的面积。视频广告投放优化模型提高广告的吸引力，并降低了广告给用户带来的干扰。

【技术实现步骤摘要】

本专利技术属于视频内容感知领域，尤其涉及一种互联网视频内容感知的广告推荐方 法及系统。
技术介绍
近年来，在互联网广告快速和持续发展的同时，网络视频得到大量普及。互联网 广告市场存在着巨大商机，吸引着互联网公司开发新的多媒体广告，比如谷歌的AdSense， YouTube的植入式视频广告和雅虎视频等等。大多数企业宣称自己的产品和用户体验在线 广告上获得了重大的进步，但是广告的根本目标并没有改变。它的目的在于吸引真正想购 买的用户，而减少对不感兴趣的用户的干扰。在现实世界的广告系统中，这两个目标是冲突 的，即提高收入和改善用户体验，所以需要权衡这两个目标，寻找出版商和用户之间的一种 折衷的关键是使广告更具吸引力并且减少干扰。 从广告出版商的角度，在线广告的效果通常是广告受众对一个广告或品牌认知度 的表现。最近研宄发现，对用户体验的深度理解可以帮助理解在线广告所产生的本质和正、 负面的影响，因此，用户体验从另一个角度反应了广告投放的效果。人们已经认识到，干扰 和广告的不相关性会对用户体验造成负面影响。干扰是认知或心理过程在持续进行中受到 突然的打扰，比如在激动人心的电影画面后播放与视频无关的广告。因此，有效的在线广告 推荐系统的设计应该考虑到视频内容与广告的相关性并降低干扰。 随着个人计算机和移动手持设备的普及，网络视频已经成为最常用的网络服务之 一。观看在线视频已经从一个很小的活动变为互联网的主流。除此之外，网络视频所占用 的流量也快速增长。思科预测，全球范围内，网络视频将会在2016占据互联网流量的55%。 对于在线视频网站，大部分收入来自于广告。2012年，中国在线视频市场规模达90亿人民 币（约合14.7亿美元），比去年同期相比增加43.9%。在线视频网站的收入增长主要源于 广告收入的增长。在线视频网站的广告形式是非常多样的，包括Flash广告，富媒体广告， 关键字广告。在中国网络广告市场中，在植入式视频广告的收入的市场份额只有6. 4%。相 对于其所占的网络流量，这点市场份额显得太微不足道。本文认为，低市场份额可能主要是 由于普遍采用在视频的开头或末尾显示广告的广告策略。在这种策略中，用户被迫观看广 告，但他们通常忽略它，因为它与视频的内容无关。为了提高吸引力，降低广告对用户干扰， 可以在播放视频的同时插入广告，确保广告与视频内容相关。特别地，可以让广告与视频流 中出现的物体相关。例如，一个用户可能是朱莉娅?罗伯茨的粉丝。当用户观看电影《诺丁 山》，他或她可能会被佩戴朱莉娅?罗伯茨裙子所吸引。此时，如果一个类似的裙子的广告 弹出到屏幕上或朱莉娅?罗伯茨附近，用户可能会很乐意点击，而不是对广告感到反感。
技术实现思路
本专利技术的目的在于提供一种基于视频内容感知的广告推荐方法及系统，旨在解决 上述的技术问题。 本专利技术是这样实现的，一种基于视频内容感知的广告推荐方法，所述广告推荐方 法包括以下步骤： A、镜头分割步骤，利用基于聚类的方法将源视频分割为独立的场景； B、对象检测步骤，对每个独立场景利用基于区域卷积特征探测获得视频中物体的 相关信息； C、广告图片检索步骤，利用衣服检索和基于类别的策略在数据库中搜索匹配物体 的广告对象； D、广告目标物体优化步骤，对搜索到的匹配物体的广告对象通过优化处理得到候 选广告； E、广告插入位置优化步骤，优化广告和目标物之间的距离及广告与所有物体之间 的重叠区域的面积。 本专利技术的进一步技术方案是：所述镜头分割步骤包括以下步骤： A1、根据视频时间计算聚类的类别数目N; A2、根据时间随机选取N个帧作为初始中心； A3、分别计算每帧与时间相近中心的距离并更新中心； A4、重复步骤A3知道收敛或达到运行次数上限。 本专利技术的进一步技术方案是：所述对象检测步骤包括以下步骤： B1、运用选择性地搜索在独立场景中生成与类别独立的候选区域； B2、利用CNN网络对每个候选区域提取4096维特征向量并在倒数第二层输出； B3、对提取的4096维特征向量的物体分类。 本专利技术的进一步技术方案是：所述广告图片检索步骤包括以下步骤： C1、利用基于卷积神经网络对视频中人进行性别识别； C2、对视频中人的人体特征提取； C3、对提取的人体特征进行特征匹配。 本专利技术的进一步技术方案是：广告插入视频中是采用的无缝插入。 本专利技术的另一目的在于提供一种基于视频内容感知的广告推荐系统，所述广告推 荐系统包括： 镜头分割模块，用于利用基于聚类的方法将源视频分割为独立的场景； 对象检测模块，用于对每个独立场景利用基于区域卷积特征探测获得视频中物体 的相关彳目息； 广告图片检索模块，用于利用衣服检索和基于类别的策略在数据库中搜索匹配物 体的广告对象； 广告目标物体优化模块，用于对搜索到的匹配物体的广告对象通过优化处理得到 候选广告； 广告插入位置优化模块，用于优化广告和目标物之间的距离及广告与所有物体之 间的重叠区域的面积。 本专利技术的进一步技术方案是：所述镜头分割模块包括： 类别数目统计单元，用于根据视频时间计算聚类的类别数目N; 中心初始化单元，用于根据时间随机选取N个帧作为初始中心； 距离计算单元，用于分别计算每帧与时间相近中心的距离并更新中心； 反复计算单元，重复步骤A3知道收敛或达到运行次数上限。 本专利技术的进一步技术方案是：所述对象检测模块包括： 区域生成单元，用于运用选择性地搜索在独立场景中生成与类别独立的候选区 域； 提取单元，用于利用CNN网络对每个候选区域提取4096维特征向量并在倒数第二 层输出； 分类单元，用于对提取的4096维特征向量的物体分类。 本专利技术的进一步技术方案是：所述广告图片检索模块包括： 性别识别单元，用于利用基于卷积神经网络对视频中人进行性别识别； 特征提取单元，用于对视频中人的人体特征提取； 特征匹配单元，用于对提取的人体特征进行特征匹配。 本专利技术的进一步技术方案是：广告插入视频中是采用的无缝插入。 本专利技术的有益效果是：开发了一个视频广告推荐系统，同时考虑到内容相关性和 插入广告的干扰。对于给定视频，该系统能够自动探测到出现的视频物体，并选择与该物 体相关的广告，然后把所选择的广告插入在相关物体出现的位置。特别是，对于服装广告， 本专利技术设计了一种基于深度卷积神经网络的方法识别人的性别，然后提取特征进行衣服检 索。最后，对于物体级视频广告系统（ObjectLevelVideoAdvertising，OLVA)，本专利技术提 出了全局的优化模型，该模型考虑了视频广告四个方面：内容的相关性，对用户的吸引度， 广告展示时间的分散性，广告类别的多样性。具体来说，本专利技术的主要贡献有以下三点：首 先，提出了OLVA的在线视频广告的框架。在此框架下，广告发行商可以自动探测由视频物 体，并插入与视频内容相关的广告，而无需使用任何其他的信息，如描述视频的文本信息。 二，为了提高用户体验，提出了一个优化模型，该模型旨在提高广告的吸引力，降低对用户 的干扰。本专利技术提出了一种启发式算法（HeuristicAlgorithm，HA)，来解决优化问题。本 专利技术还采用遗传算法（GeneticAlgorithm，GA)，用合适的基因编码方式解决全局优化问 题。在进一步的工作中，本发本文档来自技高网...

【技术保护点】
一种基于视频内容感知的广告推荐方法，其特征在于，所述广告推荐方法包括以下步骤：A、镜头分割步骤，利用基于聚类的方法将源视频分割为独立的场景；B、对象检测步骤，对每个独立场景利用基于区域卷积特征探测获得视频中物体的相关信息；C、广告图片检索步骤，利用衣服检索和基于类别的策略在数据库中搜索匹配物体的广告对象；D、广告目标物体优化步骤，对搜索到的匹配物体的广告对象通过优化处理得到候选广告；E、广告插入位置优化步骤，优化广告和目标物之间的距离及广告与所有物体之间的重叠区域的面积。

【技术特征摘要】

【专利技术属性】
技术研发人员：张海军，曹雄，黄晓辉，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东;44