一种基于视频主角识别的服装广告投放方法及系统技术方案

本发明专利技术涉及一种基于视频主角识别的服装广告投放方法及系统，所述方法包括以下步骤：A、人脸检测：得到视频图片中的人脸图片以及坐标位置等信息；B、人脸跟踪：将连续视频帧中同一人的人脸图片聚集到一起，实现人脸的初步聚类；C、人脸验证：计算两两人脸图片之间的距离；D、人脸聚类：把同一人的人脸图片聚集到一起，找到视频中的主要角色；E、人体探测：对每帧视频图片利用基于区域卷积特征探测获得视频中人体的相关信息；F衣服标注：人体图片中衣服的分类和标注；G背景去除以及人体分割与聚类：把人体从图片中剪切出来，去掉与人体无关的背景，把人体衣服分割为多个区域；H衣服图片检索，利用衣服检索数据库中搜索匹配衣服的广告对象。

【技术实现步骤摘要】

本专利技术属于视频内容感知领域，尤其涉及一种互联网视频内容感知的广告推荐方法及系统。
技术介绍
随着互联网和移动端的迅速普及，在线视频已经成为互联网领域最重要的应用之一。2014年全球在线视频广告市场持续高速增长，国内相关市场则保持着高达40％以上的增长率，而传统的电视媒体广告已经开始面临萎缩的历史转折，随着用户的迁移，运营商正把传统电视的预算，逐渐往在线视频转。目前，互联网视频广告基本是采用了传统电视广告的投放方式，主要是在视频播放前、播放中间、播放结束等时段植入一定时间的广告。经调查统计认为，在线视频广告的特性决定了广告播放时间不能过长，否则广告投放将对产品产生很大的负面影响。因此在线视频广告投放专家建议最好根据互联网视频或其它数字媒体的内容和特性进行更精确的挖掘，制作更好体验的视频广告，而不是直接就把超长乏味的广告用于在线视频广告的投放。因为在用户至上的时代，很少会有人能够看完60秒的视频广告。互联网运营商一直喊着用户至上的口号，但实际情况却是越来越长广告时间。某一些视频门户网站已经破天慌地把视频开始前植入的广告播放时间提到90秒。用户不会为了广告花费如此长的时间，导致大部分用户选择静音逃避广告，从而造成了广告投放效果的严重下降。用户体验代表着广告的投放效果，强制性观看毫无兴趣的广告可能带来相反的作用。在互联网竞争激烈和顾客至上的时代，一味的追求商业利益，将会使客户选择离开你。视频广告投放方式的单一以及越来越长的播放时间，使观众对广告产生了强大的抗拒感，不管广告商愿意为此花多大代价，互联网运营商也不能去挑战用户的忍耐力。现有的投放策略都是强制用户观看广告，而大部分观众对广告没有兴趣而选择忽略它。如何提高视频广告的亲和力，减少广告对视频的侵犯，使视频广告有更好的用户体验，是现有互联网运 行商必须考虑解决的问题。为了让投放的广告与视频内容紧密的融合起来，降低对视频的侵扰，使视频广告更加精确、自然的展示给观众，我们需要研究新的广告投放方式。明星是商品最好的推销者，如果视频中植入的广告能够与剧情、角色紧密结合，将会加深观众对广告的印象。例如，如果视频主角穿了一款很时尚漂亮的衣服或背了最新款式的包包，系统知道后就会根据商品库识别除它是哪一款包。当视频放到这个场景的时候，就会提示用户，你如果想买与主角同款的包包，可以直接点击，然后右侧会出现电商的广告，告诉你去哪个电商平台。如果采用这种方式广告投放，将会直接拉近视频内容和电商之间的距离，增加观众对广告的兴趣。
技术实现思路
本专利技术的目的在于提供一种基于视频主角识别的服装广告投放方法及系统，旨在解决上述的技术问题。本专利技术通过以下技术方案实现：一种基于视频主角识别的服装广告投放方法，所述方法包括以下步骤：A、人脸检测：得到视频帧图片中的人脸图片以及坐标位置；、B、人脸跟踪：将连续视频帧中同一人的人脸图片聚集到一起，实现人脸的初步聚类；C、人脸验证：计算两两人脸图片之间的距离；D、人脸聚类：把同一人的人脸图片聚集到一起，找到视频中的主要角色；E、人体探测：对每帧视频图片利用基于区域卷积特征探测获得视频中人体的相关信息；F、衣服标注：实现人体图片中衣服的分类和标注；G、背景去除以及人体分割与聚类：把人体从图片中剪切出来，去掉与物体无关的背景；把人体衣服分割为多个区域；H、衣服图片检索：利用衣服检索数据库中搜索匹配衣服的广告对象。作为本专利技术的进一步改进，所述人脸检测包括以下步骤：A1、提取图片中区域的HOG特征和LUV特征；A2、利用多示例支持向量机算法训练模型，对图片中区域进行分类；A3、根据多个区域的综合得分判断人脸是否存在。作为本专利技术的进一步改进，所述人脸跟踪步骤包括以下步骤：B1、通过对基础图像利用循环偏移的方法得到一些近似的负样本；B2、利用这些负样本进行训练，得到的样本循环矩阵，把岭回归的求解问题转换到傅里叶变换域；B3、计算基于测试样本的循环偏移构成的所有测试样本的响应；B4、利用KCF跟踪器根据跟踪规则实现人脸图片的初步聚类。作为本专利技术的进一步改进，所述人脸验证步骤包括以下步骤：C1、人脸图片通过卷积神经网络得到160维的向量； C2、连接两张人脸图片的向量；C3、利用分类器计算两两人脸之间的距离。作为本专利技术的进一步改进，所述人脸聚类步骤包括以下步骤：D1、初步聚类，当两两人脸图片的距离小于阈值，即可判断为一类，形成较多的类簇；D2、继续聚类，使用更大的人脸距离阈值，当两个类簇元素之间距离小于阈值个数大于阈值y才能融合为一类；D3、重复步骤D2，直到所有的人脸图片属于某一类不再变化。作为本专利技术的进一步改进，所述人体探测步骤包括以下步骤：E1、运用选择性地搜索在独立场景中生成与类别独立的候选区域；E2、利用CNN网络对每个候选区域提取4096维特征向量并在倒数第二层输出；E3、对提取的4096维特征向量的物体分类。作为本专利技术的进一步改进，所述衣服标注步骤包括以下步骤：F1、对人体图片进行超像素化，利用函数来表示一个具有一定形状、性质的像素点；F2、使用人体对齐的方法把人体分为多个部分；F3、提取各个区域的多种特征，利用已有模型预测衣服类型。作为本专利技术的进一步改进，所述背景去除以及人体分割与聚类步骤包括以下步骤：G1、使用上下文建模算法和条件随机场进行背景去除；G2、利用基于图的图像分割算法和近似高斯混合聚类实现衣服区域的分割；作为本专利技术的进一步改进，所述衣服图片检索步骤包括以下步骤：H1、利用人体部分对齐方法实现人体的分割；H2、对视频中人的人体特征提取；H3、对提取的人体特征进行特征匹配。本专利技术的有益效果是：本专利技术的基于视频主角识别的服装广告投放方法及系统，能够实现广告与视频主要角色相连，与视频内容相关。主角是整个视频的核心部分，如果能够实现视频广告与主角的关联，同时与视频的剧情相关，这样的广告会给观众留下更加深刻的印象。同时基于主角的广告投放方式可以把集中在一起的超长广告分散开来，合理的分散到视频中，使广告和视频角色、场景更加完美的融合。人性化投放广告是未来的发展方向，对观众来说，广告推荐的人性化可以增加观众的兴趣，把广告与视频场景结合，可以使观众深入其中，将极大的提高了广告投放效果。通过分析给定的视频，本专利技术采用基于人脸验证的聚类算法，能够自动挖掘出视频中的主要角色，检测出视频中可以投放广告的对象，并选择与该对象最接近的广告。附图说明图1是本专利技术的基于视频主角识别的服装广告投放方法的流程图；图2是本专利技术的基于视频主角识别的服装广告投放系统的结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。附图1示出了本专利技术提供的基于视频主角识别的服装广告投放方法的流程图，其详述如下：步骤S1，在不同分辨率情况下，提取不同的方向梯度直方图(HOG)和LUV特征。训练模型时，DPM(Deformable Part Model)使用了多示例支持向量机算法(MI-SVM)，相比普通的支持向量机算法，MI-SVM把样本间隔最大化转化为样本集间隔最大化，具体来讲就是使用最关键的正样本和负样本训练模型。DPM探测物体的时候，通过计算图本文档来自技高网...

【技术保护点】
一种基于视频主角识别的服装广告投放方法，其特征在于：所述方法包括以下步骤：A、人脸检测：得到视频帧图片中的人脸图片以及坐标位置；、B、人脸跟踪：将连续视频帧中同一人的人脸图片聚集到一起，实现人脸的初步聚类；C、人脸验证：计算两两人脸图片之间的距离；D、人脸聚类：把同一人的人脸图片聚集到一起，找到视频中的主要角色；E、人体探测：对每帧视频图片利用基于区域卷积特征探测获得视频中人体的相关信息；F、衣服标注：实现人体图片中衣服的分类和标注；G、背景去除以及人体分割与聚类：把人体从图片中剪切出来，去掉与物体无关的背景；把人体衣服分割为多个区域；H、衣服图片检索：利用衣服检索数据库中搜索匹配衣服的广告对象。

【技术特征摘要】
1.一种基于视频主角识别的服装广告投放方法，其特征在于：所述方法包括以下步骤：A、人脸检测：得到视频帧图片中的人脸图片以及坐标位置；、B、人脸跟踪：将连续视频帧中同一人的人脸图片聚集到一起，实现人脸的初步聚类；C、人脸验证：计算两两人脸图片之间的距离；D、人脸聚类：把同一人的人脸图片聚集到一起，找到视频中的主要角色；E、人体探测：对每帧视频图片利用基于区域卷积特征探测获得视频中人体的相关信息；F、衣服标注：实现人体图片中衣服的分类和标注；G、背景去除以及人体分割与聚类：把人体从图片中剪切出来，去掉与物体无关的背景；把人体衣服分割为多个区域；H、衣服图片检索：利用衣服检索数据库中搜索匹配衣服的广告对象。2.根据权利要求1所述的方法，其特征在于：所述步骤A包括以下步骤：A1、提取图片中区域的HOG特征和LUV特征；A2、利用多示例支持向量机算法训练模型，对图片中区域进行分类；A3、根据多个区域的综合得分判断人脸是否存在。3.根据权利要求1所述的服装广告投放方法，其特征在于：所述步骤B包括以下步骤：B1、通过对基础图像利用循环偏移的方法得到一些近似的负样本；B2、利用这些负样本进行训练，得到的样本循环矩阵，把岭回归的求解问题转换到傅里叶变换域；B3、计算基于测试样本的循环偏移构成的所有测试样本的响应；B4、利用KCF跟踪器根据跟踪规则实现人脸图片的初步聚类。4.根据权利要求1所述的服装广告投放方法，其特征在于：所述步骤D包括以下步骤：D1、初步聚类，当两两人脸图片的距离小于阈值，即可判断为一类，形成较多的类簇；D2、继续聚类，使用更大的人脸距离阈值，当两个类簇元素之间距离小于阈值个数大于阈值y才能融合为一类；D3、重复步骤D2，直到所有的人脸图片属于某一类不再变化。5.根据权利要求1所述的服装广告投放方法，其特征在于，所述步骤F包括以下步骤：F1、对人体图片进行超像素化，利用函数来表示一个具有一定形状、性质的像素点；F2、使用人体对齐的方法把人体分为多个部分；F3、提取各个区域的多种特征，利用已有模型预测衣服类型。6.一种基于视频主角识别的服装广告投放系统，其特征在于：所述系统包括：人脸检测模块，用于得到视频帧...

【专利技术属性】
技术研发人员：张海军，安玉松，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东;44