一种基于广告视频图像数据的吸引力判定方法技术

本发明专利技术提出一种基于广告视频图像数据的吸引力判定方法，首先对得到的训练样本集中的每个广告视频数据进行特征提取，从视觉和听觉方面共提取出58个特征，形成特征向量；然后根据训练样本视听觉特征向量以及其吸引力的类别标签来训练分类模型。最后根据已经训练出的分类模型，对输入的每个吸引力类别未知的广告视频数据，首先计算其视听觉特征向量，作为分类模型的输入，接着用分类模型输出该广告视频数据的吸引力类别。本发明专利技术可以根据输入广告视频数据的视觉特征和听觉特征来对其吸引力大小进行判定，判定为吸引力大或吸引力小。该方法的判定结果具有较高的准确度，并且具有较低的运算复杂度。

【技术实现步骤摘要】
【专利摘要】本专利技术提出，首先对得到的训练样本集中的每个广告视频数据进行特征提取，从视觉和听觉方面共提取出58个特征，形成特征向量；然后根据训练样本视听觉特征向量以及其吸引力的类别标签来训练分类模型。最后根据已经训练出的分类模型，对输入的每个吸引力类别未知的广告视频数据，首先计算其视听觉特征向量，作为分类模型的输入，接着用分类模型输出该广告视频数据的吸引力类别。本专利技术可以根据输入广告视频数据的视觉特征和听觉特征来对其吸引力大小进行判定，判定为吸引力大或吸引力小。该方法的判定结果具有较高的准确度，并且具有较低的运算复杂度。【专利说明】
本专利技术属于计算机数据图像处理，涉及。
技术介绍
随着互联网、数字电视等多媒体的快速发展，以数字媒体作为载体传播广告视频已经成为商家的主要宣传手段，同时越来越多的用户将广告视频作为了解商品的主要途径。然而在广告视频数量快速增长的同时，对广告的效果评价仍缺乏有效的手段，广告效果对广告的定价，投放等都起着至关重要的作用。现阶段主要是以人工观测的方式对广告效果进行评价，但是这种观测方式的主观性大，效率低，很难满足广告视频的快速增长速度，所以找到一种可以快速，客观准确对广告视频效果进行评价的手段是一个亟待解决的问题。广告视频对人们的吸引力是决定其效果的一个关键指标，一段吸引人的广告视频也一定能够带来很好的广告效果，但是目前在视频研究领域还没有人对广告视频的吸引力进行研究。目前已有的对广告视频的研究主要是学习怎样将一段广告视频最无缝地插入到其他视频中，并且能够引起人们对该广告视频最多的关注。这种方法主要是根据给定广告视频和源视频之间的相关性，并不能单独用来对广告视频的吸引力进行研究。此外，在专利号为 7742762 的美国专利 Systems and methods for generating a comprehensive userattention model中提到了一种通过建立用户注意度模型来估计用户对视频的注意程度的方案。该方案首先从视频数据中提取出特征成分；然后对提取出的特征成分应用多种注意度模型生成注意度数据；最后将产生的注意度数据集成到一个综合的用户注意度模型上来对视频数据进行计算分析，产生一个用户注意度模型，用来估计用户在观看视频过程中被吸引的程度。但是这种方法只是在视频内部进行吸引人程度分析，用来对视频数据进行检索摘要，并没有对视频数据的整体吸引人程度进行度量，因此不能直接用来对广告视频数据的整体吸引力进行判定。本专利技术提出了一种广告视频数据的判定方法，该方法通过对广告视频数据的视听觉特征的分析来对其吸引力进行判定。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出，自动地将输入的广告视频数据判定为吸引力大或吸引力小，判定结果具有很高的准确度。技术方案—种基于广告视频图像数据的吸引力判定方法，其特征在于:步骤1、提取每一个输入的广告视频图像数据的视觉特征和提取每一个输入的广告视频图像数据的听觉特征:提取每一个输入的广告视频图像数据的视觉特征，具体的步骤如下:步骤a:对广告视频图像数据进行镜头分割并提取视频镜头关键帧:将整段视频Videol分成η个单独的视频镜头，对于每个视频镜头i，提取出其中间帧作为该视频镜头的关键帧Pi ；步骤b:计算广告视频图像数据的动态视觉特征——视频总体运动强度特征，具体实施如下:?计算广告视频图像数据的平均视频镜头运动矢I W对步骤a中镜头分割得到的每个视频镜头i用全搜索块匹配算法计算其运动矢量Mi，再根据加权平均法计算视频内部的平均视频镜头运动矢量一，计算公式为【权利要求】1.，其特征在于: 步骤1、提取每一个输入的广告视频图像数据的视觉特征和提取每一个输入的广告视频图像数据的听觉特征: 提取每一个输入的广告视频图像数据的视觉特征，具体的步骤如下: 步骤a:对广告视频图像数据进行镜头分割并提取视频镜头关键帧:将整段视频Videol分成η个单独的视频镜头，对于每个视频镜头i，提取出其中间帧作为该视频镜头的关键帧Pi ； 步骤b:计算广告视频图像数据的动态视觉特征一视频总体运动强度特征，具体实施如下: 籲计算广告视频图像数据的平均视频镜头运动矢量及:对步骤a中镜头分割得到的每个视频镜头i用全搜索块匹配算法计算其运动矢量Mi,再根据加权平均法计算视频内部的平均视频镜头运动矢量m，计算公式为 2.根据权利要求1所述的一种广告视频图像数据的吸引力判定方法，其特征在于:所述步骤I的c步骤中的亮度特征，对比度特征，高频边缘分布特征，色相计数特征为JoseSan Pedro, Stefan Siersdorfer.Ranking and Classifying Attractiveness of Photosin Folksonomies .Wffff' 09, 2009 中的特征。3.根据权利要求1所述的一种广告视频图像数据的吸引力判定方法，其特征在于:所述步骤I的b步骤中的视彩度特征,饱和度特征，自然性特征为Yan Ke, Xiaoou Tang, FengJing.The Design of High-Level Features for Photo Quality Assessment.ComputerVision and Pattern Recognition, 2006 中的特征。4.根据权利要求1所述的一种广告视频图像数据的吸引力判定方法，其特征在于:所述步骤I的e步骤中的低短时能量率特征为Lie Lu, Hao Jiang and HongJiang Zhang.ARobust Audio Classification and Segmentation Method.Multimedia’01，2001 中的特征。5.根据权利要求1所述的一种广告视频图像数据的吸引力判定方法，其特征在于:所述步骤I的g步骤中的高过零率比特征为Lie Lu, Hao Jiang and HongJiang Zhang.ARobust Audio Classification and Segmentation Method.Multimedia’01，2001 中的特征 。【文档编号】H04N21/2668GK103458279SQ201310380246【公开日】2013年12月18日 申请日期:2013年8月27日 优先权日:2013年8月27日 【专利技术者】韩军伟, 权荣, 郭雷 申请人:西北工业大学本文档来自技高网...

【技术保护点】
一种基于广告视频图像数据的吸引力判定方法，其特征在于：步骤1、提取每一个输入的广告视频图像数据的视觉特征和提取每一个输入的广告视频图像数据的听觉特征：提取每一个输入的广告视频图像数据的视觉特征，具体的步骤如下：步骤a：对广告视频图像数据进行镜头分割并提取视频镜头关键帧：将整段视频Video1分成n个单独的视频镜头，对于每个视频镜头i，提取出其中间帧作为该视频镜头的关键帧Pi；步骤b：计算广告视频图像数据的动态视觉特征——视频总体运动强度特征，具体实施如下：●计算广告视频图像数据的平均视频镜头运动矢量：对步骤a中镜头分割得到的每个视频镜头i用全搜索块匹配算法计算其运动矢量Mi，再根据加权平均法计算视频内部的平均视频镜头运动矢量，计算公式为其中ti为第i个视频镜头的持续时间，T为整个广告视频图像数据的持续时间；●计算广告视频图像数据的连续视频镜头之差的和D；计算公式为：其中，Di表示第i+1个视频镜头和第i个视频镜头之间的差，用步骤a中提取出的视频镜头的关键帧Pi+1和Pi之间的欧氏距离来计算；计算视频总体运动强度特征S：根据计算出的和D，利用公式计算广告视频图像数据的总体运动强度特征，其中v1,v2是预先设定的比例系数；步骤c：计算广告视频图像数据的静态视觉特征：首先计算一个广告视频图像数据中所有视频镜头关键帧图像的亮度特征，对比度特征，高频边缘空间分布特征、色相计数特征，饱和度特征，视彩度特征，自然性特征等特征；然后将它们平均起来作为该广告视频图像数据相应的静态视觉特征；提取每一个输入的广告视频图像数据的听觉特征，具体步骤如下：步骤d:利用Olivier?Lartillot和Petri?Toiviainen在2008年发布的MIRtoolbox工具箱，对输入的每个广告视频图像数据，计算其音频信号的均方根能量特征rms1，平均过零率特征zcr1以及短时能量曲线ste_curve，短时平均过零率曲线zcr_curve，粗糙度 曲线rough_curve；步骤e:利用步骤d计算出的短时能量曲线ste_curve来计算广告视频图像数据音频信号的低短时能量率特征lster和窗内短时能量方差特征其中，计算窗内短时能量方差特征时，首先对音频信号的短时能量曲线进行分割，每十帧分为一个小窗，对每个小窗j用公式计算其窗内短时能量方差其中，ste(k)表示第k个时间帧的短时能量值，表示第j个窗中10帧音频信号短时能量的平均值；然后用公式求所有窗的窗内短时能量方差的平均值，其中，w是指将整段音频信号短时能量曲线分割成的窗的个数；步骤f:利用步骤d计算出的粗糙度曲线rough_curve来计算广告视频图像数据音频信号的粗糙度特征；计算公式如下：R_roughness＝C1/C，其中，C为音频信号的总帧数，C1为音频信号粗糙度曲线中粗糙度值大于αm的帧数，m为粗糙度曲线上的最大值，α为一个预先设定的阈值；步骤g:利用步骤d计算出的短时平均过零率曲线zcr_curve来计算广告视频图像数据音频信号的高过零率比特征hzcrr和语音、音乐信号成分比例特征R_speech以及R_music；其中：计算语音、音乐信号成分比例特征时，首先对音频信号的短时平均过零率曲线进行分割，每十帧分为一个小窗，对每个窗计算一个局部高过零率比hzcrrj；然后根据speech＝{j|0.1＜hzcrrj＜0.25}来找出所有窗中的语音窗，放入语音信号集合speech中；再根据music＝{j|hzcrrj＝0}来找出所有窗中的音乐窗，放入音乐窗集合music中；最后，分别统计两个集合中窗的个数Cspeech和Cmusic；用公式R_speech＝Cspeech/C和R_music＝Cmusic/C计算广告视频音频信号中语音及音乐信号占的比例；步骤h:计算广告视频图像数据音频信号的MFCC特征：首先利用MIRtoolbox工具箱计算音频信号的MFCC系数，然后对MFCC系数进行一阶和二阶差分，将MFCC系数以及其差分结果都作为广告视频的听觉特征；步骤2:训练分类模型：用吸引力已知的广告视频图像数据集作为训练样本集,利用步骤1中的方法，提取训练样本集中广告视频图像数据的视觉特征以及听觉特征，然后构成一个58维的特征向量，利用训练样本集中广告视频图像数据的吸引力类别作为训练标签，训练得到一个支持向量机分类模型；步骤3:对于一个输入的广告视频图像数据，首先通过步骤1提取其视觉特征和听觉特征，然后利用步骤2中得到的支持向量机分类模型，对该广告视频图像数据的吸引力进行分类，分为吸引力大或吸引...

【技术特征摘要】

【专利技术属性】
技术研发人员：韩军伟，权荣，郭雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：