HEVC压缩域双SVM模型的视频显著性预测方法技术

本发明专利技术提出了一种基于HEVC压缩域双SVM模型的视频显著性预测方法。所提方法对视频数据集中选定的所有训练视频序列进行分类，使用分类的训练视频序列A类和B类对HEVC压缩域双SVM显著性预测模型分别进行训练，得到两种不同的压缩域显著性预测模型。从视频数据集中选取某一测试视频序列进行预分类操作，使用已经训练好的HEVC双SVM显著性预测模型对测试视频序列进行显著性的预测，所提方法能够获得较好的显著性预测效果。

Video saliency prediction method based on double SVM model in HEVC compressed domain

The invention proposes a video saliency prediction method based on double SVM model in HEVC compressed domain. The proposed method classifies all the selected training video sequences in the video dataset, and uses the classified training video sequences A and B to train the two SVM saliency prediction models in the HEVC compression domain respectively, and obtains two different saliency prediction models in the compression domain. A test video sequence is selected from the video data set for pre-classification operation, and a trained HEVC dual SVM saliency prediction model is used to predict the saliency of the test video sequence. The proposed method can achieve better saliency prediction effect.

【技术实现步骤摘要】
HEVC压缩域双SVM模型的视频显著性预测方法
本专利技术涉及一种压缩域视频显著性预测方法，属于视频显著性检测领域。
技术介绍
鉴于目前视频信号分辨率不断提高以及并行处理的广泛应用，2013年HEVC(HighEfficiencyVideoCoding)编码标准得以发布。与先前的H.264/AVC标准相比较，HEVC定义了灵活的分块结构，同时对各个编码模块进行了优化和改进，并添加了大量新的编码工具。在相同应用条件和视频质量前提下，HEVC比H.264/AVC的压缩率提高一倍，能够更有效地提取视频的特征信息，这使得HEVC压缩技术日益成为视频分析的常用工具。人类在观察物体时会迅速捕捉与背景和周围不同的显著性区域，以此实现在短时间内最大化地获取有用信息。因此，一个计算视觉显著性模型可以极大地帮助解决许多具有挑战性的计算机视觉和图像处理问题。例如，通过检测突出的位置和忽略大部分无关的背景，目标识别将会变得更有效和可靠；通过检测时空显著性点，视觉显著性模型有利于实现目标的跟踪。运动显著性是视频显著性预测区别于图像显著性预测的一个重要特征，它能够帮助机器更好地预测视频中的重要内容。基于像素域的视频显著性预测算法，在预测之前需要将压缩视频完全解码至像素域中，增加了终端设备的计算复杂度。若直接在压缩域中进行显著性预测，可避免解码带来的复杂运算步骤，也可提高数据处理的效率。
技术实现思路
本专利技术的目的是：利用压缩码流中的运动信息获得与人眼视觉注视机制一致的视频显著性预测结果。为了达到上述目的，本专利技术的技术方案是提供了一种HEVC压缩域双SVM模型的视频显著性预测方法，其特征在于，包括以下步骤：步骤1、获取视频数据集，对其中的视频序列分成训练视频序列和测试视频序列两类；步骤2、对视频数据集中选定的所有训练视频序列进行分类，分类过程包括以下步骤：步骤201、使用HEVC压缩域视频显著性预测方法对某一训练视频序列进行显著性的预测；步骤202、选定一种像素域显著性预测方法对步骤201中相同的训练视频序列进行显著性的预测；步骤203、使用显著性预测评估指标对步骤201获得的显著性预测结果及步骤202获得的显著性预测结果进行评估；步骤204、依据步骤203的评估结果对当前训练视频序列分类，若通过步骤202得到的当前训练视频序列的显著性预测结果好于通过步骤201得到的同一训练视频序列的显著性预测结果，则当前训练视频序列为A类训练视频序列，否则为B类训练视频序列；步骤3、分别使用A类训练视频序列及B类训练视频序列对HEVC压缩域双SVM显著性预测模型进行训练，得到两种不同的压缩域显著性预测模型；步骤4、使用已经训练好两种不同的压缩域显著性预测模型对某个测试视频序列进行显著性的预测，包括以下步骤：步骤401、从所有测试视频序列中任意选取一个测试视频序列，对其进行预分类操作，获得当前测试视频序列所属的类别；步骤402、获取测试视频序列的HEVC压缩码流，从压缩码流中提取HEVC特征；步骤403、将获得的HEVC特征输入到与当前测试视频序列所属的类别相对应的压缩域显著性预测模型；步骤404、进行卡尔曼滤波，得到最终的视频显著性图。优选地，所述步骤201包括以下步骤：步骤2011、从所有训练视频序列中任意选取一个训练视频序列，获取当前训练视频序列的HEVC压缩码流；步骤2012、从HEVC压缩码流中提取HEVC特征；步骤2013、将获得的HEVC特征输入到HEVC显著性预测模型；步骤2014、进行前向平滑滤波；步骤2015、得到最终的视频显著性图。优选地，所述步骤203中使用的显著性预测评估指标为AUC、CC和NSS。优选地，所述步骤3包括以下步骤：步骤301、获取A类训练视频序列或B类训练视频序列的HEVC压缩码流；步骤302、提取相关的HEVC特征；步骤303、将获得的HEVC特征和人眼视觉注视图输入到HEVC压缩域双SVM显著性预测模型；步骤304、得到两种分类训练的压缩域显著性预测模型。本专利技术针对视频的显著性预测任务提供了一种新的解决思路，通过结合压缩域预测方法实时性高、能有效利用视频信息的特点，以及像素域预测方法在某些场景下显著性预测更为准确的优势，能够实现视频序列的有效分类，从而针对不同类型的视频序列对HEVC压缩域SVM显著性模型进行高效、准确的训练。本专利技术对视频的显著性预测准确度高，为后续基于视频显著性的应用领域提供了较好的基础。附图说明图1是本专利技术的主要处理流程图；图2是本专利技术的视频分类流程图；图3是本专利技术的基于视频分类的双SVM模型训练流程图；图4是HEVC压缩域视频显著性预测流程图；图5是基于像素域的FES视频显著性预测流程图。具体实施方式为使本专利技术更明显易懂，兹以优选实施例，并配合附图作详细说明如下。本专利技术提供了一种HEVC压缩域双SVM模型的视频显著性预测方法，包括以下步骤：步骤1、获取视频数据集，对其中的视频序列分成训练视频序列和测试视频序列两类；步骤2、对视频数据集中选定的所有训练视频序列进行分类，分类过程包括以下步骤：步骤201、使用HEVC压缩域视频显著性预测方法对某一训练视频序列进行显著性的预测，包括以下步骤：步骤2011、从所有训练视频序列中任意选取一个训练视频序列，获取当前训练视频序列的HEVC压缩码流；步骤2012、从HEVC压缩码流中提取HEVC特征；步骤2013、将获得的HEVC特征输入到HEVC显著性预测模型；步骤2014、进行前向平滑滤波；步骤2015、得到最终的视频显著性图。步骤202、选定一种像素域显著性预测方法对步骤201中相同的训练视频序列进行显著性的预测；步骤203、使用显著性预测评估指标对步骤201获得的显著性预测结果及步骤202获得的显著性预测结果进行评估，使用的显著性预测评估指标为AUC、CC和NSS；步骤204、依据步骤203的评估结果对当前训练视频序列分类，若通过步骤202得到的当前训练视频序列的显著性预测结果好于通过步骤201得到的同一训练视频序列的显著性预测结果，则当前训练视频序列为A类训练视频序列，否则为B类训练视频序列；步骤3、分别使用A类训练视频序列及B类训练视频序列对HEVC压缩域双SVM显著性预测模型进行训练，得到两种不同的压缩域显著性预测模型，包括以下步骤：步骤301、获取A类训练视频序列或B类训练视频序列的HEVC压缩码流；步骤302、提取相关的HEVC特征；步骤303、将获得的HEVC特征和人眼视觉注视图输入到HEVC压缩域双SVM显著性预测模型；步骤304、得到两种分类训练的压缩域显著性预测模型；步骤4、使用已经训练好两种不同的压缩域显著性预测模型对某个测试视频序列进行显著性的预测，包括以下步骤：步骤401、从所有测试视频序列中任意选取一个测试视频序列，对其进行预分类操作，获得当前测试视频序列所属的类别；步骤402、获取测试视频序列的HEVC压缩码流，从压缩码流中提取HEVC特征；步骤403、将获得的HEVC特征输入到与当前测试视频序列所属的类别相对应的压缩域显著性预测模型；步骤404、进行卡尔曼滤波，得到最终的视频显著性图。结合图1，本实例给出了基于HEVC压缩域双SVM模型的视频显著性预测方法。所提方法获取视频数据集，对其中的视频序列分成训本文档来自技高网...

【技术保护点】
1.一种HEVC压缩域双SVM模型的视频显著性预测方法，其特征在于，包括以下步骤：步骤1、获取视频数据集，对其中的视频序列分成训练视频序列和测试视频序列两类；步骤2、对视频数据集中选定的所有训练视频序列进行分类，分类过程包括以下步骤：步骤201、使用HEVC压缩域视频显著性预测方法对某一训练视频序列进行显著性的预测；步骤202、选定一种像素域显著性预测方法对步骤201中相同的训练视频序列进行显著性的预测；步骤203、使用显著性预测评估指标对步骤201获得的显著性预测结果及步骤202获得的显著性预测结果进行评估；步骤204、依据步骤203的评估结果对当前训练视频序列分类，若通过步骤202得到的当前训练视频序列的显著性预测结果好于通过步骤201得到的同一训练视频序列的显著性预测结果，则当前训练视频序列为A类训练视频序列，否则为B类训练视频序列；步骤3、分别使用A类训练视频序列及B类训练视频序列对HEVC压缩域双SVM显著性预测模型进行训练，得到两种不同的压缩域显著性预测模型；步骤4、使用已经训练好两种不同的压缩域显著性预测模型对某个测试视频序列进行显著性的预测，包括以下步骤：步骤401、从所有测试视频序列中任意选取一个测试视频序列，对其进行预分类操作，获得当前测试视频序列所属的类别；步骤402、获取测试视频序列的HEVC压缩码流，从压缩码流中提取HEVC特征；步骤403、将获得的HEVC特征输入到与当前测试视频序列所属的类别相对应的压缩域显著性预测模型；步骤404、进行卡尔曼滤波，得到最终的视频显著性图。...

【技术特征摘要】
1.一种HEVC压缩域双SVM模型的视频显著性预测方法，其特征在于，包括以下步骤：步骤1、获取视频数据集，对其中的视频序列分成训练视频序列和测试视频序列两类；步骤2、对视频数据集中选定的所有训练视频序列进行分类，分类过程包括以下步骤：步骤201、使用HEVC压缩域视频显著性预测方法对某一训练视频序列进行显著性的预测；步骤202、选定一种像素域显著性预测方法对步骤201中相同的训练视频序列进行显著性的预测；步骤203、使用显著性预测评估指标对步骤201获得的显著性预测结果及步骤202获得的显著性预测结果进行评估；步骤204、依据步骤203的评估结果对当前训练视频序列分类，若通过步骤202得到的当前训练视频序列的显著性预测结果好于通过步骤201得到的同一训练视频序列的显著性预测结果，则当前训练视频序列为A类训练视频序列，否则为B类训练视频序列；步骤3、分别使用A类训练视频序列及B类训练视频序列对HEVC压缩域双SVM显著性预测模型进行训练，得到两种不同的压缩域显著性预测模型；步骤4、使用已经训练好两种不同的压缩域显著性预测模型对某个测试视频序列进行显著性的预测，包括以下步骤：步骤401、从所有测试视频序列中任意选取一个测试视频序列，对其进行预分类操作，获得当前测试视频序列所属的类别；步骤402、获取测试...

【专利技术属性】
技术研发人员：张鑫生，刘浩，孙晓帆，吴乐明，况奇刚，魏国林，廖荣生，孙嘉曈，刘洋，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31