一种基于强目标约束视频显著性的视频分割方法技术

本发明专利技术公开了一种基于强目标约束视频显著性的视频分割方法，属于图像处理技术领域。本发明专利技术方法在图像显著性的基础上引入了强目标约束，即通过多尺度跟踪算法和光流校正获得目标的位置及尺度约束，通过历史帧分割结果获得目标的颜色约束，计算得到视频显著性结果；对此视频显著性结果做直方图分类操作，获得标签掩图，计算当前帧的前/背景先验概率模型；在当前帧构建基于超像素的时空连续全连接条件随机场模型，使用此先验概率模型定义数据项，结合超像素间的颜色距离、空间距离和边缘关系定义帧内平滑项和帧间平滑项，并使用快速高维高斯滤波算法进行优化求解，完成视频目标分割。本发明专利技术方法有效的提高了视频分割的准确性和时间效率。

A video segmentation method based on strong target constrained video saliency

The invention discloses a video segmentation method based on strong target constraint video saliency, which belongs to the field of image processing technology. The method of the invention introduces strong target constraint based on image saliency, through multi-scale optical flow tracking algorithm and correction of position and scale constraints for targets, obtain the target color constraint from the segmentation results of history frame, the calculated results of this video was significant; video the histogram classification operation tag mask figure, calculation of the current frame before / prior probability model in time and space background; super pixel based on continuous full connected CRFs model building frame, using the prior probability model definition data, combined with super pixels color distance and spatial distance and edge relation definition of intra and inter frame smooth smooth, and to optimize the use of fast Gow Goss filtering algorithm, complete video object segmentation. The method of the invention effectively improves the accuracy and time efficiency of video segmentation.

【技术实现步骤摘要】
一种基于强目标约束视频显著性的视频分割方法
本专利技术属于图像处理
，更具体地，涉及一种基于强目标约束视频显著性的视频分割方法。
技术介绍
视频分割是针对视频中的每一帧图像，分割出其中的前景物体，即完全确定前景轮廓的一种技术。视频分割在视频处理算法中往往处于最底层的环节，其分割结果被用于更上层的视频应用问题，如视频的前景特征提取、前景分类、前景识别等。同时，在工业生产中，也存在对视频分割的需求，诸如视频剪接、三维视频重建、视频语义分析等。在视频分割问题中，需要将每帧图像中的前景区域分割出来。通常地，视频分割算法将该问题简化为前景可能区域识别和图像分割两个部分，即首先确定当前视频帧图像中前景可能存在的区域，接着提炼该区域并使用现有的图像分割方法对其进行分割，获得当帧的前景分割结果。视频分割根据交互量的有无可以分为无监督视频分割和有监督视频分割。无监督视频分割方法意味着不需要人工交互，即给定输入视频后，算法直接计算获得处理结果。这种全自动的视频分割方式避免了人力消耗，因此其应用成本很低。然而，由于无监督视频分割方法总是对视频帧中的所有区域作计算，因此，其处理效率极低，且分割结果的准本文档来自技高网...

【技术保护点】
一种基于强目标约束视频显著性的视频分割方法，其特征在于，所述方法包括：(1)计算视频帧的光流运动信息和超像素分割结果；(2)对视频帧序列中第一帧图片进行交互分割，获得目标框；通过目标框标定目标前景并完成分割获得目标分割结果；并在目标分割结果的基础上利用目标框的位置和大小信息初始化多尺度跟踪模型；(3)读取下一帧图像，使用多尺度跟踪模型获得当前帧的目标框，使用当前帧光流运动信息和上一帧的目标分割结果校正当前帧目标框，并利所述校正后目标框的目标位置和尺度信息其更新多尺度跟踪模型；(4)根据第一帧与上一帧的目标分割结果获取当前帧的目标颜色模型；将所述目标颜色模型、目标位置与尺度信息以强目标约束的形式...

【技术特征摘要】
1.一种基于强目标约束视频显著性的视频分割方法，其特征在于，所述方法包括：(1)计算视频帧的光流运动信息和超像素分割结果；(2)对视频帧序列中第一帧图片进行交互分割，获得目标框；通过目标框标定目标前景并完成分割获得目标分割结果；并在目标分割结果的基础上利用目标框的位置和大小信息初始化多尺度跟踪模型；(3)读取下一帧图像，使用多尺度跟踪模型获得当前帧的目标框，使用当前帧光流运动信息和上一帧的目标分割结果校正当前帧目标框，并利所述校正后目标框的目标位置和尺度信息其更新多尺度跟踪模型；(4)根据第一帧与上一帧的目标分割结果获取当前帧的目标颜色模型；将所述目标颜色模型、目标位置与尺度信息以强目标约束的形式融入图像显著性，计算得到强目标约束视频帧显著性；(5)对视频帧显著性结果做阈值限定及直方图分割操作，获得当前帧粗略的标签掩图，并结合第一帧的目标分割结果计算当前帧的前/背景先验概率模型；(6)建立基于超像素的时空连续全连接条件随机场模型，使用当前帧的前/背景先验概率模型定义数据项，结合超像素间的颜色距离、空间距离和边缘关系定义帧内平滑项和帧间平滑项；使用快速高维高斯滤波算法进行优化求解，获得当前帧的目标分割结果；(7)重复步骤(3)～(6)，直至视频分割结束。2.根据权利要求1所述的一种视频分割方法，其特征在于，所述步骤(1)中光流运动信息的计算过程包括：(11)计算视频帧中像素q处的光流梯度强度：其中，λm表示强度参数；表示像素q处的梯度值；(12)计算视频帧中每个像素与邻域像素的运动方向差异的极大值：其中，表示像素q与像素q'之间的角度差值；Qq为像素q的邻域；λθ表示角度差值参数；(13)视频帧中的像素速度差异性为：其中，Tm表示判定阈值(14)判断若bq是否大于差异阈值，是则像素q为运动区域的轮廓像素；(15)以视频帧中任意像素为基准，自12点方向开始，顺时针每隔45度发射一条射线，可以得到8条射线，分别统计射线与轮廓像素的相交次数，若存在4条以上与轮廓像素相交的奇数条射线，则所述像素被判定为有效运动像素；否则，该像素被判定为噪声像素。3.根据权利要求1所述的一种视频分割方法，其特征在于，所述步骤(1)中计算超像素分割结果具体包括：(16)采用SLIC过分割方法对视频帧进行分割获得M个超像素，ri表示一个超像素，i∈M，ri区域内的像素个数为O，区域ri的重心表示超像素坐标，可得：其中，和分别表示超像素ri区域内第o个像素的横纵坐标，和则表示超像素的横纵坐标；(17)超像素r1和r2间的物理距离特征为：其中，θγ表示物理距离特征参数；(18)超像素r1和r2间的颜色距离特征为：其中，n1和n2分别表示两个超像素区域内各自的颜色种类数；f(ck,i)表示第k个超像素区域中第i个像素的颜色在区域中出现的概率；D(c1,i,c2,j)表示像素c1,i和c2,j颜色的欧氏距离；(19)超像素条件下的边缘特征为：其中，θ1和θβ为边缘特征参数。4.根据权利要求1所述的一种视频分割方法，其特征在于，所述步骤(3)中使用光流运动信息和上一帧的目标分割结果校正当前帧目标框具体包括：(31)获取当前帧图像中的有效运动像素；(32)统计当前帧目标框内的有效运动像素的比例，若大于比例阈值，则进入步骤(33)；否则进入步骤(34)；(33)将当前帧目标框内有效运动像素的外接矩形和当前帧目标框分别与上一帧目标分割结果的外接矩形进行比较；则差异较小者判定为校正结果；若两者与上一帧分割结果的外接矩形均大于极大差异阈值，则使用上一帧分割结果的外接矩形作为校正结果；进入步骤(35)；(34)判定当前帧目标框作为校正结果；(35)将校正结果长宽各扩大比例倍数，若扩大后校正结果小于原图像，则将校正结果作为当前帧目标框返回；否则将校正结果扩大至原图大小后作为当前帧目标框返回。5.根据权利要求1所述的一种视频分割方法，其特征在于，所述步骤(4)中根据第一帧与上一帧的目标分割结果获取当前帧的目标颜色模型具体包括：(41)对第一帧的目标前景像素建立混合高斯模型得到颜色模型Hfore-1；对上一帧目标前景与背景分别建立混合高斯模型得到前景颜色模型Hfore-2和背景...

【专利技术属性】
技术研发人员：韩守东，张珑，刘昱均，陈阳，胡卓，
申请(专利权)人：华中科技大学，深圳华中科技大学研究院，
类型：发明
国别省市：湖北,42