一种基于非局部时空特征学习的无监督视频分割方法技术

本发明专利技术公开了一种基于非局部时空特征学习的无监督视频分割方法，包括获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的信息获取运动目标的范围作为图模型初始化输入，利用全局信息对匹配结果进行优化，建立图模型并利用图割算法求解分割结果，以及视频分割所得运动目标的输出。通过对输入视频中的每一帧图像进行超像素分割可以极大地降低运算的复杂度，而利用非局部时空信息对光流得到的匹配信息进行优化则可以提高分割的鲁棒性，降低噪声的影响。无需任何人工干预，可以完全基于视频图像的自身信息获得较准确的分割结果。

Unsupervised video segmentation based on non local temporal feature learning

The invention discloses a segmentation method based on local spatio-temporal feature learning unsupervised video, including video sequence to obtain the required segmentation, the use of super pixel segmentation of video sequences using optical flow information of the frames, and according to the adjacent frames of video sequence information was taken as the target range of motion graph model of initialization input. The matching results are optimized by the method of global information, and builds a model and the segmentation results using graph cut algorithm, and the output of video segmentation of moving targets. Through each of the input frames in the video super pixel segmentation can greatly reduce the computational complexity, and the use of non optimal matching of information obtained by the local optical flow of spatio-temporal information can improve the robustness of segmentation, reduce the influence of noise. Without any manual intervention, the accurate segmentation results can be obtained based on the video image's own information.

【技术实现步骤摘要】
一种基于非局部时空特征学习的无监督视频分割方法
本专利技术涉及一种基于非局部时空特征学习的无监督视频分割方法，属于计算机视觉领域，具体涉及图像处理中的视频分割领域。
技术介绍
视频是指一系列连续的单幅图像组成的图像序列，通常还包括文字、语音等信息。为了便于传输和使用，通常需要对视频进行分割，将视频中一些用户不感兴趣的区域剔除，并获得目标内容的数据特征以便后续的特征提取和分析。视频分割也称运动分割，是指按一定的标准把图像序列分割成多个区域,其目的是为了从视频序列中分离出有意义的实体。在图像处理技术中，图像与视频的分割是非常重要的低层处理技术，它几乎是所有基于图像分析的人工智能技术的基础，它为众多的高层应用提供重要的数据形式，例如：车辆识别、牌照识别、图像/视频检索、医学影像分析、基于视频对象的编码、人脸识别、目标检测跟踪和识别等。在所有这些应用中，分割通常是为了进一步对图像视频进行分析、识别，分割的准确性直接影响后续任务的有效性,因此具有十分重要的意义。视频分割一直是计算机视觉及机器学习技术中最困难的问题之一。总的来说分割的难点在于分割的目标的无规则运动与形变，快速变换的复杂背景，运动信息不准确与目标的模糊等，但想要获得精确的信息又需要利用准确的分割结果，这样就陷入一个循环之中。至今为止还没有一种通用的、可靠的无监督分割算法可以运用于所有复杂变换的场景，当前国内外众多学者所提出的视频分割算法大部分都针对某一特定的应用场合或者特定种类的图像视频。因此在未来的几年内，视频分割问题将依然是迫切需要解决的研究热点。当下最主要的视频分割方式基本上都是在静止图像分割研究基础上进行的。图像分割是指将一幅图像按某种规则，分割为多个区域，每个区域是一类像素的集合。图割是当前图像分割最主要也是最基础的方法，该方法基于图论，构造出一个能量函数，通过用户标定的前景与背景来分割图像。所构造的能量函数可以利用最大流/最小割算法来实现全局最优分割。视频分割不同于静止图像分割的最主要之处在于运动信息的引入。视频分割根据是否需要人工参与指导，可以分为无监督视频分割和半监督视频分割。根据所利用信息的不同，可以分为基于时间信息的视频分割，基于空间信息的视频分割以及联合时空信息的视频分割。
技术实现思路
针对当前视频分割方法所存在的不足，本专利技术的目的是基于传统视频分割算法与超像素算法，提出一种新的时间、空间信息相结合的无监督视频分割算法。该方法在传统视频分割方法的基础上，为提高效率及分割准确度，引入超像素的颜色特征和物体的运动关联性等信息，在时间信息的使用上，不再拘束于相邻帧之间的信息传递，利用视频序列的非局部信息来提高算法的鲁棒性，同时在表示超像素的颜色特征的选择上做出优化，在传统RGB颜色特征的基础上引入了一些新的颜色特征，从而提高用于表示每个超像素的特征维度，提高分割精度，优化分割结果。为了实现上述目的，本专利技术是通过以下技术方案实现的：一种基于非局部时空特征学习的无监督视频分割方法，包括如下步骤：1)获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的光流信息获取运动目标的大致范围，利用非局部时空信息对匹配结果进行优化，建立图模型，求解并输出分割结果。2)对视频序列中的所有帧进行超像素分割，可以降低计算复杂度，提高算法处理速度。3)计算每个超像素的特征均值，中心点位置。每个超像素的特征项用一个八维向量(R，G，B，H，S，V，x，y)来表示。4)由于光流法计算结果的不准确性，无法单独利用光流准确判断目标位置，因此结合光流法与投票的方法，计算出运动目标的大致位置范围，同时判断出各个超像素所属的区域(前景或背景)，所得结果将用于图模型的初始化输入。5)利用光流法所提供的信息计算出相邻帧超像素之间的联系，找出第n帧与第n+1帧之间相互对应的超像素组合。6)对于所有超像素匹配完成之后的视频序列，对每一帧的每一个超像素计算一个新的非局部超像素特征值，对原超像素进行优化。当n<＝5时，选用前n-1帧图片对该帧中的每一个超像素进行优化计算，n>5时，选用该帧之前的五帧来对其进行优化。7)建立图模型，所述图模型由一元势函数和互势函数构成。一元势函数包括颜色特征项和位置特征项，互势函数包括时间平滑项和空间平滑项。8)利用优化后的第n帧超像素信息与第n+1帧超像素信息计算图模型的代价函数，利用图割及最大流最小割算法迭代计算直至收敛，得到最优的目标分割结果(即重新判断每个超像素是属于前景还是背景)。有益效果(1)将视频分割算法所利用的信息传递推广到全局，利用多帧信息进行优化，使算法的鲁棒性明显提高，达到了良好的去噪效果。(2)将表示每个超像素的特征值维度扩展到八维，在基本不影响计算复杂度的情况下显著改善了分割准确度。附图说明图1本方法的总体结构示意图。图2本方法的非局部特征学习流程图。具体实施方式下面将结合说明书附图，对本专利技术技术方案作进一步的说明。如图1所示，本专利技术提供一种基于非局部时空特征学习的无监督视频分割方法，包括获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的光流信息获取运动目标的大致范围，利用非局部时空信息对匹配结果进行优化，建立图模型，求解并输出分割结果；所述的输入视频处理，通过将所需分割的视频输入系统，将视频存储为可供处理的单帧图片序列；所述的超像素分割模块将待处理图片序列做超像素分割处理，便于后续算法使用，降低计算复杂度；所述光流匹配模块用于匹配相邻帧之间对应的超像素块，并求取运动目标的大致范围；所述图模型包括一元势函数和互势函数，用于对待处理图像进行数学建模，使其转化为可以利用图割算法求解最小化的模型，最终输出为可视化的分割结果视频。如图2所示，非局部是时空特征学习优化范围采用目标帧之前的五帧图像，对目标帧中的某具体目标超像素，在之前的五帧内所有超像素所构成的集合中，利用KD树算法搜索其最近邻，找出与之最接近的五个最近邻超像素，对每个最近邻根据其与目标超像素欧式距离大小赋予其不同的权值，对目标超像素做加权优化，得到利用非局部特征优化的新超像素，更新后的目标超像素与原超像素的位置信息相同。以上显示和描述了本方法的基本原理、主要特征及优点。本行业的技术人员应该了解，本设计不受上述实施例的限制，上述实施例和说明书中描述的只是说明本设计的原理，在不脱离本设计精神和范围的前提下，本设计还会有各种变化和改进，这些变化和改进都落入要求保护的本设计范围内。本设计要求的保护范围由所附的权利要求书及其等效物界。本文档来自技高网...

【技术保护点】
一种基于非局部时空特征学习的无监督视频分割方法，其特征在于，包括如下步骤：1)获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的光流信息获取运动目标的大致范围，利用非局部时空信息对匹配结果进行优化，建立图模型，求解并输出分割结果；2)对视频序列中的所有帧进行超像素分割，降低计算复杂度，提高算法处理速度；3)计算每个超像素的特征均值，中心点位置。每个超像素的特征项用一个八维向量R，G，B，H，S，V，x，y来表示；4)由于光流法计算结果的不准确性，无法单独利用光流准确判断目标位置，因此结合光流法与投票的方法，计算出运动目标的大致位置范围，同时判断出各个超像素所属的区域即前景或背景，所得结果将用于图模型的初始化输入；5)利用光流法所提供的信息计算出相邻帧超像素之间的联系，找出第n帧与第n+1帧之间相互对应的超像素组合；6)对于所有超像素匹配完成之后的视频序列，对每一帧的每一个超像素计算一个新的非局部超像素特征值，对原超像素进行优化；当n<＝5时，选用前n‑1帧图片对该帧中的每一个超像素进行优化计算，n>5时，选用该帧之前的五帧来对其进行优化；7)建立图模型，所述图模型由一元势函数和互势函数构成；一元势函数包括颜色特征项和位置特征项，互势函数包括时间平滑项和空间平滑项；8)利用优化后的第n帧超像素信息与第n+1帧超像素信息计算图模型的代价函数，利用图割及最大流最小割算法迭代计算直至收敛，得到最优的目标分割结果，即重新判断每个超像素是属于前景还是背景。...

【技术特征摘要】
1.一种基于非局部时空特征学习的无监督视频分割方法，其特征在于，包括如下步骤：1)获取所需分割的视频序列，利用超像素分割处理视频序列，利用光流进行前后帧信息匹配，根据视频序列相邻帧的光流信息获取运动目标的大致范围，利用非局部时空信息对匹配结果进行优化，建立图模型，求解并输出分割结果；2)对视频序列中的所有帧进行超像素分割，降低计算复杂度，提高算法处理速度；3)计算每个超像素的特征均值，中心点位置。每个超像素的特征项用一个八维向量R，G，B，H，S，V，x，y来表示；4)由于光流法计算结果的不准确性，无法单独利用光流准确判断目标位置，因此结合光流法与投票的方法，计算出运动目标的大致位置范围，同时判断出各个超像素所属的区域即前景或背景，所得结果将用于图模型的初...

【专利技术属性】
技术研发人员：张开华，李雪君，宋慧慧，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32