视频抠像方法及机器可读存储介质技术

本发明专利技术涉及图像处理领域。本发明专利技术一实施例提供一种视频抠像方法，包括：获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；基于超像素分割算法，确定对应所述视频图像的超像素图；基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；根据所述目标分割结果，生成抠像结果。由此，提出了基于视频图像的深度图信息和彩色图信息所实现的抠像技术，不需要人机交互，在高分辨率视频流下，实时粗略提取出人物前景，并基于超像素和精细分割技术优化该所提取出的人物前景的边缘，在提高运算效率的同时，还提高了图像的分割精度。

【技术实现步骤摘要】
视频抠像方法及机器可读存储介质
本专利技术涉及图像处理领域，具体地涉及一种视频抠图方法及机器可读存储介质。
技术介绍
抠像技术广泛应用于电影后期处理、二维图形艺术、电视、广告、视频后期制作等领域。最典型的，在电影制作的过程中，导演利用抠像与合成技术，将不同时间，不同地点拍摄到的影像合成到同一场景中，实现特殊的艺术效果。随着集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性，并且其只有针对简单的特定背景才能够达到较好的抠像效果。并且，对于复杂背景，目前的抠像方法需要在多次人机交互(例如三值图和涂鸦，来获得一些前景或背景像素的标记信息)才能够得到令人满意的结果，直接导致计算复杂度高，在很大程度上限制了抠像技术的实际应用。
技术实现思路
本专利技术实施例的目的是提供一种视频抠像方法及机器可读存储介质，用以解决现有技术中的抠像过程需要交互，以及高分辨率下计算复杂度高且边缘不够精细的技术问题。为了实现上述目的，本专利技术实施例提供一种视频抠像方法，包括：获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；基于超像素分割算法，确定对应所述视频图像的超像素图；基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；根据所述目标分割结果，生成抠像结果。本专利技术实施例另一方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的视频抠像方法。通过上述技术方案，提出了基于视频图像的深度图信息和彩色图信息所实现的抠像技术，不需要人机交互，在高分辨率视频流下，实时粗略提取出人物前景，并基于超像素和精细分割技术优化该所提取出的人物前景的边缘，在提高运算效率的同时，还提高了图像的分割精度。本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术一实施例的视频抠像方法的流程图；图2是图1所示的视频抠像方法中超像素分割在一示例下的流程原理图；图3是图1所示的视频抠像方法中实施精细分割操作的流程原理图；图4是图1所示的视频抠像方法中上采样过程的流程原理图；图5示出的是应用Grabcut算法切割图像的原理示意图。具体实施方式以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。如图1所示，本专利技术一实施例的视频抠像方法，包括：S11、获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围。关于本专利技术实施例的实施客体，其可以是专用于视频抠像的终端，还可以是通用型终端，例如配置有视频抠像功能模块的计算机等，且都属于本专利技术的保护范围内。在具体实施的一方面，其可以是通过解析视频图像所对应的彩色图和深度图信息，并基于该深度图信息来标记目标在彩色图中的前景范围。其中，该被标记的“目标”可以表示视频图像中所出现的人物或动物等，在此应不加以限定，由此能够粗略提取出关于目标的前景范围。S12、基于超像素分割算法，确定对应该视频图像的超像素图。为了解决高像素图像的分割问题，超像素图像算法应运而生。该算法是将多个具有相同或类似意义的像素点组合成多个不同的原子区域，来代替单个像素表示一个区域的算法。由于传统的分水岭算法产生的超像素将失去形状和大小的规律性，因此本实施例中推荐使用基于空间约束的分水岭算法来进行超像素分割，由此可获得紧凑且均匀分布的分割结果。在本专利技术一实施例的基于空间约束的分水岭算法中，超像素分割的优先级不仅取决于它的梯度值，同时也取决于空间模式。如图2所示，其可以是通过实施以下操作来实现超像素分割的：S121、确定视频图像分别在梯度和空间约束上的像素优先级；S122、根据所确定的像素优先级超像素分割视频图像。S13、基于精细分割算法分割该超像素图中对应前景范围的部分，以生成目标分割结果，其中该精细分割算法对应预定的分割尺度。由此，通过该精细分割算法会使得能量函数逐渐减少，最终能够保证能量函数收敛于最小值，优化后的分割能量函数尽可能地保留了图像的细节信息，使得在提高运算效率的同时还提高了图像的分割精度。如图3所示，其可以通过以下操作来实现精细分割操作：S131、对超像素图中对应前景范围的部分实施迭代建模操作，以确定相应的分割能量函数；S132、基于分割能量函数分割目标部分，以确定相应的目标分割结果。由此，能够得到对应于精细分割算法尺度的目标细化的分割结果。S14、根据该目标分割结果，生成抠像结果。在本专利技术实施例中，考虑到抠像效率的问题，将数据下采样到一定的下采样比例，相应地，在超像素分割过程中可以是对基于超像素分割算法超像素分割经下采样所得的视频图像。相应地，在S14中需要实施上采样时，如果使用常规的双线性插值的方法对分割结果上采样到原始尺寸，此时会存在精度丢失、分割边缘不是真实边缘的问题。有鉴于此，关于S14，其可以是通过实施如图4所示的操作来实现优化边缘的目的，具体包括以下步骤：S141、上采样目标分割结果，并在目标分割结果所指示的边缘部分建立缓冲区，其中缓冲区的宽度是上采样比例的多倍(例如两倍或两倍之上)。S142、统计缓冲区内属于前背景的高斯混合模型GMM概率大于预定阈值的第一像素点集合。S143、对缓冲区内轮廓进行分割，并将分割后的像素点确定为种子点。S144、根据种子点与第一像素点集合的三基色差值，由种子点向第一像素点集合中的像素点生长以生成抠像结果。在一些实施方式中，超像素分割算法可以是以SCoW(Spatial-ConstrainedWater-shed，空间约束的分水岭)算法为基础的，例如SCoW算法或改进型SCoW算法；以及，精细分割算法可以是以Grabcut(迭代的图割)算法为基础的，例如Grabcut算法或改进型Grabcut算法，其都属于本专利技术的保护范围内。需说明的是，图割算法是基于MRF(MarkovRandomField，马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。如图5所示，其示出的是Grabcut算法的切割原理，源点s表示前景终点，汇点t表示背景终点。边集E包含两部分源点汇点和所有其他节点的连接边、图中相邻节点之间的边。边的权值需反映出像素点与前景、背景的相似程度，相邻像素间的颜色差异。该算法首先需要用户简单交互选定前景和背景样本，对前景、背景区域建立高斯混合模型GMM，并利用k均值聚类(k-means)算法初始化GMM，分别计算节点到前背景的距离和相邻节点之间的距离，然后获得分割能量权重，对未知区域构造s-t网络图，接着采用最大流-最小割算法进行切分。分割过程是通过不断迭代更新，使得能量函数逐渐减少，最终能够保证能量函数收敛于最小值，实现图像分割。目前，对该算法的有很多种改进方式，如构建颜色、纹本文档来自技高网...

【技术保护点】
1.一种视频抠像方法，包括：获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；基于超像素分割算法，确定对应所述视频图像的超像素图；基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；根据所述目标分割结果，生成抠像结果。

【技术特征摘要】
1.一种视频抠像方法，包括：获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；基于超像素分割算法，确定对应所述视频图像的超像素图；基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；根据所述目标分割结果，生成抠像结果。2.根据权利要求1所述的方法，其特征在于，所述获取待抠像处理的视频图像并标记目标在视频图像中的前景范围包括：解析所述视频图像所对应的彩色图和深度图信息；以及基于所述深度图信息标记所述目标在所述彩色图中的前景范围。3.根据权利要求1所述的方法，其特征在于，所述基于超像素分割算法超像素分割所述视频图像包括：确定所述视频图像的梯度像素优先级和空间约束像素优先级；根据所确定的所述梯度像素优先级和所述空间约束像素优先级，确定像素的像素优先级；根据所确定的所述像素优先级，超像素分割所述视频图像。4.根据权利要求3所述的方法，其特征在于，所述根据所确定的所述梯度像素优先级和所述空间约束像素优先级确定像素的像素优先级包括：基于预配置的关于所述梯度像素优先级和所述空间约束像素优先级之间的平衡参数，并结合所述梯度约束像素优先级和所述空间约束像素优先级，确定所述像素优先级。5.根据权利要求1所述的方法，其特征在于，所述基于精细分割算法分割超像素图中对应所述前景范围的部分以生成目标分割结果包括：对所述超像素图中对应所述前景范围的部分实施迭代建模操作，以确定相应的分割能量函数；基于所述分割能量函数分割所述目标部分，以确定相应的目标分割结果。6.根据权利要求5所述的方法，其特征在于，所述基于精细分割算...

【专利技术属性】
技术研发人员：王行，李骊，盛赞，周晓军，李朔，杨淼，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11