一种全自动视频运动目标分割方法技术

本发明专利技术提出了一种全自动视频运动目标分割方法，属于计算机视觉处理技术领域。本方法旨在提取视频中运动物体的精确区域，将其与背景进行分离，是实现视频编辑、视频内容表示的重要环节。通过使用双流网络同时提取视频帧信息和运动信息，通过相邻帧运动信息获得的粗糙的结果，指导视频帧的分割。本发明专利技术方法，相比于现有的技术，充分挖掘了运动信息，在使用注意力机制充分利用运动信息的同时节省了空间的消耗，精度高。

An automatic video moving object segmentation method

【技术实现步骤摘要】
一种全自动视频运动目标分割方法
本专利技术涉及一种视频运动目标分割方法，属于计算机视觉处理
技术背景自AlexNet网络在图像分类任务中取得重大突破，深度学习得到了快速的发展，并对各个领域产生了重大的影响。在视频分割任务中，基于全卷积的分割方法也得到了大量的研究并取得了巨大突破。目前，视频目标分割主要分为两种：半自动(半监督)的视频目标分割，全自动(非监督)的视频目标分割。对于半自动的视频目标分割，其仅在第一帧中给出要分割的物体的信息，在后续的帧中分割出此物体。对于全自动的视频目标分割，在不给任何先验信息的条件下分割出视频中的主要物体。因此，对于全自动视频目标分割，如何确定所要分割的物体是该任务的关键。值得一提的是，在没有任何先验信息的前提下要确定分割的物体，是很难完成的。因此，在很多全自动算法中都会根据不同的想法去定义所要分割的物体。目前，主流的全自动分割方法可以分为三类：基于运动信息的视频目标分割、基于显著性检测的视频目标分割、基于注意力机制的视频目标分割。基于运动信息的视频目标分割，是把视频中的持续运动的物体，当作是所要分割的目标。在视频目标分割中，尽管一个完整的物体区域可能包含多个颜色或纹理不同的子区域，然而，在运动过程中，这些子区域往往表现出很好的一致性。因此，基于运动信息的视频目标分割可以取得不错的结果。基于显著性检测的视频目标分割，是把任务简化成图片中显著性物体分割，即把视频帧当成单帧图片进行处理，但是随着视频中目标物体的移动和形变，显著性物体可能会发生变化。因此，单纯基于图像显著性的视频目标分割有明显的缺点。基于注意力的视频目标分割，旨在获取长时间内重复出现的物体信息，把获取到的物体信息当作先验信息对当前帧进行处理。因此，基于注意力机制的方式同样取得了不错的效果。
技术实现思路
本专利技术的目的在于提供一种精准的全自动视频目标分割方法，旨在提取视频中运动物体的精确区域，将其与背景进行分离，是实现视频编辑、视频内容表示的重要环节，是计算机视觉的特点任务之一。通过使用双流网络同时提取视频帧信息和运动信息，通过相邻帧运动信息获得的粗糙的结果，指导视频帧的分割。本专利技术包括以下步骤：步骤一：预处理光流图像，生成光流图片。可以采用PWC-Net光流网络等，获取光流信息，根据信息生成光流图片。步骤二：提取光流图片和视频帧的特征。可以使用DeeplabV3+等网络模型，同时提取光流图片和视频帧的特征。设提取出的光流图片特征为X∈Rc*h*w，其中，c＝256，表示获得的光流图片特征的数量，h表示光流图片特征图高度，w表示光流图片特征图宽度，h为输入图像高度的1/8，w为输入图像宽度的1/8；提取出的视频帧特征为Ylow∈Rc1*h1*w1，Yhigh∈Rc*h*w，其中，Ylow为视频帧的底层特征，c1为256，表示底层特征的特征图的数量，h1表示底层特征图的高度，w1表示底层特征图的宽度，h1为输入图像高度的1/4，w1为输入图像宽度的1/4，Yhigh为视频帧的高层特征。步骤三：对双流网络中的运动信息进行粗分割。对双流网络中获取的光流特征X(即运动信息)，采用全卷积方式进行粗分割，得到视频目标分割的粗分割结果X＇∈R2*h*w。其中，2表示最后获得的特征图的数量，其中一个表示属于前景的概率分布，使用X＇pos表示，另一个表示属于背景的概率分布，使用X＇neg表示。X'＝fflow(X)(1)其中，fflow(·)表示对光流特征进行全卷积分割。步骤四：使用运动信息粗分割结果，指导表观信息进行分割。对于粗分割指导精确分割部分，使用两个注意力模块，即空间注意力模块和通道注意力模块。两个注意力模块中的查询向量，均为粗分割中的结果。空间注意力模块：对于视频帧中提取的特征，关注重点是运动物体的特征，因此，使用运动信息提取的前景概率图，对Yhigh进行加权：其中，表示使用空间注意力模块加权之后的结果，X＇pos表示属于前景的概率分布。通道注意力模块：对于视频帧中提取的特征，特征图中每个通道所提取的特征是不同的。给予与前景和背景相似的通道较高的权重，对最终的分割结果有很大的提升。因此，在通道注意力模块中，分别使用运动信息粗分割的前景和背景，对视频帧的特征进行加权：其中，ghigh_pos(·)表示使用粗分割前景概率图对视频帧进行通道注意力操作，表示其结果；ghigh_neg(·)表示使用粗分割背景概率图与视频帧进行通道注意力操作的结果，表示其结果。表示最终通道注意力的结果。步骤五：对视频帧中的Yhigh与粗分割X'处理之后的结果进行分割。分割方式与步骤三对运动信息进行粗分割的方法相同。其中，Y＇high∈R2*h*w，表示对进行全卷积分割之后的结果，fhigh(·)表示全卷积操作。步骤六：优化底层特征，获取分割结果。视频帧的高层特征图，大小为原图的1/8，在网络模型提取特征时，对于小目标物体会发生偏移，且损失其轮廓信息，而在底层特征中，虽然语义信息不如高层特征，但其对于小目标物体特征保存比较完整。因此，使用高层特征结合底层特征，会使得最终精度相对准确。因此，先使用高层特征分割结果Y＇high对底层特征进行注意力操作，然后对最终的特征图进行分割，得到精准的分割结果。步骤七：使用高层特征分割结果和底层特征，进行注意力操作。此步骤类处理方式，与使用光流粗分割结果对视频帧高层特征处理过程相同。其中，表示使用视频帧高层特征分割的前景概率图与底层特征在通道上进行注意力操作的结果；glow_pos(·)表示使用视频帧高层特征分割的前景概率图与底层特征在通道上进行注意力操作，表示其结果；glow_neg(·)表示使用视频帧高层特征分割的背景概率图与底层特征在通道上进行注意力操作，表示其结果；表示底层特征进行通道注意力之后的最终结果。upsample(·)表示将前景概率图上采样到h1*w1；表示视频帧高层特征分割的前景概率图。步骤八：对底层特征处理后的结果进行分割。分割方式，与对运动信息进行粗分割的方法相同，即：其中，Y′∈R2*h1*w1，表示最终分割结果。cat(·)表示将底层特征与高层特征按通道合并。步骤九：使用CRF算法，对最终分割结果进行优化。对最终分割结果进行上采样恢复到输入图像的原始大小，然后使用CRF算法对分割结果进行优化。通过以上步骤，实现视频目标分割的全自动、高精准分割。有益效果本专利技术方法，相比于现有的技术，充分挖掘了运动信息，在使用注意力机制充分利用运动信息的同时节省了空间的消耗，精度高。在Davis2016数据集上实现了目前最高的精度。附图说明图1为本专利技术所使用的网络模型的整体结构。图2为本专利技术中使用的空间注意力模块详细结构。图3为本专利技术中使用的通道注意力模块详细结构。本文档来自技高网...

【技术保护点】
1.一种全自动视频运动目标分割方法，其特征在于，包括以下步骤：/n步骤一：预处理光流图像，获取光流信息，生成光流图片；/n步骤二：提取光流图片和视频帧的特征；/n设提取出的光流图片特征为X∈R

【技术特征摘要】
1.一种全自动视频运动目标分割方法，其特征在于，包括以下步骤：
步骤一：预处理光流图像，获取光流信息，生成光流图片；
步骤二：提取光流图片和视频帧的特征；
设提取出的光流图片特征为X∈Rc*h*w，其中，c＝256，表示获得的光流图片特征的数量，h表示光流图片特征图高度，w表示光流图片特征图宽度，h为输入图像高度的1/8，w为输入图像宽度的1/8；提取出的视频帧特征为Ylow∈Rc1*h1*w1，Yhigh∈Rc*h*w，其中，Ylow为视频帧的底层特征，c1为256，表示底层特征的特征图的数量，h1表示底层特征图的高度，w1表示底层特征图的宽度，h1为输入图像高度的1/4，w1为输入图像宽度的1/4，Yhigh为视频帧的高层特征；
步骤三：对双流网络中的运动信息进行粗分割；
对双流网络中获取的光流特征X，采用全卷积方式进行粗分割，得到视频目标分割的粗分割结果X＇∈R2*h*w；其中，2表示最后获得的特征图的数量，其中一个表示属于前景的概率分布，使用X＇pos表示，另一个表示属于背景的概率分布，使用X＇neg表示：
X'＝fflow(X)(1)
其中，fflow(·)表示对光流特征进行全卷积分割；
步骤四：使用运动信息粗分割结果，指导表观信息进行分割；
对于粗分割指导精确分割部分，使用两个注意力模块，即空间注意力模块和通道注意力模块，两个注意力模块中的查询向量，均为粗分割中的结果；
空间注意力模块：使用运动信息提取的前景概率图，对Yhigh进行加权：



其中，表示使用空间注意力模块加权之后的结果，X’pos表示属于前景的概率分布；
通道注意力模块：分别使用运动信息粗分割的前景和背景，对视频帧的特征进行加权：









其中，ghigh_pos(·)表示使用粗分割前景概率图对视频帧进行通道注意力操作，表示其结果；ghigh_neg(·)表示使用粗分割背景概率图与视频帧...

【专利技术属性】
技术研发人员：李建武，任建国，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11