一种基于时空上下文的视频全景分割方法技术

本发明专利技术公开了一种基于时空上下文的视频全景分割方法，包括以下步骤：将待全景分割的视频处理为连续的图像序列；获取图像序列间的光流；获取图像序列中每幅图像的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果，将图像序列中出现的每个物体进行一致性关联，获得视频全景分割结果。本发明专利技术的视频全景分割方法，可获得更准确的视频全景分割结果。的视频全景分割结果。的视频全景分割结果。

【技术实现步骤摘要】
一种基于时空上下文的视频全景分割方法


[0001]本专利技术属于计算机视觉
，涉及视频全景分割领域，特别涉及一种基于时空上下文的视频全景分割方法。

技术介绍

[0002]近年来，人们对图像场景理解和建模的要求越来越高，这是因为精确的场景模型是高层智能安防及自动驾驶等任务的基础。智能安防与自动驾驶等任务的前提是必须对给定场景进行精确的目标检测与图像分割，图像分割是图像识别和计算机视觉中至关重要的预处理阶段。
[0003]全景分割任务在解决了语义分割无法区分前景事物个体与范围信息的同时，也解决了实例分割无法区分背景语义信息的问题，旨在得到更加综合、更加全面的图像分割结果。视频上的全景分割任务则把图像上面的全景分割拓展到视频域，不仅解决了单帧图像上的分割问题，同时还涉及了多目标跟踪、视频目标分割、视频语义分割、视频实例分割等视频处理领域的任务，可以帮助计算机充分理解视频中的复杂场景，因此可以在大量降低人力成本的前提下，对视频安全监控、城市治安、交通调度、事故预警、消防等领域发挥重要的作用，也可以极大促进机器人应用领域和无人车自动驾驶任务的快速发展。
[0004]目前，视频全景分割技术主要存在以下几个问题：
[0005](1)视频全景分割领域对于视频序列所包含的时序信息并没有充分地获得和利用，导致现有的模型在进行不同视频帧之间物体关联时，更多是利用所检出物体本身的特征，而未能使用视频的时序信息；
[0006](2)视频中存在的物体均处于运动状态，物体运动以及相机运动带来的运动模糊导致运动物体的边缘未能很好地实现精细分割，现有视频全景分割方法不能很好地解决这一问题。

技术实现思路

[0007]本专利技术的目的在于提供一种基于时空上下文的视频全景分割方法，以解决上述存在的一个或多个技术问题。本专利技术的视频全景分割方法，可获得更准确的视频全景分割结果。
[0008]为达到上述目的，本专利技术采用以下技术方案：
[0009]本专利技术提供的一种基于时空上下文的视频全景分割方法，包括以下步骤：
[0010]将待全景分割的视频处理为连续的图像序列；
[0011]获取图像序列间的光流；
[0012]获取图像序列中每幅图像的图像全景分割结果；
[0013]基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果；
[0014]基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果，将图像序列中出现的每个物体进行一致性关联，获得视频全景分割结果。
[0015]本专利技术方法的进一步改进在于，所述获取图像序列间的光流的步骤包括：采用预选取的光流网络，获取视频中每相邻两帧图像之间的光流；其中，第t
‑
1帧图像I
t
‑1到第t帧图像I
t
的光流表示为F
t
。
[0016]本专利技术方法的进一步改进在于，所述获取图像序列中每幅图像的图像全景分割结果的步骤包括：使用预选取的图像全景分割网络，获取图像序列中每幅图像的图像全景分割结果；其中，对第t帧图像I
t
进行图像全景分割，给定输入图像I
t
∈R3×
H
×
W
，获取的中间特征表示为P2、P3、P4、P5，得到图像全景分割结果，包括语义分割结果S
t
、实例分割结果中的N
t
个物体的包围框B
t
、分割结果M
t
和类别
[0017]本专利技术方法的进一步改进在于，所述基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果的步骤具体包括：
[0018]根据得到的光流信息和图像全景分割结果中的特征分数，对运动物体边缘处的像素点进行采样，并获取所有采样点的特征；
[0019]基于采样点的特征训练两个像素点分类器，分别用于处理语义分割和实例分割结果中运动物体边缘处的采样点；
[0020]将低于预设阈值的低分辨率的分割结果进行逐步上采样，在上采样过程中，对运动物体边缘处的点进行迭代采样的重分类，最终获得优化后的图像全景分割结果。
[0021]本专利技术方法的进一步改进在于，所述根据得到的光流信息和图像全景分割结果中的特征分数，对运动物体边缘处的像素点进行采样，并获取所有采样点的特征的步骤包括：
[0022]通过对光流F
t
进行边缘提取得到边缘，在边缘处随机选取3N个点Points；
[0023]根据分割特征图的类别分数选择其中困难的点，所述困难的点为语义分割特征图中最高类别分数与次高类别分数接近的点、实例分割特征图中分数接近0.5的点；
[0024]将采样点在中间特征P2、P3、P4、P5中对应的特征图P
ori
经过两个全连接层得到最终的点特征P
new
＝MLP(P
ori
)。
[0025]本专利技术方法的进一步改进在于，所述将预设低分辨率的分割结果进行逐步上采样，在上采样过程中，对运动物体边缘处的点进行迭代采样的重分类，最终获得优化后的图像全景分割结果的步骤具体包括：
[0026]首先对低于预设阈值的低分辨率的分割结果上采样，由原始图像大小的1/4到1/2；接着采样预设需要精细分割的点Points并获取特征P
new
，使用训练好的分类器对采样的点进行重新分类，获得重分类结果；使用重分类结果替换上采样结果中对应的位置，迭代直到恢复到原图尺寸大小，最终获得优化后的图像全景分割结果。
[0027]本专利技术方法的进一步改进在于，所述基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果，将图像序列中出现的每个物体进行一致性关联，获得视频全景分割结果的步骤包括：
[0028]估计前一帧图像中所有物体的运动趋势；
[0029]根据学习的运动趋势来预测前一帧的所有物体在当前帧对应的位置；
[0030]通过预测的物体位置与当前帧实际检出的物体位置，对视频中出现的每个物体进
行一致性关联。
[0031]本专利技术方法的进一步改进在于，所述估计前一帧图像中所有物体的运动趋势的步骤包括：
[0032]帧I
t
‑1中检测得到的n个物体包围框记作：式中，表示帧I
t
‑1的第k个物体的包围框；
[0033]帧I
t
中检测得到的m个物体包围框表示为：
[0034]将光流F
t
根据B
t
‑1进行裁剪并放缩至统一尺寸得到F
crop
∈R
n
×2×
h
×
w
，基于F
cro本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空上下文的视频全景分割方法，其特征在于，包括以下步骤：将待全景分割的视频处理为连续的图像序列；获取图像序列间的光流；获取图像序列中每幅图像的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果；基于光流所蕴含的视频时间上下文信息和优化后的图像全景分割结果，将图像序列中出现的每个物体进行一致性关联，获得视频全景分割结果。2.根据权利要求1所述的一种基于时空上下文的视频全景分割方法，其特征在于，所述获取图像序列间的光流的步骤包括：采用预选取的光流网络，获取视频中每相邻两帧图像之间的光流；其中，第t
‑
1帧图像I
t
‑1到第t帧图像I
t
的光流表示为F
t
。3.根据权利要求2所述的一种基于时空上下文的视频全景分割方法，其特征在于，所述获取图像序列中每幅图像的图像全景分割结果的步骤包括：使用预选取的图像全景分割网络，获取图像序列中每幅图像的图像全景分割结果；其中，对第t帧图像I
t
进行图像全景分割时，给定输入图像I
t
∈R3×
H
×
W
，获取的中间特征表示为P2、P3、P4、P5；得到的图像全景分割结果包括语义分割结果S
t
，以及实例分割结果中的N
t
个物体的包围框B
t
、分割结果M
t
和类别4.根据权利要求3所述的一种基于时空上下文的视频全景分割方法，其特征在于，所述基于光流所蕴含的视频时间上下文信息和图像序列所蕴含的空间上下文信息，对图像序列中每幅图像的图像全景分割结果进行分割边缘精细化优化，获得优化后的图像全景分割结果的步骤具体包括：根据得到的光流信息和图像全景分割结果中的特征分数，对运动物体边缘处的像素点进行采样，并获取所有采样点的特征；基于采样点的特征训练两个像素点分类器，分别用于处理语义分割和实例分割结果中运动物体边缘处的采样点；将低于预设阈值的低分辨率的分割结果进行逐步上采样，在上采样过程中，对运动物体边缘处的点进行迭代采样的重分类，最终获得优化后的图像全景分割结果。5.根据权利要求4所述的一种基于时空上下文的视频全景分割方法，其特征在于，所述根据得到的光流信息和图像全景分割结果中的特征分数，对运动物体边缘处的像素点进行采样，并获取所有采样点的特征的步骤包括：通过对光流F
t
进行边缘提取得到边缘，在边缘处随机选取3N个点Points；根据分割特征图的类别分数选择其中困难的点，所述困难的点为语义分割特征图中最高类别分数与次高类别分数接近的点、实例分割特征图中分数接近0.5的点；将采样点在中间特征P2、P3、P4、P5中对应的特征图P
ori
经过两个全连接层得到最终的点特征P
new
＝MLP(P
ori
)。6.根据权利要求5所述的一种基于时空上下文的视频全景分割方法，其特征在于，所述
将预设低分辨率的分割结果进行逐步上采...

【专利技术属性】
技术研发人员：王乐，刘洪振，周三平，陈仕韬，辛景民，郑南宁，
申请(专利权)人：宁波市舜安人工智能研究院，
类型：发明
国别省市：