一种基于残差纠正的视频语义分割方法技术

本发明专利技术公开了一种基于残差纠正的视频语义分割方法，具体包括如下步骤：1)获取语义分割数据集，并定义算法目标；2)训练轻量级的图像语义分割的卷积神经网络模型；3)对待分割的视频进行解码，得到残差图、运动向量以及RGB图像；4)如果当前帧为关键帧，则用2)中得到的分割模型进行语义分割；5)如果当前帧为非关键帧，则利用运动向量将其前一帧的深层特征传递至当前，同时使用浅层卷积神经网络对当前帧提取空间特征，并对传递来的深层特征进行纠正；6)如此重复步骤4)、5)至完成所有视频帧的分割。本发明专利技术极大提升了基于帧间特征传递的视频分割方法的鲁棒性及准确性，同时保持基于特征传递方法的高效性。

A video semantic segmentation method based on residual correction

【技术实现步骤摘要】
一种基于残差纠正的视频语义分割方法
本专利技术属于计算机视觉领域，特别地涉及一种基于残差纠正的视频语义分割方法。
技术介绍
视频语义分割，是将视频的帧序列的每个像素指定一个语义类别的计算机视觉任务。由于视频的帧与帧之间存在信息的冗余，许多视频语义分割方法利用帧间运动信息以减少冗余计算。这些方法把上一帧的分割结果传播到当前帧，这就大大加速了当前帧的计算过程。然而，当前的这类方法在分割精度上会有很大的损失，其原因有两方面。一方面，这些方法不能很好的保留局部细节，因为运动信息往往粒度较粗。另一方面，随着传播的帧越来越多，传播带来的误差也会累积，以致数帧之后的传播结果几乎不可用。如何利用帧间信息加速，又保证分割准确，是本方法解决的关键。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种基于残差纠正的视频语义分割方法。该方法基于深度神经网络，以图像语义分割模型为基础，在利用帧间特征传递实现实时的语义视频分割效果的基础上，进一步引入基于残差学习的纠正模块，从而提升基于特征传递分割方法的准确度和鲁棒性。>为实现上述目的，本本文档来自技高网...

【技术保护点】
1.一种基于残差纠正的语义视频分割方法，其特征在于，包括以下步骤：/nS1.获取用于训练语义视频分割的数据集，并定义算法目标；/nS2.训练轻量级的图像语义分割卷积神经网络，得到语义分割模型；/nS3.对视频进行解码，得到每一帧图像的残差图、运动向量、RGB图像；/nS4.对于视频中的当前帧，如果当前帧为关键帧，则直接使用S2中得到的卷积神经网络模型对其RGB图像进行完整的语义图像分割；/nS5.对于视频中的当前帧，如果当前帧为非关键帧，则利用其运动向量将其前一帧的深层特征传递至当前帧，同时使用浅层卷积神经网络对当前帧提取空间特征，并对传递来的深层特征进行纠正后完成其语义图像分割；/nS6.对...

【技术特征摘要】
1.一种基于残差纠正的语义视频分割方法，其特征在于，包括以下步骤：
S1.获取用于训练语义视频分割的数据集，并定义算法目标；
S2.训练轻量级的图像语义分割卷积神经网络，得到语义分割模型；
S3.对视频进行解码，得到每一帧图像的残差图、运动向量、RGB图像；
S4.对于视频中的当前帧，如果当前帧为关键帧，则直接使用S2中得到的卷积神经网络模型对其RGB图像进行完整的语义图像分割；
S5.对于视频中的当前帧，如果当前帧为非关键帧，则利用其运动向量将其前一帧的深层特征传递至当前帧，同时使用浅层卷积神经网络对当前帧提取空间特征，并对传递来的深层特征进行纠正后完成其语义图像分割；
S6.对视频中的所有帧重复步骤S4和S5，至完成所有视频帧的语义分割。


2.根据权利要求1所述的语义视频分割方法，其特征在于步骤S1中所述的算法目标为对于数据集中的每个视频V，检测V中每一帧图像的所有像素的语义分类。


3.根据权利要求1所述的语义视频分割方法，其特征在于步骤S2中所述的训练轻量级的图像语义分割卷积神经网络模型具体包括以下子步骤：
S21.利用卷积神经网络对单张图片中的每一个像素进行分类提取，得到图像I的分类预测结果为φ(I)；同时，得到卷积神经网络的中间层输出特征图F；
S22.对分类预测结果和给定的分类标签计算交叉熵损失，不断优化卷积神经网络中的参数，训练得到最终的语义分割模型φ，φ包含编码器φhead和解码器φtail。


4.根据权利要求1所述的语义视频分割方法，其特征在于步骤S3中所述的对视频进行解码时使用MPEG-4视频编解码标准，当前帧时刻为t，则解码过程如下：
S31.若当前第t帧为关键帧，则直接解码得到其RGB图像I(t)；
S32.若...

【专利技术属性】
技术研发人员：李玺，冯君逸，李颂元，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33