轻量级视频语义分割方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种轻量级视频语义分割方法、系统、设备及存储介质，利用图像域与特征域共享扭曲模式的特性，将关键帧图像与语义特征进行联合传播，并设计了扭曲感知网络，通过对传播帧与当前帧进行对比识别扭曲区域。基于扭曲区域的识别结果，设计了特征矫正网络，从当前帧提取传播特征中扭曲缺失的必要信息，对传播特征的扭曲区域进行替换，而在其他区域上保留原有的传播特征，从而实现准确的传播特征矫正。正。正。

【技术实现步骤摘要】
轻量级视频语义分割方法、系统、设备及存储介质


[0001]本专利技术涉及视频语义分割
，尤其涉及一种轻量级视频语义分割方法、系统、设备及存储介质。

技术介绍

[0002]随着视频监控技术和深度学习技术的发展，视频语义分割技术受到了越来越多的关注。视频语义分割任务的目的是为视频片段中的每一个像素点进行分类，从而完成对视频中场景与目标对象的精细化解析。与图像语义分割不同，视频语义分割可以通过挖掘视频数据存在的时序关联先验，利用相邻帧之间的时序相关性来引导当前帧的分割，从而减少冗余计算，提升语义分割的性能。
[0003]在目前针对视频语义分割任务的研究中，主流方法是挑选少量有代表性的关键帧进行完整语义分割，对于非关键帧则利用运动向量场(例如，残差图和光流)实现关键帧的特征传播与复用，从而减少当前帧语义分割过程的计算量，降低对整个视频片段进行语义分割的平均计算量。在专利《一种实时的语义视频分割方法》中，通过视频解码获得残差图、运动向量和RGB图像，如果当前帧是I帧，则利用语义分割网络对RGB图像进行完整的语义分割计算，如果当前帧是P帧，则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级视频语义分割方法，其特征在于，包括：若当前帧图像为非关键帧图像，利用光流估计网络估计前一帧图像与当前帧图像的光流，利用光流分别对前一帧图像及其对应的语义特征进行像素级位移，得到传播帧图像与传播特征；利用扭曲感知网络，对比所述传播帧图像与当前帧图像的特征差异，预测传播特征中的扭曲区域；利用特征矫正网络，基于预测出的传播特征中的扭曲区域，从当前帧图像中提取矫正信息，对预测出的传播特征中的扭曲区域进行替换，获得矫正后的特征；通过语义分割网络对所述矫正后的特征进行语义分割。2.根据权利要求1所述的一种轻量级视频语义分割方法，其特征在于，所述利用光流估计网络估计前一帧图像与当前帧图像的光流，利用光流分别对前一帧图像及其对应的语义特征进行像素级位移，得到传播帧图像与传播特征包括：利用光流估计网络估计前一帧图像F
t
与当前帧图像F
t+1
的光流，用于表征当前帧图像F
t+1
每一个像素点与前一帧图像F
t
对应像素点之间的相对位移；其中，t与t+1表示两个相邻时刻，如果前一帧是关键帧，则语义特征通过语义分割网络从前一帧图像F
t
中提取得到，如果前一帧是非关键帧，则是由之前最近的关键帧图像传播得到的；在光流的引导下，将前一帧图像F
t
与其对应的语义特征分别进行像素级的特征位移，实现图像与语义特征的传播，得到传播帧图像和传播特征3.根据权利要求1所述的一种轻量级视频语义分割方法，其特征在于，所述利用扭曲感知网络，对比所述传播帧图像与当前帧图像的差异，预测传播特征中的扭曲区域包括：通过扭曲感知网络分别提取所述传播帧图像与当前帧图像的特征，并分别进行归一化后，计算两个特征的像素级余弦相似度，归一化后预测出扭曲图其中包含了传播特征中的扭曲区域，扭曲图预测方式表示为：预测方式表示为：预测方式表示为：其中，表示归一化后的当前图像的特征，表示归一化后的传播帧图像的特征；T为转置符号；p表示单个像素，S
t+1
(p)表示特征与中相同位置中单个像素p的余弦相似度，所有像素的余弦相似度S
t+1
(p)构成余弦相似度矩阵S
t+1
，<>表示计算余弦相似度的符号；扭曲图的尺寸与帧图像尺寸相同，表征帧图像的扭曲程度，扭曲图中包含扭曲区域与正常区域，扭曲区域中像素的扭曲值大于正常区域像素的扭曲值。4.根据权利要求1所述的一种轻量级视频语义分割方法，其特征在于，所述扭曲感知网络设有特征提取器，用于提取所述传播帧图像与当前帧图像的特征，特征提取器包括四个可分离的卷积层，每个卷积层搭配一个批归一化层和激活层；对所述扭曲感知网络进行有监督的训练；训练时，利用语义分割网络提取当前帧图像F
t+1
的语义特征f
t+1
，并对当前帧图
像F
t+...

【专利技术属性】
技术研发人员：王子磊，庄嘉帆，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：