一种视频语义分割装置、训练方法以及视频语义分割方法制造方法及图纸

本申请实施例提供一种视频语义分割装置、训练方法以及视频语义分割方法，其中，所述视频语义分割方法包括：从待分割视频中获取与当前帧图像相邻的图像作为所述当前帧图像的参考图像；获取至少一帧参考图像中各参考图像的图像特征以及语义识别结果，其中，所述至少一帧参考图像是在视频序列中与当前帧图像相邻的前一帧或多帧图像；将所述各参考图像的图像特征、所述各参考图像的语义识别结果和所述当前帧图像输入视频语义分割模型，得到所述当前帧图像的语义分割结果。与相关技术既提升了语义分割的准确度又提升了语义分割的速度，并最终实现了实时的视频语义分割。终实现了实时的视频语义分割。终实现了实时的视频语义分割。

【技术实现步骤摘要】
一种视频语义分割装置、训练方法以及视频语义分割方法


[0001]本申请涉及视频语义分割领域，具体而言本申请实施例涉及一种视频语义分割装置、训练方法以及视频语义分割方法。

技术介绍

[0002]视频语义分割旨在基于给定的视频像素级地分割出每一帧图像中存在的目标对象(例如，分割出视频中一帧或多帧图像中存在的人像或者车辆)。例如，视频人像分割任务应用广泛，在线上视频会议背景替换、视频剪辑及再创作等场景下均取得了不错的效果。
[0003]相关技术的视频语义分割将解帧一段视频后得到的视频序列中的每帧图片单独处理，具体地，利用图像分割网络(例如，MobileNet、SegNet等)得到解析后每帧图像的语义分割结果。由于直接采用图像分割网络进行视频语义分割时未考虑前后帧之间的相关性，导致语义分割效果较差。例如，采用单帧图像进行语义分割的结果会造成视频播放时的闪烁现象，这是由于直接采用图像分割网络会造成对于相邻帧间对于同一位置的像素分类结果不同，或是因为单帧图像信息不足而导致的分类错误。另外，相关技术方案的视频语义分割方法处理时间长，导致不能实现实时视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频语义分割方法，其特征在于，所述视频语义分割方法包括：从待分割视频中获取与当前帧图像相邻的图像作为所述当前帧图像的参考图像；获取所述参考图像的图像特征和语义识别结果；将所述参考图像的图像特征、所述参考图像的语义识别结果和所述当前帧图像输入视频语义分割模型，并通过所述视频语义分割模型得到所述当前帧图像的语义分割结果。2.如权利要求1所述的视频语义分割方法，其特征在于，所述通过所述视频语义分割模型得到所述当前帧图像的语义分割结果，包括：获得所述当前帧图像与所述参考图像之间的特征相似度；根据所述特征相似度确定所述参考图像的语义识别结果对所述语义分割结果的影响程度；至少根据所述影响程度得到所述当前帧图像的语义分割结果。3.如权利要求2所述的视频语义分割方法，其特征在于，所述获得所述当前帧图像与所述参考图像之间的特征相似度，包括：获取所述当前帧图像的图像特征；根据所述当前帧图像的图像特征和所述参考图像的图像特征确定所述特征相似度。4.如权利要求2
‑
3任一项所述的视频语义分割方法，其特征在于，所述根据所述特征相似度确定所述参考图像的语义识别结果对所述语义分割结果的的影响程度，包括：根据所述参考图像与所述当前帧图像之间的特征相似度调整所述参考图像的语义分割结果，得到所述参考图像的参考语义分割结果，其中，所述参考语义分割结果用于表征所述影响程度；所述至少根据所述影响程度得到所述当前帧图像的语义分割结果，包括：获取所述当前帧图像的预分割特征；根据所述参考语义分割结果和所述预分割特征得到所述当前帧图像的语义分割结果。5.如权利要求1
‑
4任一项所述的视频语义分割方法，其特征在于，所述视频语义分割模型包括：编码器、解码器、乘法模块和相似度计算模块，且所述解码器包括多级上采样层和微调模块；所述通过所述视频语义分割模型得到所述当前帧图像的语义分割结果，包括：通过所述编码器和多级上采样层得到所述当前帧图像的预分割特征；通过所述编码器获取所述当前帧图像的图像特征；将所述当前帧图像的图像特征和所述参考图像的图像特征输入所述相似度计算模块，得到所述参考图像与所述当前帧图像之间的特征相似度；通过所述乘法模块将所述参考图像与所述当前帧图像之间的特征相似度与所述参考图像的分割掩码相乘，得到所述参考图像的参考语义分割结果；通过所述微调模块根据所述参考图像的参考语义分割结果以及所述预分割特征，得到所述当前帧图像的语义分割结果。6.如权利要求5所述的视频语义分割方法，其特征在于，所述参考语义分割结果对应参考分割掩码，且所述微调模块包括所述多级上采样层中的最后一级上采样层，其中，所述通过所述微调模块根据所...

【专利技术属性】
技术研发人员：马志明，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：