一种弱监督视频物体分割方法及装置制造方法及图纸

本发明专利技术公开了一种弱监督视频物体分割方法，包括构建视频物体分割模型，输入测试视频首帧和测试物体边界框后，基于迭代式算法对视频分物体割模型进行预训练；对测试视频首帧后的每一帧中的测试物体边界框进行追踪；对测试视频首帧后的每一帧进行像素级别的预测，生成当前帧的包含前后景信息的图像掩码；基于追踪结果对图像掩码进行优化，得到当前帧的最终物体分割计算结果。本发明专利技术还公开了一种弱监督视频物体分割装置，包括弱监督视频物体分割预训练模块、视频物体追踪模块、视频物体分割测试模块和视频物体分割优化模块。本发明专利技术减少了视频物体分割需要的人工成本，提升了视频物体分割的性能。

【技术实现步骤摘要】
一种弱监督视频物体分割方法及装置
本专利技术涉及计算机视觉方向的视频处理领域，尤其涉及一种弱监督视频物体分割方法及装置。
技术介绍
视频物体分割(VideoObjectSegmentation,VOS)是计算机视频处理领域的热点研究问题之一。视频物体分割可以对视频中的每一帧生成包含物体前后景信息的图像掩码。视频物体分割框架生成的掩码有着广泛的应用，例如视频编辑、自动驾驶、视频监控、和基于视频内容的视频编码应用等。目前该领域的主流方法包括监督式(SupervisedVOS)、无监督式(UnsupervisedVOS)、和半监督式(Semi-supervisedVOS)视频物体分割框架。监督式视频物体分割框架假定当前测试序列中，所有视频帧具有人工标定的预先知识，并通过与使用者的交互，协同生成与改善视频物体分割的图像掩码。此类方法不适用于自动化的视频物体分割任务，因其通常在缺少人工介入的情况下性能不佳。无监督视频物体分割框架假定不存在对当前视频序列的任何预先知识，直接对每一个视频帧进行物体分割。此类框架由于缺少针对当前视频序列的上下文信息，往往因误引入无关物体导致性能不佳。半监督式视频物体本文档来自技高网...

【技术保护点】
1.一种弱监督视频物体分割方法，其特征在于，包括以下步骤：S01构建视频物体分割模型，输入测试视频首帧和首帧中的测试物体边界框后，基于迭代式算法对视频分物体割模型进行预训练；S02对所述测试视频首帧后的每一帧中的测试物体边界框进行追踪，更新所述测试物体边界框；S03基于步骤S02输出的所述测试物体边界框，对所述测试视频首帧后的每一帧进行像素级别的预测，生成一张当前帧的包含前后景信息的图像掩码；S04基于步骤S02输出的结果，对步骤S03输出的图像掩码进行优化，得到当前帧的最终物体分割计算结果。

【技术特征摘要】
1.一种弱监督视频物体分割方法，其特征在于，包括以下步骤：S01构建视频物体分割模型，输入测试视频首帧和首帧中的测试物体边界框后，基于迭代式算法对视频分物体割模型进行预训练；S02对所述测试视频首帧后的每一帧中的测试物体边界框进行追踪，更新所述测试物体边界框；S03基于步骤S02输出的所述测试物体边界框，对所述测试视频首帧后的每一帧进行像素级别的预测，生成一张当前帧的包含前后景信息的图像掩码；S04基于步骤S02输出的结果，对步骤S03输出的图像掩码进行优化，得到当前帧的最终物体分割计算结果。2.如权利要求1所述的弱监督视频物体分割方法，其特征在于，步骤S01中，所述首帧中的测试物体边界框通过人工标定的方式获得。3.如权利要求1所述的弱监督视频物体分割方法，其特征在于，步骤S01中，基于迭代式算法对视频物体分割模型进行预训练的步骤包括：S11利用当前视频物体分割模型，生成对于测试视频首帧的图像掩码；S12基于首帧中的测试物体边界框，对所述测试视频首帧的图像掩码进行优化；S13使用优化后的图像掩码训练当前视频物体分割模型；S14重复步骤S11至S13，达到迭代次数后结束。4.如权利要求3所述的弱监督视频物体分割方法，其特征在于，步骤S12中，对所述测试视频首帧的图像掩码进行优化，包括删除无关物体、补全测试物体的缺失部分。5.如权利要求1所述的弱监督视频物体分割方法，其特征在于，步骤S02中，所述测试物体边界框包括所述测试物体的位置信息和尺寸信息。6.如权利要求1所述的弱监督视频物体分割方法，其特征在于，步骤S03中，预测的范围是所述测试物体附近的子区域，所述子区域由所述测试物体边界框给出。7.如权利要求1所述的弱监督视频物体分割方法，其特征在于，步骤S04中，对步骤S03输出的图像掩码进行优化包括：去除无关物体；根据所述测...

【专利技术属性】
技术研发人员：张宗璞，马汝辉，华扬，宋涛，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31