一种视频目标分割方法、装置和设备制造方法及图纸

本发明专利技术提供了一种视频目标分割方法、装置和设备，所述方法包括：对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；将所述分割热力图进行二值化处理，得到所述分割目标区域。本发明专利技术能有效结合多帧特征信息，对查询帧内的目标分割进行引导，并且其中的变换预测分支网络使目标分割结果更加精准，实现了同时达到高速处理和高精度分割。

A method, device and equipment of video object segmentation

【技术实现步骤摘要】
一种视频目标分割方法、装置和设备
本专利技术涉及人工智能领域，具体涉及一种视频目标分割方法、装置和设备。
技术介绍
视频目标分割是多媒体领域的新兴课题，对视频中的特定目标进行追踪和分割可以有效提取出关键信息，促进对视频内容的理解。为节省对视频目标的标注时间，半监督的视频目标自动分割技术应运而生，其通过给出视频中特定目标的第一帧标签，自动进行后续每帧图像中的目标分割。已有的视频目标分割方法不能有效利用图像序列的帧间信息，难以同时达到高速处理和高精度分割。
技术实现思路
(一)要解决的技术问题不能有效利用图像序列的帧间信息，难以同时达到高速处理和高精度分割。(二)技术方案为了解决上述问题，本专利技术一方面提供了一种视频目标分割方法，所述方法包括：对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；将所述分本文档来自技高网...

【技术保护点】
1.一种视频目标分割方法，其特征在于，所述方法包括：/n对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；/n利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；/n将所述分割热力图进行二值化处理，得到所述分割目标区域。/n

【技术特征摘要】
1.一种视频目标分割方法，其特征在于，所述方法包括：
对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；
利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；
将所述分割热力图进行二值化处理，得到所述分割目标区域。


2.根据权利要求1所述的方法，其特征在于，所述通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，包括：
对所述第一帧图像和所述分割目标标签连接后进行特征提取，得到第一帧特征；
对所述第t-1帧图像和第t-1帧图像的预测结果连接后进行特征提取，得到第t-1帧特征，其中，t＞2；
对第t帧图像进行特征提取，得到第t帧特征；
将所述第一帧特征与所述t-1帧特征进行连接，形成记忆帧特征；
将所述记忆帧特征与所述第t帧特征进行特征匹配，得到预测结果。


3.根据权利要求2所述的方法，其特征在于，所述对所述第一帧图像和所述分割目标标签连接后进行特征提取，得到第一帧特征，包括：
将第一帧图像和分割目标标签连接成4通道数据，通过第一编码器进行特征提取得到第一帧特征图；
对所述第一帧特征图进行键-值卷积操作处理，得到第一帧键特征和第一帧值特征，将所述第一帧键特征和第一帧值特征作为所述第一帧特征。


4.根据权利要求2所述的方法，其特征在于，所述对所述第t-1帧图像和第t-1帧图像的预测结果和连接后进行特征提取，得到第t-1帧特征，包括：
将第t-1帧图像和第t-1帧图像的预测结果连接成4通道数据，通过第一编码器特征提取得到第t-1帧特征图；
对所述第t-1帧特征图进行键-值卷积操作处理，得到第t-1帧键特征和第t-1帧值特征，将所述第t-1帧键特征和第t-1帧值特征作为所述第t-1帧特征。


5.根据权利要求2所述的方法，其特征在于，所述对第t帧图像进...

【专利技术属性】
技术研发人员：张勇东，林凡超，谢洪涛，
申请(专利权)人：中国科学技术大学，北京中科研究院，
类型：发明
国别省市：安徽;34