【技术实现步骤摘要】
视频目标分割方法及装置、电子设备
[0001]本公开涉及视频处理领域，尤其涉及一种视频目标分割方法及装置、电子设备。
技术介绍
[0002]视频目标分割(Video Object Segmentation,VOS)是视频场景理解和视频编辑的基础能力，该技术在短视频智能编辑、特效制作和短视频创作等领域具有广阔应用前景。VOS技术是指给定某视频序列初始图像帧中的目标物体掩膜mask，在后续图像帧中预测出该目标物体的像素级别的分割掩膜mask结果。随着深度学习错的发展，深度神经网络被应用于VOS中，基于深度网络提取的高层语义特征能够从复杂场景中更准确辨别目标物体和背景，从而极大的提升了目标分割的效果，基于深度学习的VOS分割技术也因此成为主流的技术之一。
[0003]目前的视频目标分割模型，一般是将模型所包含的时空记忆网络(Space
‑
time Memory Network)的输出，直接送入了模型中后续的解码(decoder)网络中进行最终的mask预测；这种方式，常常导致模型在多种多样的场景下，鲁棒性...
【技术保护点】
【技术特征摘要】
1.一种视频目标分割方法，其特征在于，所述视频目标分割方法包括：获取待处理视频的当前图像帧、所述当前图像帧对应的至少一个图像帧以及所述至少一个图像帧的目标掩膜，其中，所述至少一个图像帧在所述待处理视频中的位置位于所述当前图像帧之前；对所述至少一个图像帧、所述至少一个图像帧的目标掩膜和所述当前图像帧进行编码处理，得到所述至少一个图像帧的第一编码特征和所述当前图像帧的第二编码特征；将所述第一编码特征和所述第二编码特征输入时空记忆网络，得到用于预测所述当前图像帧的目标掩膜的第三特征信息；提取所述第三特征信息中的冗余特征信息，其中，所述冗余特征信息是所述第三特征信息的不同信道间相似程度超过预设值的特征信息；将所述第三特征信息和所述冗余特征信息融合后输入解码网络，得到所述当前图像帧的目标掩膜，其中，所述目标掩膜用于对所述当前图像帧进行目标分割。2.如权利要求1所述的视频目标分割方法，其特征在于，所述提取所述第三特征信息中的冗余特征信息，包括：将所述第三特征信息输入冗余特征获取网络，得到第一冗余特征信息；对所述第一冗余特征信息进行归一化处理，得到第二冗余特征信息；将所述第二冗余特征信息经激活函数处理，得到所述冗余特征信息。3.如权利要求2所述的视频目标分割方法，其特征在于，在将所述第三特征信息输入冗余特征获取网络，得到第一冗余特征信息之前，还包括：对所述第三特征信息进行降维处理。4.如权利要求1至3中任一项所述的视频目标分割方法，其特征在于，所述对所述至少一个图像帧、所述至少一个图像帧的目标掩膜和所述当前图像帧进行编码处理，得到所述至少一个图像帧的第一编码特征和所述当前图像帧的第二编码特征，包括：将所述至少一个图像帧和所述至少一个图像帧的目标掩膜输入记忆编码网络，得到第一键值对，作为所述第一编码特征，其中，所述第一键值对包括第一特征信息和第一键信息，所述第一特征信息包括所述至少一个图像帧的编码信息和所述目标掩膜的编码信息，所述第一键信息包括用于查询所述第一特征信息的寻址信息；将所述当前图像帧输入查询编码网络，得到第二键值对，作为所述第二编码特征，其中，所述第二键值对包括第二特征信息和第二键信息，所述第二特征信息包括所述当前图像帧的编码信息，所述第二键信息包括用于查询所述第二特征信息的寻址信息。5.如权利要求4所述的视频目标分割方法，其特征在于，所述记忆编码网络包括N个阶段模块，第N个阶段模块中一个卷积层为空洞卷积，其中，N为大于2的正整数，在将所述至少一个图像帧和所述至少一个图像帧的目标掩膜输入记忆编码网络，得到第一键值对之前，还包括：调整所述记忆编码网络的第N个阶段模块中空洞卷积的参数，得到调整后记忆编码网络，所述调整后记忆编码网络的所述第N个阶段模块输出结果的分辨率与第N
‑
1个阶段模块输出结果的...
【专利技术属性】
技术研发人员：王伟农，戴宇荣，陶鑫，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。