视频处理方法及装置制造方法及图纸

本公开关于一种视频处理方法及装置，方法包括：获取待处理视频，其中，待处理视频中包括多个图像帧；从多个图像帧中提取第一图像帧，并基于第一图像帧的掩膜，确定多个图像帧的第一掩膜；从多个图像帧中提取第二图像帧，并基于第二图像帧的掩膜，确定多个图像帧的第二掩膜；基于第二图像帧的第一掩膜和第二掩膜、与第二图像帧相邻的目标图像帧对应的第一掩膜和第二掩膜，确定目标图像帧的掩膜；基于目标图像帧的掩膜对目标图像帧进行处理。图像帧的掩膜对目标图像帧进行处理。图像帧的掩膜对目标图像帧进行处理。

【技术实现步骤摘要】
视频处理方法及装置


[0001]本公开涉及图像处理领域，尤其涉及一种视频处理方法及装置。

技术介绍

[0002]视频处理技术(如视频目标分割、视频目标屏蔽等)是当下热门的业务，但是上述视频处理技术无法准确的融合两次处理的掩膜。下面以视频目标分割为例进行说明，视频目标分割(Video Object Segmentation，缩写为VOS)是视频场景理解和视频编辑的基础能力，根据用户输入类型的不同可以划分为不同的视频目标分割算法，如交互式视频目标分割(interactive VOS，缩写为iVOS)，用户可以不断迭代交互优化目标分割结果。目前，iVOS可以看做如下两个任务的组合：交互式感知(interaction understanding)和帧间掩膜传播(temporal propogation)，该iVOS算法通常利用互连的编码器(inter
‑
connectedencoders)或记忆增强的交互特征(memory
‑
augmented interaction features)，将上述两个任务放在一起共同执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取待处理视频，其中，所述待处理视频中包括多个图像帧；从所述多个图像帧中提取第一图像帧，并基于所述第一图像帧的掩膜，确定所述多个图像帧的第一掩膜；从所述多个图像帧中提取第二图像帧，并基于所述第二图像帧的掩膜，确定所述多个图像帧的第二掩膜；基于所述第二图像帧的第一掩膜和第二掩膜、与所述第二图像帧相邻的目标图像帧对应的第一掩膜和第二掩膜，确定所述目标图像帧的掩膜；基于所述目标图像帧的掩膜对所述目标图像帧进行处理。2.如权利要求1所述的视频处理方法，其特征在于，所述基于所述第二图像帧的第一掩膜和第二掩膜、与所述第二图像帧相邻的目标图像帧对应的第一掩膜和第二掩膜，确定所述目标图像帧的掩膜，包括：基于所述第二图像帧的第一掩膜和第二掩膜，将所述第二图像帧相邻的目标图像帧对应的第一掩膜和第二掩膜进行融合，得到所述目标图像帧的掩膜。3.如权利要求2所述的视频处理方法，其特征在于，所述基于所述第二图像帧的第一掩膜和第二掩膜，将所述第二图像帧相邻的目标图像帧对应的第一掩膜和第二掩膜进行融合，得到所述目标图像帧的掩膜，包括：对所述第二图像帧的第一掩膜和第二掩膜做减法处理，得到差异矩阵；将所述目标图像帧、所述第二图像帧的第一掩膜和第二掩膜输入到时空记忆器，得到所述目标图像帧中目标对象的掩膜；将所述差异矩阵与所述目标图像帧中目标对象的掩膜相乘，得到所述目标图像帧的差异信息；将所述目标图像帧对应的第一掩膜和第二掩膜、所述目标图像帧、所述差异信息输入到单层卷积网络，得到所述目标图像帧的掩膜。4.如权利要求3所述的视频处理方法，其特征在于，所述单层卷积网络的输入还包括：线性系数，其中，所述线性系数是基于所述目标图像帧的帧索引和所述第二图像帧的帧索引确定的。5.如权利要求1所述的视频处理方法，其特征在于，在基于所述第一图像帧的掩膜，确定所述多个图像帧的第一掩膜之前，还包括：获取所述第一图像帧对应的第一交互信息，其...

【专利技术属性】
技术研发人员：王伟农，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：