一种基于大数据记忆存储的轻量型视频对象分割方法技术

本发明专利技术公开了一种基于大数据记忆存储的轻量型视频对象分割方法，所述方法将视频首帧的图像和真实标签作为记忆编码器的输入，编码得到键和值映射对，并对初始化记忆库；将查询帧的图像作为查询编码器的输入，编码得到键和值映射对，将所述键和值映射对通过核记忆搜索器，对记忆库进行搜索；将核记忆搜索的输出与查询帧的值拼接作为解码器的输入，并为查询帧重建掩码；将查询帧的图像和所述掩码输入变化感知器以计算帧间的差异，自适应地激活对变化帧的记忆库更新。本方法能使网络模型轻量化，并通过局部匹配来缓解相似目标对象的干扰，从而实现高精度、高速度的视频对象分割。对象分割。对象分割。

【技术实现步骤摘要】
一种基于大数据记忆存储的轻量型视频对象分割方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于大数据记忆存储的轻量型视频对象分割方法。

技术介绍

[0002]视频对象分割是计算机视觉中的一项基本任务，在图像视觉内容分析与理解方面起着重要作用。视频对象分割可以更好地帮助理解视频，有助于完成交互式视频编辑、自动驾驶和机器人导航等任务。视频对象分割是指在视频帧序列中将前景对象与背景分离的过程。目前该领域内已有许多方法解决这种二元分割问题，这些方法可以分为无监督方法和监督方法。前者不需要人工介入，直接输入视频数据；后者则要求人为提供视频首帧的标签数据来进行初始化。虽然人为提供了额外的目标信息，但由于目标物体运动过程中可能出现失真、遮挡和相似物体的干扰，仍然具有挑战性。本专利技术专利属于半监督视频对象分割技术。
[0003]早期的一些方法大都依赖对人为提供的数据进行各种数据增强策略，并利用这些生成的数据在线微调深度神经网络模型来学习目标物体的外观。尽管这些方法具有较高的预测精度和对遮挡的鲁棒性，但在线微调过程需要巨大的时间开销和计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据记忆存储的轻量型视频对象分割方法，其特征在于，所述方法包括：给定一个带有第一帧注释掩码的测试视频，将视频首帧的图像和真实标签通过记忆编码器得到键和值映射对，所述键和值映射对用来初始化记忆库，查询帧的图像通过查询编码器得到键和值映射对；将所述键和值映射对通过核记忆搜索器，对记忆库进行搜索，首先，计算查询帧和记忆帧之间的相似度，得到最匹配的查询位置，其次，以所述最匹配的查询位置为中心计算二维高斯核，最后，使用所述二维高斯核，再局部检索所述记忆库中的值，将检索结果作为核记忆搜索器的输出；将所述核记忆搜索器的输出与查询帧的值拼接作为解码器的输入，并为查询帧重建掩码，得到预测掩码；将查询帧的图像和所述预测掩码输入变化感知器以计算帧间的差异，自适应地激活对变化帧的记忆库更新，并忽略静态帧。2.根据权利要求1所述的视频对象分割方法，其特征在于，所述变化感知器为：对于给定帧图像与对象掩码，分别计算图像中每个像素的变化和对象掩码的变化，并更新整体运行变化度：当超过阈值，激活记忆库更新。3.根据权利要求2所述的视频对象分割方法，其特征在于，所述忽略静态帧，具体为：对于一个新像素特征，若与记忆库中的像素特征的相似度超过设定的阈值，...

【专利技术属性】
技术研发人员：张勇，徐珂，王昊冉，何华，戴超凡，杨欣琼，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：