【技术实现步骤摘要】
一种基于时空卷积神经网络的视频目标分割方法
本专利技术涉及计算机视觉的
，特别是涉及一种基于时空卷积神经网络的视频目标分割方法。
技术介绍
视频对象分割(VOS)是许多视频分析任务的关键步骤，如视频摘要，视频编辑和场景理解。VOS旨在从视频剪辑中提取前景对象。现有的VOS方法可以根据人类参与的程度分为两种设置，即无监督和半监督。无监督的VOS方法不需要任何手动注释，而半监督方法依赖于第一帧中对象的带注释的掩码以保持对象分割结果的时间关联。现有的方法通常使用光流来模拟整个时间内的像素一致性以获得平滑度。然而，光流标注是一项艰巨的任务，需要大量人力，此外光流估计非常难，因此光流估计的结果往往准确较差。
技术实现思路
为解决上述技术问题，本专利技术提供一种不需要依赖光流标注信息来训练光流模型，节省人力资源，提高视频分割准确度的基于时空卷积神经网络的视频目标分割方法。本专利技术的一种基于时空卷积神经网络的视频目标分割方法，包括：使用ResNet-101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连...
【技术保护点】
1.一种基于时空卷积神经网络的视频目标分割方法，其特征在于，包括：使用ResNet‑101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连续的帧(It‑N，It‑(N‑1)，……，It‑1)，输出为预测的当前帧的图像I；并将此步骤设置为时间一致性分支；使用ResNet‑101网络，其中均为卷积层；并且使用步长为1的空洞卷积替换卷积最后两个残余块中的层；使用金字塔池化模型来利用全局不同区域上下文信息；并将此步骤设置为空间分割分支；使用元素添加来利用高级上下文，并连接时间相干特征以集成时间约束；使用来自先前...
【技术特征摘要】
1.一种基于时空卷积神经网络的视频目标分割方法，其特征在于，包括：使用ResNet-101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连续的帧(It-N，It-(N-1)，……，It-1)，输出为预测的当前帧的图像I；并将此步骤设置为时间一致性分支；使用ResNet-101网络，其中均为卷积层；并且使用步长为1的空洞卷积替换卷积最后两个残余块中的层；使用金字塔池化模型来利用全局不同区域上下文信息；并将此步骤设置为空间分割分支；使用元素添加来利用高级上下文，并连接时间相干特征以集成时间约束；使用来自先前粗尺度特征图的预测掩模来指导网络的集中，即使用逐元素乘法来掩盖中的特征映射；增强对象区域周围的特征，使网络逐渐集中在对象区域以获得准确的结果；并将此步骤设置为特征融合。2.如权利要求1所述的一种基于时空卷积神经网络的视频目标分割方法，其特征在于，还包括：...
【专利技术属性】
技术研发人员：李国荣，徐凯，黄庆明，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。