一种基于深度学习的非局部滤波器无监督光流估计方法技术

本发明专利技术公开了一种基于深度学习的非局部滤波器无监督光流估计方法。为了解决现实中缺少真实光流标签以及构造有标签光流数据耗时费力的问题，本发明专利技术设计了一种无监督深度网络架构，减少了对标注数据的依赖。为了提高无监督光流模型的精度，针对光流计算面临的3大难点问题，即噪声、边界模糊、遮挡，首先开发了一种基于卷积神经网络的非局部滤波器，对光流场进行滤波精炼，有效的处理了噪声与边界模糊。该非局部滤波器能从视频数据中自主学习到滤波权重，泛化能力强。其次利用精炼后的光流对遮挡进行推理，根据光流和遮挡图设计全新的损失函数。本发明专利技术不需要任何标注数据，以端到端的训练模式获取高精度的运动信息，且能较好的获取目标运动细节。

【技术实现步骤摘要】
一种基于深度学习的非局部滤波器无监督光流估计方法
本专利技术属于视频分析
，尤其涉及一种基于深度学习的非局部滤波器无监督光流估计方法。
技术介绍
光流运动估计是计算机视觉技术中一个重要的研究与应用领域。光流运动信息作为最主要的视觉线索之一，被广泛地应用于视频分析领域的诸多视觉任务中。开发高精度的、可实时计算的光流方法成为视频分析的一个重要突破点。光流能够描述视频中相邻帧图像对应像素点的运动信息，从而使计算机从纷繁的视频图像序列中获取目标的运动信息，过滤掉不关心的信息。其实质是自动计算视频目标在时序上的运动变化所产生的运动信息，为高层次的视频分析与理解提供有效的运动线索。目前主流的光流运动估计技术根据其实现的方式进行区分，可以概括为以下主要类型：变分法光流估计方法。最早在1981年，人们将二维速度场与亮度变化进行结合构建数据项，同时又提出了基于整体平滑性约束的正则项，将数据项与正则项结合组建成能量函数，并采用变分法对能量函数进行求解来计算光流，进而建立了变分光流法的完整理论架构。由于变分法具有诸多优点，在2015年之前，即在本文档来自技高网...

【技术保护点】
1.一种基于深度学习的非局部滤波器无监督光流估计方法，其特征在于，包括以下步骤：/n步骤1：将监控视频解压成连续的图像序列帧，将其中相邻两帧图像作为输入；/n步骤2：将相邻两帧图像输入到光流网络中提取光流，通过光流网络中金字塔模型对相邻两帧图像中第一帧图像进行采样，得到金字塔图像；/n步骤3：在光流网络中金字塔模型l层，用相同的卷积模板分别获取l层相邻两帧图像的特征信息，通过金字塔模型l层相邻两帧图像的特征信息构建金字塔模型l层成本计算量，将金字塔模型l层成本计算量、金字塔模型l层相邻两帧图像中第一帧图像的特征信息输入到基于深度学习的光流估计器中，得到金字塔模型l层的光流图，将金字塔模型l层的...

【技术特征摘要】
1.一种基于深度学习的非局部滤波器无监督光流估计方法，其特征在于，包括以下步骤：
步骤1：将监控视频解压成连续的图像序列帧，将其中相邻两帧图像作为输入；
步骤2：将相邻两帧图像输入到光流网络中提取光流，通过光流网络中金字塔模型对相邻两帧图像中第一帧图像进行采样，得到金字塔图像；
步骤3：在光流网络中金字塔模型l层，用相同的卷积模板分别获取l层相邻两帧图像的特征信息，通过金字塔模型l层相邻两帧图像的特征信息构建金字塔模型l层成本计算量，将金字塔模型l层成本计算量、金字塔模型l层相邻两帧图像中第一帧图像的特征信息输入到基于深度学习的光流估计器中，得到金字塔模型l层的光流图，将金字塔模型l层的光流图通过上采样得到上采样后金字塔模型l+1层的光流图；
步骤4：重复执行步骤3直至光流网络中金字塔模型的底层，以构建前向光流；
步骤5：交换相邻两张图像的输入顺序，重复执行步骤2-步骤4，以构建后向光流；
步骤6：根据传统非局部滤波器构建基于深度学习的非局部化滤波器，分别将前向光流、后向光流通过基于深度学习的非局部滤波器进一步处理，获得精炼后的前向光流、精炼后的后向光流；
步骤7：结合前后一致性检测原理，利用精炼后的前向光流、精炼后的后向光流对遮挡区域进行估计，并获取前向遮挡区域、后向遮挡区域；
步骤8：结合精炼后的前向光流、精炼后的后向光流、前向遮挡区域和后向遮挡区域，构建前后一致性惩罚函数、遮挡感知损失函数，进一步构建光流网络损失函数作为训练函数。


2.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:
步骤1所述连续的图像序列帧为：
V＝{I1,…,Ij,…IN},j∈[1,N]
其中，N为分解的图像帧数，Ij表示第j帧图像；
步骤2所述其中相邻两帧图像用Ij、Ij+1表示。


3.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:
步骤2所述相邻两帧图像为Ij、Ij+1，Ij表示第j帧图像，j∈[1,N]，N为分解的图像帧数；
步骤2所述通过光流网络中金字塔模型对相邻两帧图像中第一帧图像进行采样为：
通过光流网络中金字塔模型对第j帧图像进行采样；
步骤2所述金字塔图像为：



其中，l∈[1,L],l用于表示光流网络中金字塔模型的第l层，L表示金字塔的总层数，Ij表示第j帧图像，j∈[1,N]，N为分解的图像帧数；
当l＝1时，表示金字塔图像的顶层即粗糙层；
当l＝L时，表示金字塔图像的底层即原始层。


4.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:
步骤3所述金字塔模型顶层为光流网络中金字塔模型的l层，l用于表示光流网络中金字塔模型第l层，当l＝1时表示金字塔图像的顶层，当l＝L时表示金字塔图像的底层，l∈[1,L]
当l＝1时，
步骤3所述相邻两帧图像为：


表示金字塔模型l层第j帧图像，j∈[1,N]，N为分解的图像帧数；
步骤3所述相邻两帧图像的特征信息为：

为相邻两帧图像中第一帧图像的特征信息，为相邻两帧图像中第二帧图像的特征信息；
步骤3所述构建金字塔模型l层成本计算量为：



步骤3所述金字塔模型l层的光流图为：vl；
步骤3所述上采样后金字塔模型l+1层的光流图为：


5.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:
步骤4所述前向光流为：


6.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:
步骤5所述交换相邻两张图像的输入顺序即(Ij,Ij+1)变为(Ij+...

【专利技术属性】
技术研发人员：涂志刚，陈雨劲，刘祥建，田龙，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42