一种基于卷积神经网络的稠密光流估计方法技术

本发明专利技术属于计算机视觉领域，提供了一种基于卷积神经网络的稠密光流估计方法，以解决现有技术计算时间长，计算量大，计算效率不高的问题，包含如下步骤：(1)提取运动图像信息：构建全卷积网络架构，然后在输入层输入两幅通道数都为C的图像，从卷积层8输出光流_6；(2)生成光流：构建稠密光流生成模型。光流_6输入反卷积层1，反卷积层2输出光流_5，反卷积层3输出光流_4，反卷积层4输出光流_3，反卷积层5输出光流_2，反卷积层6输出光流_1；(3)模型训练：用最终损失函数进行训练；(4)光流估计：从全卷积网络架构的输入层输入图像对，输出最终预测的光流。本发明专利技术能够有效地利用先验知识，模型可以预先训练，大大减少了计算时间。

A dense optical flow estimation method based on convolution neural network

The invention, which belongs to the field of computer vision, provides a dense optical flow estimation method based on the convolution neural network to solve the problems of long time, large computation, and low computing efficiency of the existing technology, including the following steps: (1) extracting the information of the moving image: constructing the full convolution network architecture, and then input the input layer into the input layer. Two images with a number of channels C, output optical flow _6 from convolution layer 8, (2) generate optical flow: build dense optical flow generation model. Optical flow _6 input anti coiling layer 1, reverse coiling layer 2 output optical flow, reverse coiling layer 3 output optical flow _4, reverse coiling layer 4 output optical flow _3, reverse coiling layer 5 output optical flow _2, reverse coiling layer 6 output optical flow _1; (3) model training: training with final loss function; (4) optical flow estimate: input map from full convolution network architecture Like, the output of the final predicted light flow. The invention can effectively utilize prior knowledge, and the model can be trained in advance, thus greatly reducing computation time.

【技术实现步骤摘要】
一种基于卷积神经网络的稠密光流估计方法
本专利技术属于计算机视觉领域，尤其涉及一种基于卷积神经网络的稠密光流估计方法。
技术介绍
光流估计是计算机视觉领域内的一个重要基础模块，其研究目的是通过建模计算出视频连续两帧间的运动信息，具体就是第一帧中每个像素在第二帧中的对应匹配像素。经过三十多年的发展，光流估计问题已经有非常多的相关研究，但在真实世界视频里的鲁棒光流估计仍然是个富有挑战性的问题。光流估计根据所采用的方法的不同，大体可以分为两种：一种是基于Horn和Schunck提出的变分能量优化模型，一种是基于匹配的插值优化模型。基于变分能量优化模型的算法虽然能够在小位移光流估计中取得非常精确的结果，但这种方法通常会在有大位移运动物体的场景下失败。基于匹配的插值优化模型主要利用了在大位移运动中，两帧之间视觉关键点的匹配信息对光流估计结果的重要性。以一种相对稠密的匹配结果作为光流估计的初始值，可以很好的解决传统变分能量优化模型存在的问题。然而，基于匹配的插值优化模型主要问题在于计算稠密匹配需要相当大的代价，并且其匹配结果的精度也直接影响到最终光流估计的效果。针对这种问题，本专利技术提出一种新本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的稠密光流估计方法，其特征在于：包含如下步骤：(1)提取运动图像信息：构建全卷积网络架构：包括输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9；输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9顺次连接；卷积层1的卷积核长宽以及卷积核个数分别为7,7,64；卷积层2的卷积核长宽以及卷积核个数分别为3,3,128；卷积层3的卷积核长宽以及卷积核个数分别为3,3,256；卷积层4的卷积核长宽以及卷积核个数分别为3,3,256；卷积层5的卷积核长宽以及卷积核个数分别为3,3,512；卷积...

【技术特征摘要】
1.一种基于卷积神经网络的稠密光流估计方法，其特征在于：包含如下步骤：(1)提取运动图像信息：构建全卷积网络架构：包括输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9；输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9顺次连接；卷积层1的卷积核长宽以及卷积核个数分别为7,7,64；卷积层2的卷积核长宽以及卷积核个数分别为3,3,128；卷积层3的卷积核长宽以及卷积核个数分别为3,3,256；卷积层4的卷积核长宽以及卷积核个数分别为3,3,256；卷积层5的卷积核长宽以及卷积核个数分别为3,3,512；卷积层6的卷积核长宽以及卷积核个数分别为3,3,512；卷积层7的卷积核长宽以及卷积核个数分别为3,3,512；卷积层8的卷积核长宽以及卷积核个数分别为3,3,512；卷积层9的卷积核长宽以及卷积核个数分别为3,3,1024；卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9的步长分别设置为2，2，2，1，1，2，1，1，2；卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9的激活函数都是RELU函数；然后在输入层输入两幅通道数都为C的图像，从卷积层8输出光流_6，光流_6为预测光流；(2)生成光流：构建稠密光流生成模型：定义密集体1，密集体2，密集体3，密集体4，密集体5，每个密集体包含L个团块，每个团块包括batchnormalization,卷积核大小为3*3的卷积层，dropout层3个部分；batchnormalization的激活函数为RELU函数；如图4，团块内部的连接方式：batchnormalization，卷积核大小为3*3的卷积层，dropout层顺次连接；在密集体内部，团块L-1，团块L-2，团块L-3，到团块1共L-1个团块的输出与团块L相连接；定义反卷积层1，反卷积层2，反卷积层3，反卷积层4，反卷积层5，反卷积层6；反卷积层1的卷积核长宽以及卷积核个数分别为3,3,512；反卷积层2的卷积核长宽以及卷积核个数分别为3,3,256；反卷积层3的卷积核长宽以及卷积核个数分别为3,3,128；反卷积层4的卷积核长宽以及卷积核个数分别为3,3,64；反卷积层5的卷积核长宽以及卷积核个数分别为3,3,32；反卷积层6的卷积核长宽以及卷积核个数分别为3,3,16；卷积层9，反卷积层1，密集体1，反卷积层2，密集体2，反卷积层3，密集体3，反卷积层4，密集体4，反卷积层5，密集体5，反卷积层6顺次连接；光流_6输入反卷积层1，卷积层9将处理后的信息输...

【专利技术属性】
技术研发人员：项学智，翟明亮，吕宁，张荣芳，郭鑫立，王帅，于泽婷，张玉琦，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23