光流生成装置和方法制造方法及图纸

本发明专利技术公开了一种光流生成装置，包括：生成对抗网络；生成对抗网络包括第一生成器和判别器；第一生成器包括第一神经网络，第一生成器输入两帧图像，输出对应的第一预测光流；第一生成器的输出端连接判别器的输入端；判别器包括第二神经网络，判别器输入两帧图像和光流并判断所输入的光流的真实性，判别器输入的光流包括训练集对应的样本光流或第一预测光流；第一生成器的第一神经网络的权重参数通过训练得到，当判别器无法区分所述第一预测光流和样本光流时，第一生成器的训练完成。本发明专利技术还公开了一种光流生成方法。本发明专利技术具有更好的光指标和更快的训练速度。

【技术实现步骤摘要】
光流生成装置和方法
本专利技术涉及计算机视觉
，特别是涉及一种光流生成装置。本专利技术还涉及一种光流生成方法。
技术介绍
在对运动物体进行拍摄或者拍摄体本身进行运动时对外部环境进行拍摄的过程中，会形成连续的帧图像，对于帧图像中的运动物体，由于运动物体的实际位置会随着时间的变化而变化，而帧图像则是按时间先后顺序排列，故运动物体在帧图像中的位置也会不断变化，光流就是指运动物体对应的图像在不同帧图像中的位置的变化；也能表述为：在计算机视觉中，光流定义图像中对象的移动，这个移动可以是相机移动或者物体移动引起的。具体是指，视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量，使用二维向量表示。而光流生成装置则能根据计算出帧图像中的运动物体的光流并对运动物体的未来位置进行预测。通过光流计算，能实现动作捕捉、动作预测、物体跟踪和动作识别等。现有光流生成方法包括直接计算光流,直接计算光流主要是采用卢卡斯-金出(Lucas-Kanade，L-K)，这个方法是由BruceD.Lucas和TakeoKanade专利技术的。它假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。直接计算光流的计算量较大，速度较慢。随着深度学习技术的发展并广泛地应用于计算机视觉等人工智能领域，也开始采用卷积神经网络（CNN）来解决光流估计问题，用于计算光流的CNN最初网络结构为FlowNet，改进版本为FowNet2.0。现有技术中普遍采用FlowNet2.0来计算光流。FlowNet中，通常包括降维的编码（encoder）模块和升维的解码（decoder）模块；encoder模块包括FlowNetS和FlowNetCoor。其中，FlowNetCoor的效果更好，加入了人工相关运算。FlowNetS和FlowNetCoor的decoder模块相同。FlowNet2.0的网络结构中，则包括FlowNetCoor+FlowNetS+FlowNetS的叠加结构，FlowNet2.0计算速度很快，达到实时的要求。
技术实现思路
本专利技术所要解决的技术问题是提供一种光流生成装置，具有更好的光指标和更快的训练速度。为此，本专利技术还提供一种光流生成方法。为解决上述技术问题，本专利技术提供的光流生成装置包括：生成对抗网络。所述生成对抗网络包括第一生成器和判别器。所述第一生成器包括第一神经网络，所述第一生成器输入两帧图像，输出对应的第一预测光流。所述第一生成器的输出端连接所述判别器的输入端。所述判别器包括第二神经网络，所述判别器输入两帧图像和光流，所述判别器输入的光流包括训练集对应的样本光流或第一预测光流；所述样本光流为真实光流，所述判别器用于判断所述第一预测光流的真实性；当所述判别器输入的光流为所述第一预测光流，所述判别器的输出判定所述判别器输入的光流为所述样本光流时，所述判别器认为所述第一预测光流等同于所述样本光流。也即，当所述判别器输入光流时，所述判别器一开始并不知道所输入的光流是所述样本光流还是所述第一预测光流，经过所述判别器的判别处理之后才能确定，所输入的光流是所述样本光流还是所述第一预测光流；通常，所输入的光流是所述样本光流时，所述判别器会判定为所输入的光流是所述样本光流；这是通过采用所述样本光流对所述判别器进行单独训练得到的。但是，当所输入的光流为所述第一预测光流时，如果所述第一预测光流和真实光流对应的所述样本光流偏差较大，则所述判别器能单独识别出所述第一预测光流并认为所述第一预测光流和所述样本光流不同；如何所述第一预测光流和所述样本光流很接近且二者的差异小于所述判别器的识别极限，则当所输入的光流为所述第一预测光流时，所述判别器会将所述第一预测光流当作所述样本光流。所述第一生成器的所述第一神经网络的权重参数通过训练得到，当所述判别器认为所述第一预测光流等同于所述样本光流时，所述第一生成器的训练完成。也即，当所述判别器认为所述第一预测光流等同于所述样本光流时，则表示所述第一预测光流和所述样本光流的差异很小，所述第一生成器就能实际应用了，也即训练完成。进一步的改进是，在训练阶段，所述第一生成器输入的两帧图像和所述判别器输入的两帧图像相同且为训练集中的样本对应的两帧图像，所述两帧图像为在时间上具有前后顺序的连续两帧图像。所述光流为不同时间上的所述两帧图像中的物体在所述两帧图像中形成的位移。进一步的改进是，所述生成对抗网络还包括用于训练所述第一生成器的第一损失函数模块，在训练所述第一生成器时，所述第一损失函数模块输入所述第一预测光流和对应的所述样本光流，所述第一损失函数模块输出端输出所述第一预测光流和对应的所述样本光流形成的第一损失函数，所述第一生成器根据所述第一损失函数训练所述第一神经网络的权重参数。进一步的改进是，在训练所述第一生成器时，所述判别器的输入端输入两帧图像、所述第一预测光流和对应的所述样本光流。所述判别器的输出端输出对所输入的光流的真实性的判断。进一步的改进是，所述生成对抗网络包括第二生成器，所述第二生成器包括第三神经网络，所述第二生成器输入两帧图像，输出对应的第二预测光流。所述第三神经网络是所述第一神经网络进行知识蒸馏形成的规模变小的学生网络。进一步的改进是，所述第三神经网络是把所述第一神经网络的每一层通道进行按比例缩减形成的神经网络。进一步的改进是，所述生成对抗网络还包括用于训练所述第二生成器的第三损失函数模块；在训练所述第二生成器时，所述第一神经网络的权重参数和所述第二神经网络的权重参数都固定，所述第三损失函数模块输入所述第一预测光流和所述第二预测光流，所述第三损失函数模块输出端输出所述第一预测光流和所述第二预测光流形成的第三损失函数，所述第二生成器根据所述第三损失函数训练所述第三神经网络的权重参数。进一步的改进是，在训练所述第二生成器时，所述判别器的输入端输入两帧图像、所述第一预测光流和所述第二预测光流。所述判别器的输出端输出对所输入的光流的真实性的判断。进一步的改进是，所述判别器的第二神经网络的权重参数通过训练得到，所述生成对抗网络还包括用于训练所述判别器的第二损失函数模块。进一步的改进是，所述第一神经网络和所述第三神经网络的网络结构都为FlowNet2.0。进一步的改进是，所述第二神经网络的网络结构包括Resnet-50，Flownet2.0，mobilenet，densenet，inception。为解决上述技术问题，本专利技术提供的一种光流生成方法采用生成对抗网络生成光流。所述生成对抗网络包括第一生成器和判别器。所述第一生成器包括第一神经网络，所述第一生成器输入两帧图像，输出对应的第一预测光流。所述第一生成器的输出端连接所述判别器的输入端。所述判别器包括第二神经网络，所述判别器输入两帧图像和光流，所述判别器输入的光流包括训练集对应的样本光流或第一预测光流；所述样本光流为真实光流，所述判别器本文档来自技高网...

【技术保护点】
1.一种光流生成装置，其特征在于，包括：生成对抗网络；/n所述生成对抗网络包括第一生成器和判别器；/n所述第一生成器包括第一神经网络，所述第一生成器输入两帧图像，输出对应的第一预测光流；/n所述第一生成器的输出端连接所述判别器的输入端；/n所述判别器包括第二神经网络，所述判别器输入两帧图像和光流，所述判别器输入的光流包括训练集对应的样本光流或第一预测光流；所述样本光流为真实光流，所述判别器用于判断所述第一预测光流的真实性；当所述判别器输入的光流为所述第一预测光流，所述判别器的输出判定所述判别器输入的光流为所述样本光流时，所述判别器认为所述第一预测光流等同于所述样本光流；/n所述第一生成器的所述第一神经网络的权重参数通过训练得到，当所述判别器认为所述第一预测光流等同于所述样本光流时，所述第一生成器的训练完成。/n

【技术特征摘要】
1.一种光流生成装置，其特征在于，包括：生成对抗网络；
所述生成对抗网络包括第一生成器和判别器；
所述第一生成器包括第一神经网络，所述第一生成器输入两帧图像，输出对应的第一预测光流；
所述第一生成器的输出端连接所述判别器的输入端；
所述判别器包括第二神经网络，所述判别器输入两帧图像和光流，所述判别器输入的光流包括训练集对应的样本光流或第一预测光流；所述样本光流为真实光流，所述判别器用于判断所述第一预测光流的真实性；当所述判别器输入的光流为所述第一预测光流，所述判别器的输出判定所述判别器输入的光流为所述样本光流时，所述判别器认为所述第一预测光流等同于所述样本光流；
所述第一生成器的所述第一神经网络的权重参数通过训练得到，当所述判别器认为所述第一预测光流等同于所述样本光流时，所述第一生成器的训练完成。


2.如权利要求1所述的光流生成装置，其特征在于：在训练阶段，所述第一生成器输入的两帧图像和所述判别器输入的两帧图像相同且为训练集中的样本对应的两帧图像，所述两帧图像为在时间上具有前后顺序的连续两帧图像；
所述光流为不同时间上的所述两帧图像中的物体在所述两帧图像中形成的位移。


3.如权利要求2所述的光流生成装置，其特征在于：所述生成对抗网络还包括用于训练所述第一生成器的第一损失函数模块，在训练所述第一生成器时，所述第一损失函数模块输入所述第一预测光流和对应的所述样本光流，所述第一损失函数模块输出端输出所述第一预测光流和对应的所述样本光流形成的第一损失函数，所述第一生成器根据所述第一损失函数训练所述第一神经网络的权重参数。


4.如权利要求1所述的光流生成装置，其特征在于：所述判别器的第二神经网络的权重参数通过训练得到，所述生成对抗网络还包括用于训练所述判别器的第二损失函数模块。


5.如权利要求1所述的光流生成装置，其特征在于：所述第二神经网络的网络结构包括Resnet-50，Flownet2.0，mobilenet，densenet，inception。


6.一种光流生成方法，其特征在于：采用生...

【专利技术属性】
技术研发人员：康燕斌，张志齐，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31