【技术实现步骤摘要】
基于空间和通道联合注意力机制的无监督学习光流估计方法
本专利技术涉及的是一种光流估计方法。
技术介绍
近年来，随着深度学习的发展，卷积神经网络已成功地应用于光流估计领域。卷积神经网络的训练过程较为耗时，但在推理阶段速度很快，可有效解决传统方法实时性差的问题，然而深度学习光流方法通过牺牲图像分辨率的方式增大卷积提取特征的感受野，导致网络损失大量空间细节信息。同时，基于深度学习的光流估计方法与传统光流估计方法相同，仍旧受到遮挡问题的影响。除此之外，由于真实场景下的稠密光流真值很难获取，用于光流估计的端到端卷积神经网络通常利用合成数据集进行有监督训练，因此在真实场景中测试时往往无法取得理想的结果。无监督训练方式可以有效解决真值获取困难的问题，然而现存的无监督光流估计方法大多基于亮度恒常假设来设计损失函数，光照变化将会影响无监督光流估计方法的准确性。
技术实现思路
本专利技术的目的在于提供可以针对无标签真实场景数据进行训练，以此规避网络对大量真值数据需求的基于空间和通道联合注意力机制的无监督学习光流估计方法。
【技术保护点】
1.基于空间和通道联合注意力机制的无监督学习光流估计方法，其特征是：/n(1)构建融合空洞卷积的特征金字塔网络：该特征金字塔网络包含2个网络架构完全相同的分支，在特征金字塔的第1层至第4层的底层部分，每个分支网络通过连续的卷积层逐步提取两帧图像的低级特征图，在特征金字塔的第5层至第6层的高层部分，通过连续的卷积层提取两帧图像的高级特征图，训练过程中两个分支互相共享网络权重，以确保两个分支对第1帧图像和第2帧图像做相同的处理，计算两帧图像在不同金字塔层上特征图之间的特征图匹配代价cost volume，将其作为光流估计网络的输入；/n(2)构建空间和通道联合注意力机制的光流估...
【技术特征摘要】
1.基于空间和通道联合注意力机制的无监督学习光流估计方法，其特征是：
(1)构建融合空洞卷积的特征金字塔网络：该特征金字塔网络包含2个网络架构完全相同的分支，在特征金字塔的第1层至第4层的底层部分，每个分支网络通过连续的卷积层逐步提取两帧图像的低级特征图，在特征金字塔的第5层至第6层的高层部分，通过连续的卷积层提取两帧图像的高级特征图，训练过程中两个分支互相共享网络权重，以确保两个分支对第1帧图像和第2帧图像做相同的处理，计算两帧图像在不同金字塔层上特征图之间的特征图匹配代价costvolume，将其作为光流估计网络的输入；
(2)构建空间和通道联合注意力机制的光流估计网络：光流估计网络利用每层金字塔获得的特征图匹配代价costvolume进行光流估计，得到对应尺度的光流结果；
(3)利用正反一致性校验计算非遮挡区域：将第1帧图像和第2帧图像输入到网络中，以得到正向光流，之后调换两帧图像的顺序再次输入网络，得到反向光流，之后对正向光流和反向光流进行正反一致性校验，以此推断出前向遮挡区域和反向遮挡区域；
(4)构造无监督学习损失函数：将Census变换结合到光流估计网络中，并构建无监督损失函数，在网络训练过程中对非遮挡区域的像素点计算无监督损失，之后将每层金字塔对应的损失项加权求和，作为无监督光流估计网络的总体损失，以此约束网络的训练过程；
(5)训练阶段：在网络输入端输入无标签数据，通过对损失权重求和得到总损失，之后利用反向传播算法训练网络，得到最后的无监督光流估计模型；
(6)利用训练好的模型进行测试，输入为图像对，输出为对应的光流图。
2.根据权利要求1所述的基于空间和通道联合注意力机制的无监督学习光流估计方法，其特征是：所述步骤(1)特征图匹配代价costvolume的获取方式如下：
其中F1i(x1),F2i(x2)分别表示金字塔第i层上第1帧和第2帧的特征图，M表示特征图F1i(x1)和F2i(x2)的长度，T表示向量的转置操作，Fci(x1,x2)表示金字塔第i层上的特征匹配特征图匹配代价costvolume结果；
变形特征图由光流估计网络计算出的光流对第2帧图像的特征图进行变形得到，特征变性操作的定义如下：
Fi2′(p)＝Fi2(p+φ(Oi-1(p)))
其中p表示图像中的像素点，Oi-1(p)表示金字塔第i-1层光流估计网络计算得到的光流结果，φ(x)表示...
【专利技术属性】
技术研发人员：项学智，李诗洋，张荣芳，翟明亮，吕宁，邱瑜鉴，田大帅，乔玉龙，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。