基于特征变形误差遮挡检测的图像序列光流计算方法技术

一种基于特征变形误差遮挡检测的图像序列光流计算方法，它包含如下步骤：一、选择任意连续两帧图像；二、对两帧图像进行特征金字塔下采样分层；三、在每层金字塔中对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，与第一帧图像特征相减得到特征变形误差；四、构建基于光流特征变形误差的自学习遮挡检测模块；五、为遮挡检测模块输入特征变形误差，得到遮挡特征图；六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流；本发明专利技术避免了模型训练过程对图像序列中遮挡真实值的依赖，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。

【技术实现步骤摘要】
基于特征变形误差遮挡检测的图像序列光流计算方法
本专利技术涉及图像序列光流计算
，具体涉及基于特征变形误差遮挡检测的图像序列光流计算方法。
技术介绍
光流是运动物体或场景表面像素点在投影平面的二维瞬时速度，其不仅包含了图像中运动目标与场景的运动参数，更携带了目标与场景的结构信息。研究光流计算的目的就是从图像序列中恢复目标物体与场景的运动和结构信息，进而应用于更高级的视觉任务。近年来，随着深度学习理论与技术的快速发展，卷积神经网络模型被广泛应用于光流计算技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为光流计算研究领域的热点，研究成果被广泛应用于无人机实时导航与避障、车辆前景检测与辅助驾驶、运动目标跟踪与识别以及视频压缩与传输等对光流计算实时性要求较高的领域。目前，基于光流前后一致性的遮挡检测技术是图像序列光流计算技术中最常采用的一类遮挡检测方法，该类方法能够计算得到较为精确的遮挡图。但由于此类方法需要额外计算后向光流，并且对遮挡阈值参数的选取较为敏感，限制了此类方法关于实时领域的应用。
技术实现思路
本专利技术的目的在于针对现有技术的缺陷和不足，提供一种基于特征变形误差遮挡检测的图像序列光流计算方法，利用求得的遮挡特征图优化金字塔各层的匹配代价，以提高图像序列金字塔分层模型光流计算结果对遮挡区域的鲁棒性。为实现上述目的，本专利技术采用的技术方案是：它包含如下步骤：一、选择输入图像序列中的任意连续两帧图像；二、对选择的两帧图像进行特征金字塔下采样分层；三、在每层金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与第一帧图像特征相减，得到特征变形误差，计算公式如下：Iw(x)＝I2(x+w(x))式(1)式(1)中,w(x)表示像素点x的前层光流矢量，I2(x)与Iw(x)分别表示金字塔当前层第二帧图像特征和变形特征在像素点x处的亮度值；IE(x)＝Iw(x)-I1(x)式(2)式(2)中,IE(x)与I1(x)分别为金字塔当前层特征变形误差与第一帧图像特征在像素点x处的亮度值；四、构建基于光流特征变形误差的自学习遮挡检测模块，模块中包括连续两层3×3卷积，卷积后的激活函数分别为LeakyReLU以及Sigmoid，计算公式如下：式(3)中α为斜率常数；五、为遮挡检测模块输入特征变形误差IE(x)，即可得到遮挡特征图；整张遮挡特征图被Sigmoid函数约束在0至1之间，在遮挡特征图中，像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越高，代表此像素点在第一帧中发生遮挡的概率越大；六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流。进一步地，步骤四中式(3)中斜率常数a＞0。采用上述方案后，本专利技术有益效果为：本专利技术所述的基于特征变形误差遮挡检测的图像序列光流计算方法，采用遮挡特征图对图像序列遮挡处起到补偿作用，避免了模型训练过程对图像序列中遮挡真实值的依赖，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例Temple3图像序列第一帧图像；图2是本专利技术实施例Temple3图像序列第二帧图像；图3是本专利技术实施例图像序列金字塔分层模型总体图；图4是本专利技术实施例中基于特征变形误差的遮挡检测模块；图5是本专利技术实施例计算所得的Temple3图像序列遮挡特征图；图6是本专利技术实施例计算所得的Temple3图像序列二值化遮挡特征图；图7是本专利技术实施例计算所得的Temple3图像序列遮挡真实值；图8是计算所得的Temple3图像序列光流图。具体实施方式下面结合附图，对本专利技术作进一步的说明。参看图1-8所示，本实施例基于特征变形误差遮挡检测的图像序列光流计算方法，使用Temple3图像序列光流计算实验进行说明：它包含如下步骤：一、输入图1和图2是Temple3图像序列连续两帧图像；其中：图1是第一帧图像，图2是第二帧图像；二、参看图3所示，对输入的Temple3图像序列进行特征金字塔下采样分层，分层数为3层；三、在每级金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与第一帧图像特征相减，得到特征变形误差，计算公式如下：Iw(x)＝I2(x+w(x))式(1)式(1)中,w(x)表示像素点x的前层光流矢量，I2(x)与Iw(x)分别表示金字塔当前层第二帧图像特征和变形特征在像素点x处的亮度值；IE(x)＝Iw(x)-I1(x)式(2)式(2)中,IE(x)与I1(x)分别为金字塔当前层特征变形误差与第一帧图像特征在像素点x处的亮度值；四、参看图4所示，构建基于光流特征变形误差的自学习遮挡检测模块，模块中包括连续两层3×3卷积，卷积后的激活函数分别为LeakyReLU以及Sigmoid,计算公式如下：式(3)中α为斜率常数；五、为遮挡检测模块输入特征变形误差IE(x)，即可得到遮挡特征图，如图5所示；整张遮挡特征图被Sigmoid函数约束在0至1之间，在遮挡特征图中，像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越高，代表此像素点在第一帧中发生遮挡的概率越大；对遮挡特征图进行阈值可得到二值化遮挡特征图，二值化遮挡特征图与遮挡真实值如图6、7所示；六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流，如图8所示；根据图8中遮挡特征图以及光流计算结果可以看出，本专利技术所述的基于特征变形误差遮挡检测的图像序列光流计算方法可获得较为精确的遮挡特征图，并且显著提升了模型在遮挡区域的鲁棒性，在安全监控、交通检测以及目标分割与跟踪等领域具有广泛的应用前景。以上所述，仅用以说明本专利技术的技术方案而非限制，本领域普通技术人员对本专利技术的技术方案所做的其它修改或者等同替换，只要不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的权利要求范围当中。本文档来自技高网...

【技术保护点】
1.基于特征变形误差遮挡检测的图像序列光流计算方法，其特征在于它包含如下步骤：/n一、选择输入图像序列中的任意连续两帧图像；/n二、对选择的两帧图像进行特征金字塔下采样分层；/n三、在每层金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与第一帧图像特征相减，得到特征变形误差，计算公式如下：/nI

【技术特征摘要】
1.基于特征变形误差遮挡检测的图像序列光流计算方法，其特征在于它包含如下步骤：
一、选择输入图像序列中的任意连续两帧图像；
二、对选择的两帧图像进行特征金字塔下采样分层；
三、在每层金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与第一帧图像特征相减，得到特征变形误差，计算公式如下：
Iw(x)＝I2(x+w(x))式(1)
式(1)中,w(x)表示像素点x的前层光流矢量，I2(x)与Iw(x)分别表示金字塔当前层第二帧图像特征和变形特征在像素点x处的亮度值；
IE(x)＝Iw(x)-I1(x)式(2)
式(2)中,IE(x)与I1(x)分别为金字塔当前层特征变形误差与第一帧图像特征在像素点x处的亮度值；
四、构建基于光流特征变形...

【专利技术属性】
技术研发人员：张聪炫，周仲凯，陈震，黎明，江少锋，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：江西;36