一种基于成本量修正的光流预测方法及系统技术方案

本发明专利技术公开一种基于成本量修正的光流预测方法及系统，涉及计算机视觉技术领域。获取原始图像，训练集和测试集；将训练集输入神经网络模型进行训练得到CVCFlow光流网络；将原始图像中的测试帧输入CVCFlow光流网络进行测试得到光流预测结果；将光流预测结果与测试集进行对比得到对比结果；根据对比结果优化CVCFlow光流网络得到优化后的CVCFlow光流网络；将原始图像中的参考帧和目标帧输入优化后的CVCFlow光流网络进行特征编码得到高维特征；将高维特征进行成本量计算，得到成本量；对成本量进行修正得到修正后的成本量；将修正后的成本量进行解码得到最终光流预测结果。本发明专利技术提高了光流预测结果的准确性。明提高了光流预测结果的准确性。明提高了光流预测结果的准确性。

【技术实现步骤摘要】
一种基于成本量修正的光流预测方法及系统


[0001]本专利技术涉及计算机视觉
，特别是涉及一种基于成本量修正的光流预测方法及系统。

技术介绍

[0002]光流(Optical Flow)是视频中相邻两帧图像之间对应点的位置变化，可以用于描述视频中的运动信息，这种运动由相机和场景的相对运动产生，运动的存在使得视频中相邻两帧图像的亮度模式发生改变，光流计算方法需要根据图像之间的亮度变化来计算光流。光流是计算机视觉领域中的一个重要研究对象，在日常生活中有着广泛的应用，比如：目标跟踪、自动驾驶、动作识别、视频插帧，因此对光流的研究有着重要的理论意义与应用价值。
[0003]光流的研究历史已经有数十年，从早期的变分方法演变到今天的深度学习方法。在使用了深度学习技术的光流计算方法中，成本量(CostVolume)是一个关键中间结果，光流计算模型通过对参考帧和目标帧的高维特征执行相关(Correlation)操作来得到成本量，然后从成本量中求解光流，成本量会对光流结果的准确性造成重要影响。
[0004]然而，由于图像数据中经常存在遮挡区域以及模糊现象，导致计算出的成本量中含有大量异常值，这会降低光流结果的准确性。

技术实现思路

[0005]本专利技术实施例的目的是提供一种基于成本量修正的光流预测方法及系统，以提高光流预测结果的准确性。
[0006]为实现上述目的，本专利技术实施例提供了如下方案：
[0007]一种基于成本量修正的光流预测方法，包括：
[0008]获取原始图像，训练集和测试集；
[0009]将所述训练集输入神经网络模型进行训练，得到CVCFlow光流网络；将所述原始图像中的测试帧输入所述CVCFlow光流网络进行测试，得到光流预测结果；将所述光流预测结果与所述测试集进行对比，得到对比结果；根据所述对比结果优化所述CVCFlow光流网络，得到优化后的CVCFlow光流网络；
[0010]将所述原始图像中的参考帧和目标帧输入所述优化后的CVCFlow光流网络进行特征编码，得到高维特征；
[0011]将所述高维特征进行成本量计算，得到成本量；对所述成本量进行修正，得到修正后的成本量；
[0012]将所述修正后的成本量进行解码，得到最终光流预测结果。
[0013]可选地，
[0014]所述原始图像包括：所述测试帧，所述参考帧和所述目标帧；
[0015]所述训练集包括：FlyingChairs数据集和FlyingThings3D数据集；
[0016]所述测试集包括：Sintel数据集和KITTI
‑
15数据集。
[0017]可选地，
[0018]将所述训练集输入神经网络模型进行训练，得到CVCFlow光流网络具体包括：
[0019]将所述FlyingChairs数据集输入神经网络模型进行训练时，所述FlyingChairs数据集中图像的分辨率为496*368，并对所述FlyingChairs数据集中图像进行水平翻转和垂直翻转；
[0020]将所述FlyingThings3D数据集输入神经网络模型进行训练时，所述FlyingThings3D数据集中图像的分辨率为720*400，并对所述FlyingThings3D数据集中图像进行水平翻转和垂直翻转。
[0021]可选地，
[0022]将所述训练集输入神经网络模型进行训练，得到CVCFlow光流网络还包括：
[0023]使用损失函数L对所述神经网络模型进行训练；所述损失函数L为：
[0024][0025]其中，α为0.8，u
gt
为光流真实值，u
i
是第i次迭代计算出的光流预测结果，N为总迭代次数，||||1表示L1范数。
[0026]可选地，将所述原始图像中的测试帧输入所述CVCFlow光流网络进行测试，得到光流预测结果；将所述光流预测结果与所述测试集进行对比，得到对比结果具体包括：
[0027]将所述原始图像中的测试帧输入所述CVCFlow光流网络中，所述CVCFlow光流网络输出所述光流预测结果
[0028]计算所述光流真实值u
gt
与所述光流预测结果之间的终点误差，所述终点误差为所述对比结果；
[0029]所述终点误差EPE的计算公式如下所示：
[0030][0031]其中，||||2表示L2范数。
[0032]可选地，根据所述对比结果优化所述CVCFlow光流网络，得到优化后的CVCFlow光流网络具体包括：
[0033]采用AdamW优化算法对所述CVCFlow光流网络进行优化；
[0034]采用OneCycle策略调整所述CVCFlow光流网络训练过程中的学习率。
[0035]可选地，将所述原始图像中的参考帧和目标帧输入所述优化后的CVCFlow光流网络进行特征编码，得到高维特征具体包括：
[0036]采用特征编码器对所述参考帧和目标帧进行特征提取，得到所述高维特征；
[0037]所述特征编码器至少包括：a个N*M卷积层，b个残差通道注意力块。
[0038]可选地，将所述高维特征进行成本量计算，得到成本量；对所述成本量进行修正，得到修正后的成本量具体包括：
[0039]通过求相关操作计算所述高维特征的成本量C；计算公式为：
[0040][0041]其中，T1为所述参考帧的高维特征，T2为目标帧的高维特征，T1和T2大小均为H
×
W
×
t，H为高维特征的高，W为高维特征的宽，t为高维特征的通道数；<,>表示两个长度为t的向量的内积；i∈[1,H],k∈[1,H]，j∈[1,W],l∈[1,W]；成本量C的大小为H
×
W
×
H
×
W；
[0042]对所述参考帧的高维特征进行卷积操作，得到第一高维特征；所述第一高维特征的大小为H
×
W
×
d；对所述目标帧的高维特征进行卷积操作，得到第二高维特征；所述第二高维特征的大小为H
×
W
×
d；
[0043]将所述第一高维特征进行变形，得到变形后第一高维特征；所述变形后第一高维特征大小为HW
×
d；将所述第二高维特征进行变形，得到变形后第二高维特征；所述变形后第二高维特征大小为HW
×
d；
[0044]将所述变形后第一高维特征与所述变形后第二高维特征进行矩阵乘法运算，得到乘积；所述乘积大小为H
×
W
×
H
×
W；
[0045]采用Sigmoid函数对所述乘积进行修正，得到修正权重A；所述修正权重A大小为H
×
W
×
H
×
W；
[0046]将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于成本量修正的光流预测方法，其特征在于，包括：获取原始图像，训练集和测试集；将所述训练集输入神经网络模型进行训练，得到CVCFlow光流网络；将所述原始图像中的测试帧输入所述CVCFlow光流网络进行测试，得到光流预测结果；将所述光流预测结果与所述测试集进行对比，得到对比结果；根据所述对比结果优化所述CVCFlow光流网络，得到优化后的CVCFlow光流网络；将所述原始图像中的参考帧和目标帧输入所述优化后的CVCFlow光流网络进行特征编码，得到高维特征；将所述高维特征进行成本量计算，得到成本量；对所述成本量进行修正，得到修正后的成本量；将所述修正后的成本量进行解码，得到最终光流预测结果。2.根据权利要求1所述的基于成本量修正的光流预测方法，其特征在于，所述原始图像包括：所述测试帧，所述参考帧和所述目标帧；所述训练集包括：FlyingChairs数据集和FlyingThings3D数据集；所述测试集包括：Sintel数据集和KITTI
‑
15数据集。3.根据权利要求2所述的基于成本量修正的光流预测方法，其特征在于，将所述训练集输入神经网络模型进行训练，得到CVCFlow光流网络具体包括：将所述FlyingChairs数据集输入神经网络模型进行训练时，所述FlyingChairs数据集中图像的分辨率为496*368，并对所述FlyingChairs数据集中图像进行水平翻转和垂直翻转；将所述FlyingThings3D数据集输入神经网络模型进行训练时，所述FlyingThings3D数据集中图像的分辨率为720*400，并对所述FlyingThings3D数据集中图像进行水平翻转和垂直翻转。4.根据权利要求3所述的基于成本量修正的光流预测方法，其特征在于，将所述训练集输入神经网络模型进行训练，得到CVCFlow光流网络还包括：使用损失函数L对所述神经网络模型进行训练；所述损失函数L为：其中，α为0.8，u
gt
为光流真实值，u
i
是第i次迭代计算出的光流预测结果，N为总迭代次数，||||1表示L1范数。5.根据权利要求4所述的基于成本量修正的光流预测方法，其特征在于，将所述原始图像中的测试帧输入所述CVCFlow光流网络进行测试，得到光流预测结果；将所述光流预测结果与所述测试集进行对比，得到对比结果具体包括：将所述原始图像中的测试帧输入所述CVCFlow光流网络中，所述CVCFlow光流网络输出所述光流预测结果计算所述光流真实值u
gt
与所述光流预测结果之间的终点误差，所述终点误差为所述对比结果；所述终点误差EPE的计算公式如下所示：
其中，||||2表示L2范数。6.根据权利要求5所述的基于成本量修正的光流预测方法，其特征在于，根据所述对比结果优化所述CVCFlow光流网络，得到优化后的CVCFlow光流网络具体包括：采用AdamW优化算法对所述CVCFlow光流网络进行优化；采用OneCycle策略调整所述CVCFlow光流网络训练过程中的学习率。7.根据权利要求6所述的基于成本量修正的光流预测方法，其特征在于，将所述原始图像中的参考帧和目标帧输入所述优化后的CVCFlow光流网络进行特征编码，得到高维特征具体包括：采用特征编码器对所述参考帧和目标帧进行特征提取，得到所述高维特征；所述特征编码器至少包括：a个N*M卷积层，b个残差通道注意力块。8.根据权利要求6所述的基于成本量修正的光流预测方法，其特征在于，将所述高维特征进行成本量计算，得到成本量；对所述成本量...

【专利技术属性】
技术研发人员：牛砚，李江鹏，张立雪，
申请(专利权)人：吉林大学，
类型：发明
国别省市：