一种光流估计方法、装置以及存储介质制造方法及图纸

本发明专利技术提供一种光流估计方法、装置以及存储介质，属于图像处理领域，方法包括：通过多个原始图像对训练模型进行训练得到光流估计模型；对待估计视频进行图像处理得到多个待估计视频组；通过光流估计模型分别对各个待估计视频组进行光流图像估计，得到与各个所述待估计视频组对应的目标光流图像，并将所有的目标光流图像作为光流估计结果。本发明专利技术能够进行端到端的训练，从而快速地获取两幅图像之间的近似光流估计，能够在计算上节省了大量的资源和时间，也提高了光流估计的准确性。也提高了光流估计的准确性。也提高了光流估计的准确性。

【技术实现步骤摘要】
一种光流估计方法、装置以及存储介质


[0001]本专利技术主要涉及图像处理
，具体涉及一种光流估计方法、装置以及存储介质。

技术介绍

[0002]光流是关于视域中的运动物体检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动，而光流法是运动图像分析的重要方法，因此对图像或视频的光流估计已成为计算机视觉以及其他影像处理领域中的一个非常重要的研究方向，主要应用场景有运动目标检测、目标跟踪、动作识别、视频插帧、自动驾驶等。
[0003]早期最有效的光流估计方法采用的是能量最小化原理，然而，对于实时应用来说，优化一个复杂的能量函数在计算上需要消耗大量的资源和时间。而泰勒近似是数值逼近中最常用的方法之一，许多图像处理
和计算机视觉领域的任务都可近似为一阶泰勒问题；然而，近似高阶泰勒级数展开问题在图像处理领域和计算机视觉领域并未得到广泛的应用，尤其从未出现在光流估计的任务当中。

技术实现思路

[0004]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种光流估计方法、装置以及存储介质。
[0005]本专利技术解决上述技术问题的技术方案如下：一种光流估计方法，包括如下步骤：
[0006]导入多个原始图像，并构建训练模型，通过多个所述原始图像对所述训练模型进行训练，得到光流估计模型；
[0007]导入待估计视频，并对所述待估计视频进行图像处理，得到多个待估计视频组；
[0008]通过所述光流估计模型分别对各个所述待估计视频组进行光流图像估计，得到与各个所述待估计视频组对应的目标光流图像，并将所有的目标光流图像作为光流估计结果。
[0009]本专利技术解决上述技术问题的另一技术方案如下：一种光流估计装置，包括：
[0010]模型训练模块，用于导入多个原始图像，并构建训练模型，通过多个所述原始图像对所述训练模型进行训练，得到光流估计模型；
[0011]图像处理模块，用于导入待估计视频，并对所述待估计视频进行图像处理，得到多个待估计视频组；
[0012]光流估计结果获取模块，用于通过所述光流估计模型分别对各个所述待估计视频组进行光流图像估计，得到与各个所述待估计视频组对应的目标光流图像，并将所有的目标光流图像作为光流估计结果。
[0013]本专利技术解决上述技术问题的另一技术方案如下：一种光流估计装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的光流估计方法。
[0014]本专利技术解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的光流估计方法。
[0015]本专利技术的有益效果是：通过原始图像对训练模型的训练得到光流估计模型，对待估计视频的图像处理得到多个待估计视频组，通过光流估计模型对待估计视频组的光流图像估计得到光流估计结果，能够进行端到端的训练，从而快速地获取两幅图像之间的近似光流估计，能够在计算上节省了大量的资源和时间，也提高了光流估计的准确性。
附图说明
[0016]图1为本专利技术实施例提供的光流估计方法的流程示意图；
[0017]图2为本专利技术实施例提供的模型训练的流程示意图；
[0018]图3为本专利技术实施例提供的光流估计装置的模块框图。
具体实施方式
[0019]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0020]图1为本专利技术实施例提供的一种光流估计方法的流程示意图。
[0021]如图1所示，一种光流估计方法，包括如下步骤：
[0022]导入多个原始图像，并构建训练模型，通过多个所述原始图像对所述训练模型进行训练，得到光流估计模型；
[0023]导入待估计视频，并对所述待估计视频进行图像处理，得到多个待估计视频组；
[0024]通过所述光流估计模型分别对各个所述待估计视频组进行光流图像估计，得到与各个所述待估计视频组对应的目标光流图像，并将所有的目标光流图像作为光流估计结果。
[0025]上述实施例中，通过原始图像对训练模型的训练得到光流估计模型，对待估计视频的图像处理得到多个待估计视频组，通过光流估计模型对待估计视频组的光流图像估计得到光流估计结果，能够进行端到端的训练，从而快速地获取两幅图像之间的近似光流估计，能够在计算上节省了大量的资源和时间，也提高了光流估计的准确性。
[0026]可选地，作为本专利技术的一个实施例，如图1和2所示，所述训练模型包括下采样分析模块、卷积神经网络组和上采样分析模块，多个所述原始图像按照时间帧顺序排列,所述构建训练模型，通过多个所述原始图像对所述训练模型进行训练，得到光流估计模型的过程包括：
[0027]分别将两两相邻的原始图像划为一组，得到多个原始图像组；
[0028]通过所述下采样分析模块分别对各个所述原始图像组进行下采样分析，得到与各个所述原始图像组对应的下采样图像组；
[0029]通过所述卷积神经网络组分别对各个所述下采样图像组进行下采样光流图像的分析，得到与各个所述原始图像组对应的下采样光流图像；
[0030]通过所述上采样分析模块分别对各个所述下采样光流图像进行上采样光流图像的分析，得到与各个所述原始图像组对应的上采样光流图像；
[0031]导入多个与所述原始图像组对应的真实光流图像，分别对各个所述上采样光流图像以及与各个所述原始图像组对应的真实光流图像进行损失函数计算，得到与各个所述原始图像组对应的损失函数；
[0032]根据所有的损失函数对所述训练模型进行参数更新，得到光流估计模型。
[0033]应理解地，所述真实光流图像即为通过其他方式直接获取的光流图像，用于将预测结果(即所述上采样光流图像)与真实光流(即所述真实光流图像)之间的损失达到最小。
[0034]应理解地，依照搭建完整的网络结构(即所述训练模型)，配置训练过程，进行从端到端的训练，使得预测结果(即所述上采样光流图像)与真实光流(即所述真实光流图像)之间的损失达到最小，保存损失最小时的训练参数，利用该参数即可直接预测两帧图像间的光流结果。
[0035]上述实施例中，通过构建训练模型，通过原始图像对训练模型的训练得到光流估计模型，能够进行端到端的训练，从而快速地获取两幅图像之间的近似光流估计，使得预测结果与真实光流之间的损失达到最小，能够在计算上节省了大量的资源和时间，也提高了光流估计的准确性。
[0036]可选地，作为本专利技术的一个实施例，所述下采样分析模块包括多个第一卷积层组和多个最大池化层，所述第一卷积层组与所述最大池化层数量相同且二者交替排列，所述原始图像组包括第一原始图像和第二原始图像；
[0037]所述通过所述下采样分析模块分别对各个所述原始图像组进行下采样分析，得到与各个所述原始图像组对应的下采样图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光流估计方法，其特征在于，包括如下步骤：导入多个原始图像，并构建训练模型，通过多个所述原始图像对所述训练模型进行训练，得到光流估计模型；导入待估计视频，并对所述待估计视频进行图像处理，得到多个待估计视频组；通过所述光流估计模型分别对各个所述待估计视频组进行光流图像估计，得到与各个所述待估计视频组对应的目标光流图像，并将所有的目标光流图像作为光流估计结果。2.根据权利要求1所述的光流估计方法，其特征在于，所述训练模型包括下采样分析模块、卷积神经网络组和上采样分析模块，多个所述原始图像按照时间帧顺序排列,所述构建训练模型，通过多个所述原始图像对所述训练模型进行训练，得到光流估计模型的过程包括：分别将两两相邻的原始图像划为一组，得到多个原始图像组；通过所述下采样分析模块分别对各个所述原始图像组进行下采样分析，得到与各个所述原始图像组对应的下采样图像组；通过所述卷积神经网络组分别对各个所述下采样图像组进行下采样光流图像的分析，得到与各个所述原始图像组对应的下采样光流图像；通过所述上采样分析模块分别对各个所述下采样光流图像进行上采样光流图像的分析，得到与各个所述原始图像组对应的上采样光流图像；导入多个与所述原始图像组对应的真实光流图像，分别对各个所述上采样光流图像以及与各个所述原始图像组对应的真实光流图像进行损失函数计算，得到与各个所述原始图像组对应的损失函数；根据所有的损失函数对所述训练模型进行参数更新，得到光流估计模型。3.根据权利要求2所述的光流估计方法，其特征在于，所述下采样分析模块包括多个第一卷积层组和多个最大池化层，所述第一卷积层组与所述最大池化层数量相同且二者交替排列，所述原始图像组包括第一原始图像和第二原始图像；所述通过所述下采样分析模块分别对各个所述原始图像组进行下采样分析，得到与各个所述原始图像组对应的下采样图像组的过程包括：通过首个第一卷积层组分别对各个所述第一原始图像以及各个所述第二原始图像进行特征提取，得到与各个所述第一原始图像对应的第一特征提取后图像以及与各个所述第二原始图像对应的第二特征提取后图像，具体为：通过第一式分别对各个所述第一原始图像进行第一特征提取后图像的特征提取，得到与各个所述第一原始图像对应的第一特征提取后图像，所述第一式为：im1＝relu(conv(relu(conv(img1))))，其中，im1为第一特征提取后图像，img1为第一原始图像，conv为卷积操作，relu为激活函数；通过第二式分别对各个所述第二原始图像进行第二特征提取后图像的特征提取，得到与各个所述第二原始图像对应的第二特征提取后图像，所述第二式为：im2＝relu(conv(relu(conv(img2))))，其中，im2为第二特征提取后图像，img2为第二原始图像，conv为卷积操作，relu为激活函数；
通过首个最大池化层分别对各个所述第一特征提取后图像以及各个所述第二特征提取后图像进行下采样处理，得到与各个所述第一原始图像对应的第一下采样后图像以及与各个所述第二原始图像对应的第二下采样后图像，具体为：通过第三式分别对各个所述第一特征提取后图像进行第一下采样后图像的下采样处理，得到与各个所述第一原始图像对应的第一下采样后图像，所述第三式为：img1
′
＝maxpool(im1)，其中，im1为第一特征提取后图像，img1
′
为第一下采样后图像，maxpool为最大池化操作；通过第四式分别对各个所述第二特征提取后图像进行第二下采样后图像的下采样处理，得到与各个所述第二原始图像对应的第二下采样后图像，所述第四式为：img2
′
＝maxpool(im2)，其中，im2为第二特征提取后图像，img2
′
为第二下采样后图像，maxpool为最大池化操作；分别将与各个所述第一原始图像对应的第一下采样后图像以及与各个所述第二原始图像对应的第二下采样后图像输入至下一个第一卷积层组中，直至通过最后一个最大池化层后得到与各个所述第一原始图像对应的第一下采样后图像以及与各个所述第二原始图像对应的第二下采样后图像，并根据所述第一下采样后图像和所述第二下采样后图像得到下采样图像组。4.根据权利要求3所述的光流估计方法，其特征在于，所述卷积神经网络组包括多个顺序排列的卷积神经网络，所述通过所述卷积神经网络组分别对各个所述下采样图像组进行下采样光流图像的分析，得到与各个所述原始图像组对应的下采样光流图像的过程包括：S131：分别对各个所述第一下采样后图像以及各个所述第二下采样后图像进行拼接，得到与各个所述原始图像组对应的拼接后图像；S132：通过第五式和当前卷积神经网络分别对各个所述第二...

【专利技术属性】
技术研发人员：黄正华，朱子凡，王志成，时愈，张耀宗，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：