一种光流估计方法、装置及电子设备制造方法及图纸

本申请提供一种光流估计方法、装置及电子设备，其中，光流估计方法包括：采用多级光流估计模型获取第k

【技术实现步骤摘要】
一种光流估计方法、装置及电子设备


[0001]本申请涉及运动估计
，具体而言，涉及一种光流估计方法、装置及电子设备。

技术介绍

[0002]目前，光流估计算法在估计帧间运动时，需要采用金字塔等多尺度手段由粗到细进行迭代优化，从而获取更精准的估计结果。当前层在将上一层的粗粒度光流估计进行细粒度化时，需要对上一层的粗粒度光流估计进行细粒度化处理，而在细粒度化处理时需要使用原始帧图像。
[0003]相关技术若将上述光流估计算法进行算法硬件化处理，需要采用cache机制来缓存原始帧图像，导致采用上述光流估计算法所硬件化出的芯片面积较大。

技术实现思路

[0004]本申请实施例的目的在于提供一种光流估计方法、装置及电子设备，用以改善光流算法硬件化后的芯片面积。
[0005]第一方面，本申请实施例提供一种光流估计方法，包括：采用多级光流估计模型获取第k
‑
1帧图像到第k帧图像的光流估计；所述多级光流估计模型包含多层光流估计层，其中，第n层光流估计层获取第n层光流估计的方法为：根据第n
‑
1层光流估计层所获取的第n
‑
1层光流估计以及多级光流估计模型中的第n层输入图像k
n
，获取第n层初始光流；根据所述第n层初始光流，获取所述第n层光流估计；其中，1<n≤N，N为多级光流估计模型的总层数。
[0006]在上述方案的实现过程中，仅根据上一层的光流估计以及当前层的输入图像，即可获取准确的当前层的初始光流，无需额外缓存原始帧图像，有效降低了算法硬件化后的硬件面积，实现了光流算法硬件化的高集成和低成本。
[0007]在第一方面的一种实现方式中，所述根据第n
‑
1层光流估计层所获取的第n
‑
1层光流估计以及多级光流估计模型中的第n层输入图像k
n
，获取第n层初始光流，包括：采用第n
‑
1层光流估计对包含有图像块的第n层输入图像k
n
进行偏移操作，获得图像k
n
′
；在所述图像k
n
′
的图像块中确定所述第n层输入图像k
n
的匹配块；根据所述匹配块确定所述第n层输入图像k
n
的第n层初始光流。
[0008]在上述方案的实现过程中，通过当前层输入图像以及对当前层输入图像进行偏移后所获取的偏移图像，获取当前层输入图像的匹配块，进而通过匹配块获取当前层输入图像的初始光流，无需额外缓存原始帧图像，有效降低了算法硬件化后的硬件面积。
[0009]在第一方面的一种实现方式中，所述在所述图像k
n
′
的图像块中确定所述第n层输入图像k
n
的匹配块，包括：以所述第n层输入图像k
n
中的像素点为中心，构建中心块；计算所述中心块与所述图像块的图像相似度；将与所述中心块的图像相似度最大的所述图像块确定为匹配块；所述根据所述匹配块确定所述第n层输入图像k
n
的第n层初始光流，包括：将所述匹配块中心点处的第n
‑
1层光流估计作为所述中心块中心点处的第n层初始光流。
[0010]在上述方案的实现过程中，通过以当前帧像素点为中心所获取的中心块以及当前帧的图像块之间的图像相似度在图像块中获取中心块的匹配块，进而通过匹配块确定中心块中心点处的初始光流，无需额外缓存原始帧图像，有效降低了算法硬件化后的硬件面积。
[0011]在第一方面的一种实现方式中，所述计算所述中心块与所述图像块的图像相似度，包括：计算所述中心块与所述图像块的用于表征图像相似度的图像差异损失；所述将与所述中心块的图像相似度最大的所述图像块确定为匹配块，包括：将与所述中心块的图像差异损失最小的所述图像块确定为匹配块。
[0012]在上述方案的实现过程中，仅利用中心块和图像块的像素值即可计算中心块与图像块之间的图像差异损失，使得上述光流估计方法可以简单有效的筛选出中心块的匹配块，从而通过匹配块确定中心块中心点处的光流提高了上述光流估计方法的处理效率。
[0013]在第一方面的一种实现方式中，所述采用多级光流估计模型获取第k
‑
1帧图像到第k帧图像的光流估计，包括：采用基于图像金字塔的光流估计模型获取第k
‑
1帧图像到第k帧图像的光流估计。
[0014]在上述方案的实现过程中，多级光流估计模型可以采用基于图像金字塔的光流估计模型，使得上述光流估计方法可以应用于更多的应用场景，提高了上述光流估计方法的适应性。
[0015]在第一方面的一种实现方式中，所述多级光流估计模型中的第n层输入图像k
n
，包括：所述第k帧图像的下采样图像，或所述第k帧图像。
[0016]在上述方案的实现过程中，多级光流估计模型中的第n层输入图像k
n
可以为第k帧图像的下采样图像，也可以为第k帧图像，使得上述光流估计方法可以应用于更多的应用场景，提高了上述光流估计方法的适应性。
[0017]第二方面，本申请实施例提供一种光流估计装置，包括：
[0018]初始光流获取模块，用于根据所述多级光流估计模型的第n
‑
1层光流估计以及多级光流估计模型中的第n层输入图像k
n
，获取第n层初始光流；
[0019]估计模块，用于根据所述第n层初始光流，获取第n层光流估计；
[0020]其中，1<n≤N，N为多级光流估计模型的总层数。
[0021]在第二方面的一种实现方式中，光流估计装置还包括：
[0022]图像缓存模块，用于缓存第k帧图像。
[0023]在上述方案的实现过程中，光流估计装置的初始光流获取模块仅根据上一层的光流估计以及当前层的输入图像，即可获取准确的当前层的初始光流，无需额外缓存原始帧图像，有效降低了光流估计装置的硬件面积，实现了光流算法硬件化的高集成和低成本。
[0024]第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
[0025]第四方面，本申请实施例提供一种电子设备，包括：处理器、存储器和通信总线，其中所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器中存储有可被所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
[0026]本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得
显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光流估计方法，其特征在于，包括：采用多级光流估计模型获取第k
‑
1帧图像到第k帧图像的光流估计；所述多级光流估计模型包含多层光流估计层，其中，第n层光流估计层获取第n层光流估计的方法为：根据第n
‑
1层光流估计层所获取的第n
‑
1层光流估计以及多级光流估计模型中的第n层输入图像k
n
，获取第n层初始光流；根据所述第n层初始光流，获取所述第n层光流估计；其中，1＜n≤N，N为多级光流估计模型的总层数。2.根据权利要求1所述的光流估计方法，其特征在于，所述根据第n
‑
1层光流估计层所获取的第n
‑
1层光流估计以及多级光流估计模型中的第n层输入图像k
n
，获取第n层初始光流，包括：采用第n
‑
1层光流估计对包含有图像块的第n层输入图像k
n
进行偏移操作，获得图像k
n
′
；在所述图像k
n
′
的图像块中确定所述第n层输入图像k
n
的匹配块；根据所述匹配块确定所述第n层输入图像k
n
的第n层初始光流。3.根据权利要求2所述的光流估计方法，其特征在于，所述在所述图像k
n
′
的图像块中确定所述第n层输入图像k
n
的匹配块，包括：以所述第n层输入图像k
n
中的像素点为中心，构建中心块；计算所述中心块与所述图像块的图像相似度；将与所述中心块的图像相似度最大的所述图像块确定为匹配块；所述根据所述匹配块确定所述第n层输入图像k
n
的第n层初始光流，包括：将所述匹配块中心点处的第n

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：北京爱芯科技有限公司，
类型：发明
国别省市：