本公开提出一种基于光流估计的图像处理方法、装置以及存储介质，包括：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作，能够在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，从而可以缩短图像处理整体时间。间。间。
【技术实现步骤摘要】
基于光流估计的图像处理方法、装置以及计算机设备
[0001]本公开涉及图像处理
，尤其涉及一种基于光流估计的图像处理方法、装置以及存储介质。
技术介绍
[0002]在计算机视觉中，光流(optical flow)运动估计算法是计算相邻两帧图像对应像素点运动偏移常用的计算方法，其通过计算出两帧图像对应像素点的偏移位置得到像素点光流数据，即：光流偏移数据，其中，在计算光流数据中，可以将图像进行下采样构建金字塔，首先计算图像较小的金字塔层的光流数据，然后融合到上一个金字塔层的光流偏移上，从上到下依次融合，得到最终的光流数据；进一步地，基于该光流数据对图像进行后续的防抖、3D降噪、目标分割、识别、跟踪、机器人导航以及形状信息恢复等处理。
[0003]相关技术在图像防抖、降噪等处理过程中，需要计算相邻两幅图像完整的光流数据，在得到完整光流数据的情况下进行后续的防抖、降噪等处理，因此光流计算与后续图像处理是顺序进行的，所需的计算时长是两个步骤计算时长累加之和。因此在高速计算的场景下，会有一定的时间延迟，不利于图像实时处理。
技术实现思路
[0004]本公开提出了一种基于光流估计的图像处理方法、装置以及存储介质，旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]本公开第一方面实施例提出了一种基于光流估计的图像处理方法，包括：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。
[0006]本公开第二方面实施例提出了一种基于光流估计的图像处理装置，包括：构建模块，用于获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；分块模块，用于将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；计算模块，用于根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；处理模块，用于基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。
[0007]本公开第三方面实施例提出了一种权值缓存器，包括：静态随机存取存储器和锁存器。
[0008]本公开第四方面实施例提出了一种计算机设备，包括：至少一个处理器；以及与所
述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例的基于光流估计的图像处理方法。
[0009]本公开第五方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的基于光流估计的图像处理方法。
[0010]本实施例中，通过获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔，并将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系，并根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，以及基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作，能够计算两帧图像的部分区域的光流数据，在利用部分光流数据进行目标处理操作的同时计算另一部分区域的光流数据，实现光流计算与处理操作并行的技术效果，从而可以缩短图像处理整体的时间，降低延迟，进而能够满足图像实时处理的需求。
[0011]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0012]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0013]图1是根据本公开一实施例提供的基于光流估计的图像处理方法的流程示意图；
[0014]图2是根据本公开实施例提供的图像金字塔的结构示意图；
[0015]图3A是根据本公开实施例提供的图像金字塔每一层图像多个图像块一种排列结构示意图；
[0016]图3B是根据本公开实施例提供的图像金字塔每一层图像多个图像块另一种排列结构示意图；
[0017]图4是根据本公开另一实施例提供的基于光流估计的图像处理方法的流程示意图；
[0018]图5是根据本公开另一实施例提供的基于光流估计的图像处理装置的示意图；
[0019]图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
[0020]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0021]其中，需要说明的是，本实施例的基于光流估计的图像处理方法的执行主体可以
为基于光流估计的图像处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0022]图1是根据本公开一实施例提供的基于光流估计的图像处理方法的流程示意图，如图1所示，该方法包括：
[0023]S101：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔。
[0024]其中，本实施例的两帧图像可以是任意的图像处理场景下连续时间采集的两帧图像，例如，在防抖、降噪过程中，本实施例可以获取相邻的两帧图像，对此不作限制。可以理解的是，本实施例中两帧图像的尺寸和分辨率相同。
[0025]其中，本实施例采集的两帧图像可以为高分辨率图像，即：像素点较多，为了准确计算光流数据，本实施例可以分别对每帧图像的像素点进行下采样以构建图像金字塔。
[0026]图2是根据本公开实施例提供的图像金字塔的结构示意图，如图2所示，本实施例针对每帧图像可以构建m层(例如3层)的图像金字塔，其中，第一层为原始每帧图像，其宽高(像素点数量)可以分别用w1和h1表示，第二层图像的宽高用w2*h2表示，....，第m层为最顶层，其宽高(像素点数量)可以分别用w
m
和h
m
表示。
[0027]一些实施例，m
‑
1层图像宽高例如是m层图像的2倍，同理，m本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于光流估计的图像处理方法，其特征在于，所述方法包括：获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以构建图像金字塔；将所述图像金字塔的每一层图像划分为N个图像块，其中，N为大于1的正整数，并且相邻层图像的每个图像块具有对应关系；根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据；基于所述第一光流数据对所述两帧图像进行目标处理操作，同时根据所述每一层图像的N个图像块中的第二图像块，计算第二光流数据，其中，所述第二光流数据用于所述目标处理操作。2.如权利要求1所述的方法，其特征在于，所述计算第一光流数据之后，还包括：将所述第一光流数据写入内存；并且，所述基于所述第一光流数据对所述两帧图像进行目标处理操作，包括：从所述内存读取所述第一光流数据，并基于所述第一光流数据对所述两帧图像进行目标处理操作。3.如权利要求1所述的方法，其特征在于，所述将所述图像金字塔的每一层图像划分为N个图像块之前，包括：根据所述每帧图像的像素点数量，确定划分的N个图像块的数量。4.如权利要求1所述的方法，其特征在于，所述将所述图像金字塔的每一层图像划分为N个图像块，包括：将所述图像金字塔的每一层图像划分为与当前层图像宽度相等的N个图像块；或者将所述图像金字塔的每一层图像划分为与当前层图像高度相等的N个图像块。5.如权利要求1所述的方法，其特征在于，所述根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，包括：按照从最顶层到最底层的顺序，依次计算所述每一层图像的第一图像块的光流数据，并将最底层图像的第一图像块的光流数据作为所述第一光流数据。6.如权利要求1所述的方法，其特征在于，所述根据所述每一层图像的N个图像块中的第一图像块，计算第一光流数据，包括：确定所述每一层图像的N个图像块中的多个图像块作为所述第一图像块；以及根据所述第一图像块，计算所述第一光流数据。7.一种基于光流估计的图像处理装置，其特征在于，包括：构建模块，用于获取相邻的两帧图像，并分别对每帧图像的像素点进行下采样以...
【专利技术属性】
技术研发人员：龚文彪，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。