基于图像块二值化哈希表示的实时的稠密光流计算方法技术

本发明专利技术公开了一种基于图像块二值化哈希表示的实时稠密光流计算方法，包括：输入两帧连续的图像，将其转换为灰度图；根据灰度图构建图像金字塔；通过编码函数处理图像金字塔，得到各个图像块的二值化哈希表示；在图像金字塔中的最小尺寸图像上随机初始化NNF映射；在最小图像尺寸上运行分块式PatchMatch算法，得到该层次的NNF映射；借助上层图像金字塔中计算得到的NNF映射，对当前层NNF映射进行初始化；在当前层运行PatchMatch算法，优化当前层NNF映射；循环执行前两个步骤至原始图像尺寸，得到最终光流估计。该方法提高了图像块特征提取和相似性计算的效率，在不失准确性的前提下，实现高实时性的稠密光流计算。

【技术实现步骤摘要】
基于图像块二值化哈希表示的实时的稠密光流计算方法
本专利技术涉及计算机视觉
，特别涉及一种基于图像块二值化哈希表示的实时稠密光流计算方法。
技术介绍
光流计算的计算机视觉领域中一个基本且重要的问题。求解光流即求解图像序列中像素点的瞬时运动，在目标跟踪、运动预测、三维重建、机器人导航等任务中，起到十分重要的作用。现有的光流算法可大体分为基于区域匹配的方法、基于梯度的方法、基于相位的方法和基于能量的方法。根据光流估计结果的稠密性又可分为稀疏光流和稠密光流。稀疏光流往往针对图像中少量的特征点计算，而稠密光流则需要计算图像中所有像素的光流。对于稠密光流的估计而言，基于区域匹配的方法较为常用。相较于其他光流算法，基于区域匹配的方法运算速度更快，且对于偏移量较大的光流往往能够给出更准确的估计结果。在Barnes等人于2009年提出PatchMatch算法中，通过构建并优化最近邻场NNF(nearest-neighborfield)，得到两幅包含同一场景的不同图像I1和I2的像素对应关系。NNF是一个定义在图像I1上的映射函数f：若f(a)＝b，其中a、b分别为图像I1、I2中某个图像块中心坐标，则表示b对应的图像块为图像I2中与a最相似的图像块。因此，通过求解NNF即可得到稠密的像素对应关系。经典的PatchMatch算法，包含以下步骤：1、以[-rmax，rmax]×[-rmax，rmax]平面上均匀分布随机初始化NNF映射，其中rmax为最大偏移量。2、在未达到收敛条件时，执行以下过程：(a)考虑NNF通常具有较强的平滑性，若f(x-1，y)或f(x，y-1)处存在关联性较好的映射，可向f(x，y)进行传播。f(x，y)处的映射取argminf{D(f(x，y))，D(f(x-1，y))，D(f(x，y-1))}，其中D(·)表示在特定映射关系下两图像块的距离。算法中，一般需要更换传播方向，例如在第偶数次迭代中，取argminf{D(f(x，y))，D(f(x+1，y))，D(f(x，y+1))}，将映射从右下向左上传播。(b)在相邻图像块之间进行映射传播后，还需要在更大地范围内进行随机搜索。令v0＝f(x，y)，则在以v0为中心，不同的搜索半径下，随机寻找更好的映射关系，搜索位置取ui＝v0+wαiRi，其中Ri为[-1,1]×[-1,1]这一二维平面上的均匀采样，w为最大搜索半径，α为指数衰减系数，取i＝0，1,2，…，直到搜索半径wαi小于一个像素。相关的众多光流算法方法，尤其是稠密光流算法通常耗时过长，鲜有算法能够达到较高的实时性，因此限制了光流估计在机器人导航、实时三维重建等对算法实时性要求较高的场景中的应用。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于图像块二值化哈希表示的实时稠密光流计算方法，该方法提高了图像块特征提取和相似性计算的效率，实现了高实时性的稠密光流计算。为达到上述目的，本专利技术实施例提出了基于图像块二值化哈希表示的实时稠密光流计算方法，包括以下步骤：步骤S1，输入两帧连续的图像，将所述两帧连续的图像转换为两帧连续的灰度图；步骤S2，根据所述两帧连续的灰度图构建图像金字塔；步骤S3，通过编码函数处理所述图像金字塔，得到各个图像块的二值化哈希表示；步骤S4，根据所述各个图像块的二值化哈希表示选取所述图像金字塔中的最小尺寸图像，并在所述最小尺寸图像上随机初始化NNF映射；步骤S5，在所述最小图像尺寸上运行分块式PatchMatch算法，得到所述最小图像尺寸所在层次的NNF映射；步骤S6，借助上一层图像金字塔中计算得到的NNF映射，对当前层NNF映射进行初始化；步骤S7，在当前层上运行所述分块式PatchMatch算法，优化当前层NNF映射；步骤S8，循环执行所述步骤S6和所述步骤S7直至原始图像尺寸，得到最终光流估计结果。本专利技术实施例的基于图像块二值化哈希表示的实时稠密光流计算方法，提高了图像块的特征提取和特征对比的速度，同时使用分块式的PatchMatch算法，有利于实现GPU并行计算，进一步提高算法效率。另外，根据本专利技术上述实施例的基于图像块二值化哈希表示的实时稠密光流计算方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述各个图像块的二值化哈希表示通过预先训练得到的编码函数实现，将图像块压缩为若干位二进制码，通过二进制码之间的汉明距离衡量对应图像块之间的相似性。进一步地，在本专利技术的一个实施例中，所述步骤S3中的编码函数为hk(x)＝δ(xwk)，k＝0,1，…，c，其中，为图像块展开得到的向量，wk为维空间中的一个超平面对应系数所构成的向量，δ(x)为阶跃函数，即当x≤0时δ(x)＝0，否则δ(x)＝1。进一步地，在本专利技术的一个实施例中，所述编码函数中的wk通过迭代量化法ITQ得到。进一步地，在本专利技术的一个实施例中，所述编码函数通过GPU上的神经网络运算库cudnn加速处理所述图像金字塔的速度。进一步地，在本专利技术的一个实施例中，所述步骤S5和所述步骤S7的分块式PatchMatch算法中，通过将图像分割为更小的图像区域，在对各个小图像区域内独立地运行分块式PatchMatch算法。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于图像块二值化哈希表示的实时稠密光流计算方法的流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于图像块二值化哈希表示的实时稠密光流计算方法。图1是本专利技术一个实施例的基于图像块二值化哈希表示的实时稠密光流计算方法的流程图。如图1所示，该基于图像块二值化哈希表示的实时稠密光流计算方法包括以下步骤：在步骤S1中，输入两帧连续的图像，将所述两帧连续的图像转换为两帧连续的灰度图。在步骤S2中，根据所述两帧连续的灰度图构建图像金字塔。举例而言，对两帧图像I1和I2分别构建k层图像金字塔，每层金字塔降采样比例为η＝0.5，得到和其中l∈{0，1，…，k-1}。在本专利技术的一个实施例中，对640×480分辨率的输入图像取金字塔层数k＝5。在步骤S3中，通过编码函数处理所述图像金字塔，得到各个图像块的二值化哈希表示。具体而言，对于两张图像的金字塔分别通过编码函数计算w×w大小的图像块的二值化压缩表示。在本专利技术的一个实施例中，对640×480分辨率的输入图像取图像本文档来自技高网...

【技术保护点】
1.一种基于图像块二值化哈希表示的实时稠密光流计算方法，其特征在于，包括以下步骤：/n步骤S1，输入两帧连续的图像，将所述两帧连续的图像转换为两帧连续的灰度图；/n步骤S2，根据所述两帧连续的灰度图构建图像金字塔；/n步骤S3，通过编码函数处理所述图像金字塔，得到各个图像块的二值化哈希表示；/n步骤S4，根据所述各个图像块的二值化哈希表示选取所述图像金字塔中的最小尺寸图像，并在所述最小尺寸图像上随机初始化NNF映射；/n步骤S5，在所述最小图像尺寸上运行分块式PatchMatch算法，得到所述最小图像尺寸所在层次的NNF映射；/n步骤S6，借助上一层图像金字塔中计算得到的NNF映射，对当前层NNF映射进行初始化；/n步骤S7，在当前层上运行所述分块式PatchMatch算法，优化当前层NNF映射；以及/n步骤S8，循环执行所述步骤S6和所述步骤S7直至原始图像尺寸，得到最终光流估计结果。/n

【技术特征摘要】
1.一种基于图像块二值化哈希表示的实时稠密光流计算方法，其特征在于，包括以下步骤：
步骤S1，输入两帧连续的图像，将所述两帧连续的图像转换为两帧连续的灰度图；
步骤S2，根据所述两帧连续的灰度图构建图像金字塔；
步骤S3，通过编码函数处理所述图像金字塔，得到各个图像块的二值化哈希表示；
步骤S4，根据所述各个图像块的二值化哈希表示选取所述图像金字塔中的最小尺寸图像，并在所述最小尺寸图像上随机初始化NNF映射；
步骤S5，在所述最小图像尺寸上运行分块式PatchMatch算法，得到所述最小图像尺寸所在层次的NNF映射；
步骤S6，借助上一层图像金字塔中计算得到的NNF映射，对当前层NNF映射进行初始化；
步骤S7，在当前层上运行所述分块式PatchMatch算法，优化当前层NNF映射；以及
步骤S8，循环执行所述步骤S6和所述步骤S7直至原始图像尺寸，得到最终光流估计结果。


2.根据权利要求1所述的基于图像块二值化哈希表示的实时稠密光流计算方法，其特征在于，所述各个图像块的二值化哈希表示通过预先训练得到的编码函数实现，将图像...

【专利技术属性】
技术研发人员：徐枫，林文镔，杨东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11