基于动态规划和全局代价累积路径的立体影像密集匹配方法组成比例

本发明专利技术涉及一种基于动态规划和全局代价累积路径的立体影像密集匹配方法，它包括如下步骤：1、根据输入的立体影像，选择基准影像和参考影像；2、选择匹配测度，计算匹配代价矩阵；3、设计全局代价累积路径，采用动态规划方法，沿着全局路径进行代价累积，获得代价累积矩阵；4、根据代价累积矩阵，计算密集匹配视差图。本发明专利技术能够解决传统的半全局密集匹配算法的匹配结果不鲁棒的问题，同时能够解决传统的全局匹配算法的时间复杂度高的问题，能够快速获得鲁棒、精确的密集匹配视差图，能够为数字摄影测量和遥感、计算机视觉、虚拟现实、数字地球等应用提供技术支持。

【技术实现步骤摘要】
基于动态规划和全局代价累积路径的立体影像密集匹配方法
本专利技术涉及立体影像密集匹配
，具体涉及一种基于动态规划和全局代价累积路径的立体影像密集匹配方法。
技术介绍
现有的立体影像密集匹配算法将立体影像密集匹配问题转化为“编号”问题，为基准影像上每个像素寻找一个编号，实现逐像素地匹配出两幅影像之间同名点的目的。立体影像密集匹配是摄影测量与遥感、计算机视觉、虚拟现实、三维重建等领域的核心技术之一，能够用于智慧城市、智能交通、国土资源调查、国防建设、游戏动画等应用。根据优化方法的不同，可以将立体影像密集匹配方法分为：局部密集匹配、半全局密集匹配和全局密集匹配。局部密集匹配算法假设以待匹配像素为中心，周围一定区域(规则或者不规则)内像素的视差是一致的，从而将单点匹配问题转化为比较两个区域相似度的问题。局部密集匹配算法最简单，匹配效率高、计算速度快，但是局部密集匹配算法的匹配精度低，匹配结果不鲁棒。半全局密集匹配算法将密集匹配问题转化为全局能量函数最优解的计算问题，通过多个方向的一维动态规划，得到全局能量函数的近似最优解，作为密集匹配最终结果。半全局密集匹配算法同样匹配效率高，但是由于动态规划的路径是一维的，即每个像素的代价累积仅仅与扫描线方向上的像素有关，因此，半全局密集匹配算法的匹配结果不够鲁棒，匹配点云较为粗糙。全局匹配算法将匹配问题转化为二维规则格网的“编号”问题，通过最大流-最小割理论、置信传播理论等优化思想得到全局最优解。该方法对噪声有着很强的鲁棒性，匹配结果稳定，精度高；但是算法复杂度高，匹配效率低下。
技术实现思路
本专利技术的目的在于提供一种基于动态规划和全局代价累积路径的立体影像密集匹配方法，该方法设计一种全局的代价累积路径，使得每个像素的代价累积受到整张影像其余所有像素的影响，并采用动态规划的优化方法，实现快速匹配。该方法能够兼顾匹配精度和匹配效率，最终快速生成密集的高精度的匹配视差图，为三维建模等应用服务。为解决上述技术问题，本专利技术所设计的基于动态规划和全局代价累积路径的立体影像密集匹配方法其特征在于，它包括如下步骤：步骤1：根据输入的立体影像，选择基准影像和参考影像；立体影像即组成立体视觉的两幅影像，立体影像包括卫星影像、航拍影像、无人机影像以及近景影像，匹配前，需要选择基准影像和参考影像，选择左视影像为基准影像，选择右视影像为参考影像，采用核线纠正的方法，将立体影像纠正为核线立体像对；步骤2：选择匹配测度，计算匹配代价矩阵；匹配测度即像素及其邻域灰度特征的描述算子，一个好的匹配测度，应该能精确描述像素及其邻域的灰度特征，匹配代价是两个像素之间匹配测度的差异，用于描述两个像素的相似性，匹配代价越小，说明两个像素是同名像素的可能性越高；否则，匹配代价越大，说明两个像素是同名像素的可能性越低，选择HOG算子作为匹配测度，如下式所示：VHOG(p)＝(b0,b1,b2,b3,b4,b5,b6,b7,b8,b9,b10,b11)T式中，p表示基准影像上的像素；bi(i＝0～11)表示HOG梯度直方图上每个区间的值；VHOG(p)表示像素p的HOG匹配测度，T为转置符号；将两个像素的HOG匹配测度之间的距离作为匹配代价，如下式所示：式中，p表示基准影像上的一个像素；d表示视差；epl(p,d)表示根据像素p和视差d，计算出来的参考影像上的同名像素；CHOG(p,d)表示像素p对应视差d的匹配代价；表示基准影像上像素p的HOG匹配测度；表示参考影像上，对应同名点的匹配测度；根据上式，依次计算基准影像上每个像素的匹配代价，从而能构建一个匹配代价矩阵；步骤3：设计全局代价累积路径，采用动态规划方法，沿着全局路径进行代价累积，获得代价累积矩阵；全局代价累积路径，即基准影像上任意两个像素之间均存在代价传递路径，设计一种基于正交扫描线的全局代价累积路径，能够实现基准影像上任意两个像素之间的代价传递，设扫描线方向为θ，垂直扫描线的方向为θ⊥；首先，按照扫描线方向θ，采用动态规划的方法进行代价累积，如下式所示：Sθ(p,d)＝Lθ(p,d)+Lθ'(p,d)式中，p表示基准影像上的一个像素；p-θ表示在扫描线θ上，像素p的前一个像素；p+θ表示在扫描线θ上，像素p的后一个像素；d表示当前视差；θ表示扫描线的方向；CHOG(p,d)表示像素p对应视差d的匹配代价；Lθ(p,d)、Lθ(p-θ,d)、Lθ(p-θ,d-1)、Lθ(p-θ,d+1)分别表示像素p和像素p-θ沿着扫描线θ正方向上对应视差d、d-1和d+1的累积代价；Lθ'(p,d)、Lθ'(p+θ,d)、Lθ'(p+θ,d-1)、Lθ'(p+θ,d+1)分别表示像素p和像素p+θ沿着扫描线θ反方向上对应视差d、d-1和d+1的累积代价；Sθ(p,d)表示像素p在扫描线θ上，对应视差d的总累积代价；P1和P2表示惩罚因子，P2要大于P1；k表示视差范围内，任意一个视差；表示在像素p+θ的所有累积代价中，取一个最小的累积代价，表示像素p-θ的所有累积代价中，取一个最小的累积代价；然后，以θ方向的累积代价Sθ(p,d)作为新的匹配代价，再按照扫描线方向θ⊥，采用动态规划的方法进行代价累积，如下式所示：式中，p表示基准影像上的一个像素；p-θ⊥表示在扫描线θ⊥上，像素p的前一个像素；p+θ⊥表示在扫描线θ⊥上，像素p的后一个像素；d表示当前视差；θ⊥表示垂直于扫描线的方向；Sθ(p,d)表示在扫描线θ上，对应视差d的累积代价；分别表示像素p和像素p-θ⊥沿着扫描线θ⊥正方向上对应视差d、d-1和d+1的累积代价；分别表示像素p和像素p+θ⊥沿着扫描线θ⊥反方向上对应视差d、d-1和d+1的累积代价；表示在扫描线θ⊥上，总的累积代价；P1和P2表示惩罚因子，P2要大于P1；k表示视差范围内，任意一个视差；表示在像素p+θ⊥的所有累积代价中，取一个最小的累积代价，表示像素p-θ⊥的所有累积代价中，取一个最小的累积代价；通过基于正交扫描线的全局代价累积，基准影像上任意两个像素之间的代价累计路径，均可以由正交扫描线组成，扫描线方向包括水平扫描线方向、垂直扫描线方向和对角线扫描线方向，为了减少不同方向的累积误差，提高密集匹配的精度，需要将各个方向的代价累积结果相加，如下式所示：式中，S(p,d)表示基准影像上像素p对应视差d的总体累积代价，表示在扫描线θ⊥上，总的累积代价；依次计算基准影像上每个像素的总体累积代价，从而构建代价累积矩阵；步骤4：根据代价累积矩阵，计算密集匹配视差图；根据代价累积矩阵S(p,d)，依次寻找每个像素的最小累积代价所对应的视差，作为该像素的最终视差，如下式所示：式中，D(p)表示的像素p最终视差；k表示视差范围内，任意一个视差，表示像素p对应的累积代价S(p,k)中的最小代价，d表示视差；依次计算基准影像上每个像素的最终视差，获得密集匹配视差图。本专利技术的有益效果：本专利技术能够设计一种全局的代价累积路径，并采用动态规划的方法实现快速匹配，能够解决传统半全局匹配方法的匹配结果不鲁棒问题，能够解决全局匹配方法的匹配时间复杂度高的问题，最终实现高精度、快速的、鲁棒的密集匹配，能够为三维建模等应用服务。附图说明图1为本专利技术的流程图；图2为全局代价本文档来自技高网...

【技术保护点】
一种基于动态规划和全局代价累积路径的立体影像密集匹配方法，其特征在于，它包括如下步骤：步骤1：根据输入的立体影像，选择基准影像和参考影像；立体影像即组成立体视觉的两幅影像，立体影像包括卫星影像、航拍影像、无人机影像以及近景影像，匹配前，需要选择基准影像和参考影像，选择左视影像为基准影像，选择右视影像为参考影像，采用核线纠正的方法，将立体影像纠正为核线立体像对；步骤2：选择匹配测度，计算匹配代价矩阵；匹配测度即像素及其邻域灰度特征的描述算子，一个好的匹配测度，应该能精确描述像素及其邻域的灰度特征，匹配代价是两个像素之间匹配测度的差异，用于描述两个像素的相似性，匹配代价越小，说明两个像素是同名像素的可能性越高；否则，匹配代价越大，说明两个像素是同名像素的可能性越低，选择HOG算子作为匹配测度，如下式所示：VHOG(p)＝(b0,b1,b2,b3,b4,b5,b6,b7,b8,b9,b10,b11)

【技术特征摘要】
1.一种基于动态规划和全局代价累积路径的立体影像密集匹配方法，其特征在于，它包括如下步骤：步骤1：根据输入的立体影像，选择基准影像和参考影像；立体影像即组成立体视觉的两幅影像，立体影像包括卫星影像、航拍影像、无人机影像以及近景影像，匹配前，需要选择基准影像和参考影像，选择左视影像为基准影像，选择右视影像为参考影像，采用核线纠正的方法，将立体影像纠正为核线立体像对；步骤2：选择匹配测度，计算匹配代价矩阵；匹配测度即像素及其邻域灰度特征的描述算子，一个好的匹配测度，应该能精确描述像素及其邻域的灰度特征，匹配代价是两个像素之间匹配测度的差异，用于描述两个像素的相似性，匹配代价越小，说明两个像素是同名像素的可能性越高；否则，匹配代价越大，说明两个像素是同名像素的可能性越低，选择HOG算子作为匹配测度，如下式所示：VHOG(p)＝(b0,b1,b2,b3,b4,b5,b6,b7,b8,b9,b10,b11)T式中，p表示基准影像上的像素；bi(i＝0～11)表示HOG梯度直方图上每个区间的值；VHOG(p)表示像素p的HOG匹配测度，T为转置符号；将两个像素的HOG匹配测度之间的距离作为匹配代价，如下式所示：式中，p表示基准影像上的一个像素；d表示视差；epl(p,d)表示根据像素p和视差d，计算出来的参考影像上的同名像素；CHOG(p,d)表示像素p对应视差d的匹配代价；表示基准影像上像素p的HOG匹配测度；表示参考影像上，对应同名点的匹配测度；根据上式，依次计算基准影像上每个像素的匹配代价，从而能构建一个匹配代价矩阵；步骤3：设计全局代价累积路径，采用动态规划方法，沿着全局路径进行代价累积，获得代价累积矩阵；全局代价累积路径，即基准影像上任意两个像素之间均存在代价传递路径，设计一种基于正交扫描线的全局代价累积路径，能够实现基准影像上任意两个像素之间的代价传递，设扫描线方向为θ，垂直扫描线的方向为θ⊥；首先，按照扫描线方向θ，采用动态规划的方法进行代价累积，如下式所示：Sθ(p,d)＝Lθ(p,d)+Lθ'(p,d)式中，p表示基准影像上的一个像素；p-θ表示在扫描线θ上，像素p的前一个像素；p+θ表示在扫描线θ上，像素p的后一个像素；d表示当前视差；θ表示扫描线的方向；CHOG(p,d)表示像素p对应视差d的匹配代价；Lθ(p,d)、Lθ(p-θ,d)、Lθ(p-θ,d-1)、Lθ(p-θ,d+1)分别表示像素p和像素p-θ沿着扫描线θ正方向上对应视差d、d-1和d+1的累积代价；Lθ'(p,d)、Lθ'(p+θ,d)、Lθ'(p+θ,d-1)、Lθ'(p+θ,d+1)分别表示像素p和像素p+θ沿着扫描线θ反方向上对应视差d、d-1和d+1的累积代价；Sθ(p,d)表示像素p在扫描线θ上，对应视差d的总累积代价；P1和P2表示惩罚因子，P2要大于P1；k表示视差范围内，任意一个视差；表示在像素p+θ的所有累积代价中，取一个最小的累积代价，表示像素p-θ的所有累积代价中，取一个最小的累积代价；然后，...

【专利技术属性】
技术研发人员：黄旭，周刚，高其双，陆正武，蔡刚山，
申请(专利权)人：武汉市工程科学技术研究院，
类型：发明
国别省市：湖北,42