立体匹配方法及其系统技术方案

本发明专利技术提供了一种立体匹配方法

【技术实现步骤摘要】
立体匹配方法及其系统、深度计算装置以及机器人


[0001]本专利技术涉及立体匹配
，特别是涉及一种立体匹配方法及其系统
、
深度计算装置以及机器人
。

技术介绍

[0002]深度计算作为计算机视觉的重要分支，主要负责将二维投影图像恢复成三维真实场景，在许多领域都有着重要的应用
。
深度一般可采用双目立体视觉技术
、
结构光技术
、TOF
技术进行获取，其中双目立体和单目结构光都需要立体匹配进行深度计算
。
[0003]双目立体视觉
(Binocular Stereo Vision)
是基于视差原理，并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体的三维几何信息
。
该成像设备可以是普通双目，也可以是双目结构光，其中双目结构光技术是采用两个摄像头拍摄散斑图像，通过获取的两个散斑图像进行视差匹配，进而获取目标场景的深度信息
。
[0004]而单目结构光技术则是向目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
立体匹配方法，其特征在于，包括步骤：获取待匹配图像；通过参考窗口对该待匹配图像进行视差匹配，以获得该待匹配图像中像素的参考视差；在以该参考视差为基准确定的视差搜索区间内，通过多个辅助窗口依次对该待匹配图像进行视差匹配，以获得该待匹配图像中像素的多个辅助视差；以及根据相似度对该待匹配图像中像素的该参考视差和多个该辅助视差进行融合，以得到该待匹配图像中所有像素的最终视差，进而通过视差计算获得深度图像
。2.
根据权利要求1所述的立体匹配方法，其特征在于，所述获取待匹配图像的步骤，包括步骤：通过相机采集目标场景的图像，以获得原始图像；和通过分辨率提升方法，对该原始图像进行预处理，以得到分辨率提升的该待匹配图像
。3.
根据权利要求2所述的立体匹配方法，其特征在于，所述通过参考窗口对该待匹配图像进行视差匹配，以获得该待匹配图像中像素的参考视差的步骤，包括步骤：对该待匹配图像进行二值化处理，以得到对应的二值化图像；通过对该二值化图像进行区域分割，统计各个图像区域的大小，以选取相应大小的参考窗口和辅助窗口；以及通过相应大小的参考窗口，分别对对应的该图像区域进行视差匹配，以得到各个图像区域中像素的参考视差
。4.
根据权利要求3所述的立体匹配方法，其特征在于，在所述通过对该二值化图像进行区域分割，统计各个图像区域的大小，以选取相应大小的参考窗口和辅助窗口的步骤中：所选取的窗口尺寸小于对应的图像区域尺寸，且大于可计算出深度的最小窗口尺寸
。5.
根据权利要求3所述的立体匹配方法，其特征在于，在所述在以该参考视差为基准确定的视差搜索区间内，通过多个辅助窗口依次对该待匹配图像进行视差匹配，以获得该待匹配图像中像素的多个辅助视差的步骤中：在以该参考视差为基准确定的视差搜索区间内，通过相应大小的多个辅助窗口依次对对应的该图像区域进行视差匹配，以获得各个图像区域中像素的多个辅助视差
。6.
根据权利要求5所述的立体匹配方法，其特征在于，该参考窗口包括不同尺寸的正方形窗口；该辅助窗口包括水平方向的长方形窗口
、
竖直方向的长方形窗口
、
倾斜方向的长方形窗口以及菱形窗口
。7.
根据权利要求1至6中任一所述的立体匹配方法，其特征在于，所述根据相似度对该待匹配图像中像素的该参考视差和多个该辅助视差进行融合，以得到该待匹配图像中所有像素的最终视差，进而通过视差计算获得深度图像的步骤，包括步骤：分别对该待匹配图像中不同窗口下的最优视差进行相似度计算，以将相似度最高的窗口下的最优视差作为最佳视差；将该最佳视差分别在各个窗口下进行亚像素插值，以得到在各个窗口下的亚像素精度视差；以及将所有的亚像素精度视差和对应的相似度作为输入数据，通过深度学习网络模型进行视差融合，以得到最终视差，进而转换成点云以获得深度图像
。
8.
根据权利要求1至6中任一所述的立体匹配方法，其特征在于，所述根据相似度对该待匹配图像中像素的该参考视差和多个该辅助视差进行融合，以得到该待匹配图像中所有像素的最终视差，进而通过视差计算获得深度图像的步骤，包括步骤：分别对该待匹配图像中不同窗口下的最优视差进行相似度计算，以将相似度最高的窗口下的最优视差作为最佳视差；将该最佳视差分别在各个窗口下进行亚像素插值，以得到在各个窗口下的亚像素精度视差；以及以各个亚像素精度视差对应的相似度作为权重，对所有的亚像素精度视差进行融合，以得到最终视差，进而转换成点云以获得深度图像
...

【专利技术属性】
技术研发人员：孙佳睿，陈立刚，刘余福，贺岳明，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：