一种深度图的获取方法及系统技术方案

本发明专利技术公开了深度图的获取方法及系统，包括：利用视差获取方法获取左图像和右图像的视差；根据视差计算深度图中每个像素点与其同名点相邻两个像素点之间的匹配代价差；将整型的视差空间利用所述连续匹配代价拟合函数进行多次拟合得到连续的视差空间，计算亚像素级精度的像素坐标得到亚像素视差空间；根据亚像素视差空间计算深度值，获得深度图；该方法直接在基于整型视差空间的深度图上做亚像素拟合，相对于基于亚像素空间的立体匹配的深度图算法，在大大减小了所需内存空间的同时，也缩短了算法的运行时间，用连续函数拟合的方法对离散的视差空间进行拟合插值，得到连续的视差空间从而消除了深度图的分层效应，使得基于视差的三维测量的精度得到提高。

Method and system for obtaining depth map

The invention discloses a method and a system to obtain depth map including disparity acquirement method to get the left and right images with parallax; according to the parallax matching cost between each pixel and its corresponding points of two adjacent pixels in the depth map calculation; the disparity between the empty integer using the continuous matching cost function fitting multiple fitting disparity space continuous, pixel coordinates calculation of sub-pixel precision of sub-pixel disparity space; value is calculated according to the depth of sub-pixel disparity space, depth map is obtained; the method of direct sub-pixel fitting in the depth map based on integer disparity space, relative to the stereo matching algorithm of sub pixel depth map based on the greatly reduced the required memory space at the same time, but also shorten the running time of the algorithm, using the method of continuous function fitting of discrete The disparity space is fitted and interpolated to obtain continuous disparity space, thus eliminating the hierarchical effect of depth map, so that the accuracy of the 3D measurement based on disparity is improved.

【技术实现步骤摘要】
一种深度图的获取方法及系统
本专利技术涉及计算机视觉
，特别涉及一种深度图的获取方法及系统。
技术介绍
获取准确的深度信息是自动系统环境感知的重要部分，深度精度是传感器用于距离估计的最重要特性之一。深度图在自动系统的定位和尺寸测量中有非常普遍的应用。立体摄像系统使用从不同的角度拍摄的两个图像之间的像素级对应，从而实现图像深度估计。但对于远距离系统，基于整型视差的深度图精度是不够的，因为基于整型像素立体匹配的深度图在视差空间中呈整型离散分布，分层效应明显，这样没法达到一些高精度需求的应用场景的测量精度要求。为此，需要对以整型视差为单位的深度图做优化处理，使深度图信息连续，从而在应用中能够得到精确的三维测量信息。目前，对于深度图的优化方法主要集中于基于图像信息的深度图处理，这些方法依赖于深度图的像素信息、边缘等，基本上靠滤波、经典的插值等方法对二维的深度图像做处理，在一定程度上能够对深度图的成像有一定的改善，但是，远远达不到精度要求非常高的测量应用场景的要求。因此，如何获取具有精确深度精度的深度图，是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种深度图的获取方法及系统，能够解决像素锁定问题，实现亚像素的精确估计，获得很高的深度精度，同时，算法所需内存少，计算简单，花费时间少，实时性好。为解决上述技术问题，本专利技术提供一种深度图的获取方法，包括：利用视差获取方法获取左图像和右图像的视差；根据所述视差，计算深度图中每个像素点与其同名点相邻两个像素点之间的匹配代价差；利用所述匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，并将整型的视差空间利用所述连续匹配代价拟合函数进行多次拟合得到连续的视差空间，计算亚像素级精度的像素坐标，得到亚像素视差空间；根据所述亚像素视差空间计算深度值，获得深度图。可选的，利用视差获取方法获取左图像和右图像的视差，包括：利用同名像点快速匹配方法获取左图像和右图像的视差。可选的，根据所述视差，计算深度图中相邻两个像素点之间的匹配代价差，包括：利用计算深度图中相邻两个像素点之间的匹配代价差；其中，d为当前像素点整型三维重建之后的视差，Cd为当前像素点的视差d对应的立体匹配中聚合之后的匹配代价，Cd-1为当前像素点在视差d-1时对应的匹配代价，Cd+1为当前像素点在视差d+1时对应的匹配代价，LeftDif为当前像素点与其同名点左边像素点的匹配代价差，RightDif为当前像素点与其同名点右边像素点的匹配代价差。可选的，所述匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，包括：利用确定拟合变量h；根据所述拟合变量h，确定基于整型像素采样的连续匹配代价拟合函数f(h)，其中，可选的，计算亚像素级精度的像素坐标，得到亚像素视差空间，包括：利用计算亚像素级精度的像素坐标dRefine，并确定亚像素视差空间DNew＝{dRefine}。可选的，根据所述亚像素视差空间计算深度值，获取深度图，包括：利用计算深度图的世界坐标；利用将所述世界坐标单位化得到深度图的点云数据；其中，E＝(x,y,z)为世界坐标，E1＝(X,Y,Z)为单位化世界坐标，e＝(u,v)为图像坐标，Q为重投影矩阵，Z为亚像素优化后的深度值。可选的，获取深度图之后，还包括：通过显示器输出所述深度图。本专利技术还提供一种深度图的获取系统，包括：视差计算模块，用于利用视差获取方法获取左图像和右图像的视差；匹配代价差计算模块，用于根据所述视差，计算深度图中每个像素点与其同名点相邻两个像素点之间的匹配代价差；亚像素视差空间获取模块，用于利用所述匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，并将整型的视差空间利用所述连续匹配代价拟合函数进行多次拟合得到连续的视差空间，计算亚像素级精度的像素坐标，得到亚像素视差空间；深度图获取模块，用于根据所述亚像素视差空间计算深度值，获得深度图。可选的，所述亚像素视差空间获取模块包括：连续匹配代价拟合函数确定单元，用于利用确定拟合变量h；根据所述拟合变量h，确定基于整型像素采样的连续匹配代价拟合函数f(h)；亚像素视差空间获取单元，用于利用计算亚像素级精度的像素坐标dRefine，并确定亚像素视差空间DNew＝{dRefine}；其中，LeftDif为当前像素点与左边像素点的匹配代价差，RightDif为当前像素点与右边像素点的匹配代价差，d为当前像素点整型三维重建之后的视差，Cd为当前像素点的视差d对应的立体匹配中聚合之后的匹配代价。可选的，该系统还包括：输出模块，用于通过显示器输出所述深度图。本专利技术所提供的一种深度图的获取方法，包括：利用视差获取方法获取左图像和右图像的视差；根据视差计算深度图中每个像素点与其同名点相邻两个像素点之间的匹配代价差；利用匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，并将整型的视差空间利用所述连续匹配代价拟合函数进行多次拟合得到连续的视差空间，计算亚像素级精度的像素坐标得到亚像素视差空间；根据亚像素视差空间计算深度值，获得深度图；可见，该方法直接在基于整型视差空间的深度图上做亚像素拟合，相对于基于亚像素空间的立体匹配的深度图算法，在大大减小了所需内存空间的同时，也缩短了算法的运行时间，用连续函数拟合的方法对离散的视差空间进行拟合插值，得到连续的视差空间，从而消除了深度图的分层效应，使得基于视差的三维测量的精度得到提高，适用于对测量精度要求不同的三维测量场景，特别是对测量精度要求非常高的三维测量场景；本专利技术还提供一种深度图的获取系统，具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例所提供的深度图的获取方法的流程图；图2为本专利技术实施例所提供的立体匹配整型视差空间的示意图；图3为本专利技术实施例所提供的深度信息空间示意图的示意图；图4为本专利技术实施例所提供的匹配代价曲线拟合的示意图；图5为本专利技术实施例所提供的传感器整型像素示意图；图6为本专利技术实施例所提供的深度图的获取系统的结构框图；图7为本专利技术实施例所提供的另一深度图的获取系统的结构框图。具体实施方式本专利技术的核心是提供一种深度图的获取方法及系统，能够解决像素锁定问题，实现亚像素的精确估计，获得很高的深度精度，同时，算法所需内存少，计算简单，花费时间少，实时性好。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，深度图的获取方法研究通常致力于基于立体匹配的简单窗口解决方案。Scharstein和Szeliski提出的原始分类法将立体算法分为两个主要组：局部方法和全局方法。局部算法类使用每个点周围的有限支持区域来计算视差，这种方法都基于选定的匹配窗口，通常应用匹配代本文档来自技高网...

【技术保护点】
一种深度图的获取方法，其特征在于，包括：利用视差获取方法获取左图像和右图像的视差；根据所述视差，计算深度图中每个像素点与其同名点相邻两个像素点之间的匹配代价差；利用所述匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，并将整型的视差空间利用所述连续匹配代价拟合函数进行多次拟合得到连续的视差空间，计算亚像素级精度的像素坐标，得到亚像素视差空间；根据所述亚像素视差空间计算深度值，获得深度图。

【技术特征摘要】
1.一种深度图的获取方法，其特征在于，包括：利用视差获取方法获取左图像和右图像的视差；根据所述视差，计算深度图中每个像素点与其同名点相邻两个像素点之间的匹配代价差；利用所述匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，并将整型的视差空间利用所述连续匹配代价拟合函数进行多次拟合得到连续的视差空间，计算亚像素级精度的像素坐标，得到亚像素视差空间；根据所述亚像素视差空间计算深度值，获得深度图。2.根据权利要求1所述的深度图的获取方法，其特征在于，利用视差获取方法获取左图像和右图像的视差，包括：利用同名像点快速匹配方法获取左图像和右图像的视差。3.根据权利要求2所述的深度图的获取方法，其特征在于，根据所述视差，计算深度图中相邻两个像素点之间的匹配代价差，包括：利用计算深度图中相邻两个像素点之间的匹配代价差；其中，d为当前像素点整型三维重建之后的视差，Cd为当前像素点的视差d对应的立体匹配中聚合之后的匹配代价，Cd-1为当前像素点在视差d-1时对应的匹配代价，Cd+1为当前像素点在视差d+1时对应的匹配代价，LeftDif为当前像素点与其同名点左边像素点的匹配代价差，RightDif为当前像素点与其同名点右边像素点的匹配代价差。4.根据权利要求3所述的深度图的获取方法，其特征在于，所述匹配代价差确定的基于整型像素采样的连续匹配代价拟合函数，包括：利用确定拟合变量h；根据所述拟合变量h，确定基于整型像素采样的连续匹配代价拟合函数f(h)，其中，5.根据权利要求4所述的深度图的获取方法，其特征在于，计算亚像素级精度的像素坐标，得到亚像素视差空间，包括：利用计算亚像素级精度的像素坐标dRefine，并确定亚像素视差空间DNew＝{dRefine}。6.根据权利要求5所述的深度图的获取方法，其特征在于，根...

【专利技术属性】
技术研发人员：周剑，唐荣富，余勤力，龙学军，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51