一种深度图快速生成方法技术

本发明专利技术提出一种深度图像快速生成方法，首先利用Shi‑Tomasi算法求解得到立体图像对的匹配特征点，并根据匹配特征点估算区域匹配的视差搜索范围，减少不必要的搜索操作。然后利视差搜索范围进行区域匹配，计算出各像素点视差。最后根据求出的视差计算出各像素点的深度，得到深度图。本发明专利技术所提出方法较传统的基于区域匹配的深度图像生成方法在图像生成速度和准确度上都有明显提高。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，特指一种深度图快速生成方法。
技术介绍
双目立体视觉是计算机视觉领域的一个重要分支，能够模仿人的双眼处理客观场景。随着立体视频技术的不断发展，图像处理技术、通信技术以及编码技术的不断进步，立体视频迎来了发展的契机。近年来，图像显示技术的飞跃以及计算机芯片处理能力的大幅提高，使我们能在普通的显示器上观看逼真的立体视频；通信信道的带宽增加以及通信速度的加快，为信息量巨大的立体视频提供了技术支持。立体视频编码技术的提高是非常重要的。在传统的平行双目立体影像成像系统中，需要传送左视图和右视图来生成立体图像，该方法原理简单，但是传输效率低，且传输所需的带宽较大。而基于深度图像绘制的立体成像系统只需要传输任意一副图像(左视图或右视图)及相应的深度图像即可，通过深度图像分析恢复出另外一副图像(右视图或左视图)，实现三维重建。因为深度图的信息量通常比普通视图的信息量少很多，所以基于深度信息的立体成像系统可以大大的节省传输带宽。深度图像在机器人视觉领域、自动导航、工业零件的自动监测和自动装配等领域有着广泛应用。深度用于表示场景中各点相对于摄像机的距离，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离。深度图是指以物体纵向深度值代替灰度图像的灰度级形成的图像。目前，国内外的深度图像获取方法主要有两种，一种是以激光雷达深度成像、坐标测量机法、摩尔条纹法、结构光法为代表的主动获取技术，另一种是以立体视觉技术为代表的被动式获取技术。被动式获取技术中，平行双目立体视觉深度图像获取方法因为具有成本低、效率高、灵活性强等特点，得到了广泛的应用。立体匹配是平行双目立体获取深度图像的关键，但是现在用得较多的基于特征点的立体匹配方法只能获取到稀疏的深度图，而基于区域的立体匹配方法匹配精度不高，计算效率低。
技术实现思路
针对传统深度图生成方法中的不足，本专利技术提出了一种深度图快速生成方法。基于平行双目立体视觉模型，利用具有水平视差的左视图和右视图计算深度图，并在深度图像生成的关键部分，即立体匹配部分提出了一种Shi-Tomasi特征点匹配与区域匹配相结合的立体匹配方法，减少区域匹配的搜索范围，提高匹配的速度及精度，该方法提高了深度图生成的速度。本专利技术采用的技术方案是：一种深度图快速生成方法，包括以下步骤：S1对待匹配立体图像对的左右图像分别进行Shi-Tomasi特征提取，得到图像中的Shi-Tomasi特征点；S2把S1中左图像和右图像获取的Shi-Tomasi特征点进行双向匹配，得到相互匹配的特征点对，并求出匹配特征点对的最大视差和最小视差，估计出区域匹配的视差搜索范围；S3把归一化互相关函数作为区域匹配的相关测度函数，利用S2中求取的视差搜索范围作为图像区域匹配的匹配范围，计算图像对之间的匹配像素点对；S4计算S3中匹配像素点对之间的视差信息，得到立体图像对稠密的视差信息。S5根据S4中获得的视差信息并结合摄相机的内外参数计算出深度信息，得到深度图。在步骤S1中，判断像素点是否为Shi-Tomasi特征点的方法为：设待匹配立体图像对的左右图像在点p处的灰度为I(x,y)，p点的坐标为(x,y)，以p点为中心建立一个n·n的窗口Ω，w(x,y)为窗口函数，将窗口平移[Δx,Δy]，则灰度变化E[Δx,Δy]为：对于微小的平移即Δx、Δy趋近于0，将I(x+Δx,y+Δy)进行泰勒展开并忽略二阶及以上项，带入式(1)，可得：其中，Ix、Iy分别表示图像灰度在x和y方向的偏导数，将(2)写成矩阵的形式有：其中M为2×2的矩阵：对于像素点p(x,y)，计算求得M的两个特征值为λ1、λ2，若M的两个特征值中较小的一个大于给定阈值，即λ1≥λ2且λ2≥k·λ2max，那么点p(x,y)为Shi-Tomasi特征点，其中λ2max是待匹配立体图像中的各像素点求取的两个特征值中所有较小特征值中的最大特征值，k为预设的一个系数。步骤S2中，区域匹配的视差搜索范围的估计方法为：1)将待匹配立体图像对的左图像作为基准图，依次选择特征点Pl作为候选点，利用Shi-Tomasi算法对Pl在待匹配立体图像对的右图像中寻找待匹配点Pi(i＝1,2,...,s)；2)当检测点Pl与Pi(i＝1,2,...,s)满足单调性、单一性以及外极线约束时，以两个特征点为中心分别建立7×7像素大小的邻域窗口，利用相关测度函数中的归一化互相关函数对窗口内的灰度值进行互相关计算，若(2m+1)为邻域窗口的长度，(2n+1)为邻域窗口的宽度，I(u,v)为左图像上像素点，d为视差，则归一化互相关函数公式为：其中3)比较候选点Pl与匹配点Pi(i＝1,2,...,s)的所有互相关计算结果，与特征点Pl具有最大互相关系数的右图像中的点即为与之相匹配的特征点Pr，若Pl与Pr相匹配，则表示为(Pl，Pr)；4)继续取左图像中的下一个候选点，重复步骤1)-3)，直到为左图像中的所有特征点都在右图像中为其找到了对应点，则组成一个由(Pl，Pr)为元素构成的匹配点集Set1；5)将左右两幅图像互换即将待匹配立体图像对的右图像作为基准图，对于右图像中的所有特征点，采用1)-4)相同的方法，为其在左图像中找到相应的匹配点，组成匹配点集Set2；6)综合比较两个匹配点集，对于Set1和Set2中都有的元素，认为它们是互相匹配的特征点对，对于只存在于Set1或者Set2中的元素，则将其抛弃；7)通过步骤1)-6)的计算，得到左右图像相互匹配的特征点对，并计算这些相互匹配特征点对的水平坐标之差的绝对值，得出特征点对之间的视差，取最大视差记为dmax，最小视差记为dmin，得到区域匹配的视差搜索范围为[dmax,dmin]。本专利技术中，步骤S3的方法为：选定左图像上的像素点Q(x,y)，以Q(x,y)点为中心选取一个子窗口作为参考窗口，窗口大小为7×7像素大小，在右图像上以和左图像中Q(x,y)点相同坐标的Q′(x,y)点建立同样大小的窗口作为目标窗口，以视差搜索空间[-dmax,-dmin]和[dmax,dmin]范围内的像素点为目标窗口中心点，移动目标窗口，用归一化互相关函数将参考窗口与目标窗口进行比较，相似性最大的两个窗口即为匹配窗口，两窗口中心的像素点即为相互匹配的像素点对。本专利技术中，步骤S4的方法为：在平行双目立体视觉模型中，左摄像机与右摄像机的参数一致，两摄像机光轴平行且垂直于基线，构成一共极结构，两摄像机拍摄的左图像和右图像只有水平视差，设b为基线即两个摄像机的投影中心连线距离，f为相机焦距。当两摄像机在同一时刻拍摄空间物体的同一特征点P(x,y,z)时，两摄像机分别获取到该特征点P(x,y,z)的图像，特征点P(x,y,z)在左图像和右图像上的图像坐标分别为p(xl,yl,zl),p(xr,yr,zr)，由三角几何关系有：又因为视差d为：d＝xl-xr(6)由式(5)和式(6)可以计算出特征点P在相机坐标系下的三维坐标为：由于特征点P的深度即为P点相对于摄像机的距离即P点到两摄像机投影中心连线的垂直距离，于是可以得到P点的深度值为式(7)中的Z；根据视差d，基线b和相机焦距f就可以求出深度值Z，把对应像素点的像素值用深度值Z表示，就能得到深度图。本文档来自技高网...

【技术保护点】
一种深度图快速生成方法，其特征在于，包括以下步骤：S1对待匹配立体图像对的左右图像分别进行Shi‑Tomasi特征提取，得到图像中的Shi‑Tomasi特征点；S2把S1中左图像和右图像获取的Shi‑Tomasi特征点进行双向匹配，得到相互匹配的特征点对，并求出匹配特征点对的最大视差和最小视差，估计出区域匹配的视差搜索范围；S3把归一化互相关函数作为区域匹配的相关测度函数，利用S2中求取的视差搜索范围作为图像区域匹配的匹配范围，计算图像对之间的匹配像素点对；S4计算S3中匹配像素点对之间的视差信息，得到立体图像对稠密的视差信息；S5根据S4中获得的视差信息并结合摄相机的内外参数计算出深度信息，得到深度图。

【技术特征摘要】
1.一种深度图快速生成方法，其特征在于，包括以下步骤：S1对待匹配立体图像对的左右图像分别进行Shi-Tomasi特征提取，得到图像中的Shi-Tomasi特征点；S2把S1中左图像和右图像获取的Shi-Tomasi特征点进行双向匹配，得到相互匹配的特征点对，并求出匹配特征点对的最大视差和最小视差，估计出区域匹配的视差搜索范围；S3把归一化互相关函数作为区域匹配的相关测度函数，利用S2中求取的视差搜索范围作为图像区域匹配的匹配范围，计算图像对之间的匹配像素点对；S4计算S3中匹配像素点对之间的视差信息，得到立体图像对稠密的视差信息；S5根据S4中获得的视差信息并结合摄相机的内外参数计算出深度信息，得到深度图。2.根据权利要求1所述的深度图快速生成方法，其特征在于，步骤S1中，判断像素点是否为Shi-Tomasi特征点的方法为：设待匹配立体图像对的左右图像在点p处的灰度为I(x,y)，p点的坐标为(x,y)，以p点为中心建立一个n·n的窗口Ω，w(x,y)为窗口函数，将窗口平移[Δx,Δy]，则灰度变化E[Δx,Δy]为：E[Δx,Δy]=Σ(x,y)∈Ωw(x,y)[I(x+Δx,y+Δy)-I(x,y)]2---(1)]]>对于微小的平移即Δx、Δy趋近于0，将I(x+Δx,y+Δy)进行泰勒展开并忽略二阶及以上项，带入式(1)，可得：E[Δx,Δy]=Δx2Σ(x,y)∈Ωw(x,y)Ix2+2ΔxΔyΣ(x,y)∈Ωw(x,y)IxIy+Δy2Σ(x,y)∈Ωw(x,y)Iy2---(2)]]>其中，Ix、Iy分别表示图像灰度在x和y方向的偏导数，将(2)写成矩阵的形式有：E(Δx,Δy)=[Δx,Δy]MΔxΔy---(3)]]>其中M为2×2的矩阵：M=Σ(x,y)∈Ωw(x,y)Ix2Σ(x,y)∈Ωw(x,y)IxIyΣ(x,y)∈Ωw(x,y)IxIyΣ(x,y)∈Ωw(x,y)Iy2---(4)]]>对于像素点p(x,y)，计算求得M的两个特征值为λ1、λ2，若M的两个特征值中较小的一个大于给定阈值，即λ1≥λ2且λ2≥k·λ2max，那么点p(x,y)为Shi-Tomasi特征点，其中λ2max是待匹配立体图像中的各像素点求取的两个特征值中所有较小特征值中的最大特征值，k为预设的一个系数。3.根据权利要求1或2所述的深度图快速生成方法，其特征在于，步骤S2中，区域匹配的视差搜索范围的估计方法为：1)将待匹配立体图像对的左图像作为基准图，依次选择特征点Pl作为候选点，利用Shi-Tomasi算法对Pl在待匹配立体图像对的右图像中寻找待匹配点Pi(i＝1,2,...,s)；2)当检测点Pl与Pi(i＝1,2,...,s)满足单调性、单一性以及外极线约束时，以两个特征点为中心分别建立7×7像素大小的邻域窗口，利用相关测度函数中的归一化互相关函数对窗口内的灰度值...

【专利技术属性】
技术研发人员：罗文峰，
申请(专利权)人：深圳市优象计算技术有限公司，
类型：发明
国别省市：广东;44