基于编码网格模板的结构光动态场景深度获取方法技术

本发明专利技术公开了一种基于编码网格模板的结构光动态场景深度获取方法，主要解决现有技术测量深度精度低，测量效果易受测量场景影响的问题。其实现步骤为：设计由2元3次De Bruijn序列编码的二值网格模板；通过二值网格模板分别获取参考平面图和变形网格图像；分别对变形网格图像和参考平面图进行线提取操作，得到网格图像的折线图与竖线图和参考平面图的折线图与竖线图；分别对变形网格图像和参考平面图的竖线图进行解码，得到对应的竖线序号；根据竖线序号，得到变形网格图像上的像素点在参考平面图中的匹配点；根据三角测距原理，计算竖线中每一点的深度值。本发明专利技术的测量精度高，且对复杂场景的鲁棒性好，可用于动态三维场景的测量。

【技术实现步骤摘要】

本专利技术属于图像处理
，特别涉及结构光动态场景深度的获取方法，可用 于三维重建或目标识别。
技术介绍
随着计算机视觉和工业水平的发展，传统的二维图像已不能满足人们生产生活的 需求。深度信息，反映了物体表面的三维信息，大大提高了人们认识和理解真实世界物体的 复杂性的能力。深度信息在医学领域、文物重建、自动导航、人机交互等领域，均有广泛应 用。如何能够从场景中快速、高效的获取三维场景中的深度信息已经成为当前研究的热点。 根据深度获取过程中是否需要对被测物体进行接触式测量，可以把深度获取方法 分为接触式测量和非接触式测量两大类。 接触式测量，是通过接触物体表面测量其深度，所得深度数据精确性高，但接触式 深度获取过程繁琐，只能获得少数点的深度信息，分辨率低，对硬件设备要求较高，应用范 围有限，且直接接触物体表面会对物体产生一定的损害。 非接触式测量，不需要接触物体表面就能获取目标物体的深度信息，如激光雷达、 光学成像测量等方法。由于非接触式测量具有测量速度快，采样点分辨率高等优点，目前已 成为获取深度信息的一个重要方法。 在非接触式测量方法中根据测量过程中是否需要投射出探测信号，又可分为被动 测量法深度获取和主动测量法深度获取两大类。被动测量法深度获取仅由环境光提供照 明，不添加额外的光源，通过测量目标物体表面反射的辐射波来进行深度测量。常见的被动 式测量方法有双目立体视觉法、离焦法和阴影法等方法。其中应用比较广泛的双目立体视 觉法是通过模拟生物的视觉方式，获得物体不同角度的二维图像，在多幅图像中提取相应 特征点进行匹配，已知成像设备之间的相对空间位置关系和焦距等内部参数的条件下，根 据视差和三角测量原理计算深度数据。虽然被动式测量方法操作简便，容易实现，不需要额 外光源，但对于无明显特征的物体，特征点不易提取，计算量大，图像匹配问题尚未得到很 好的解决，匹配精度低，继而难以获得高精确的深度测量结果。 主动式深度获取在场景中额外添加可控光源对物体进行照明，并在物体表面发生 形变，对形变信息进行处理可得到物体表面的深度数据。主动式测量方法主要有激光扫描 法、飞行时间法和结构光法等。 激光扫描法，是激光技术的应用之一，运用激光测距原理，实现待测目标的深度测 量。激光扫描法对物体逐点扫描，获得的深度数据具有较高的精度，但是激光测量法所用的 设备价格昂贵，同时也耗费较长的时间，不能实时获取数据，因此只适用于静态场景的深度 获取。 飞行时间法，其原理是通过计算接收到的光波的延时实现场景深度的求取。该方 法原理简单，测量速度快，但为避免激光脉冲之间的干扰，采样点分布稀疏，得到的深度图 分辨率和精度较低。 结构光法，其原理是利用投射设备将具有一定规律的结构光模板投射到被测目标 表面，然后利用图像采集设备采集经过目标物体表面调制后的图像，利用三角测距原理以 及图形处理技术计算出物体表面的深度数据信息。结构光法具有实现简单、测量速度快、精 度高等特点，该方法目前已得到广泛应用。 根据结构光模板的编码方式，结构光法可分为基于时间编码和基于空间编码两种 方法。基于时间编码方式需要向测量物体投射多帧不同的编码模板，图像采集设备相应地 采集经过物体调制后的多帧编码图像。通过对获得的编码图像序列进行解码，得到被测物 体的深度信息。基于时间编码方式编码解码原理简单，易于实现，采样密度大，所得深度数 据精度高，但由于需要投射多幅编码模板，获取时间较长，实时性较差，因此不适用于动态 场景。 基于空间编码方式，基于空间编码的方法将所有的编码信息压缩到一幅图中，因 而只需投射一幅编码图案即可获得三维数据，适用于动态场景的检测。因为只需投射一幅 编码模板，因此数据采集时间较短，实时性较好，可用于动态场景，但空间复杂度大，解码困 难，测量误差较大。同时，空间编码方式易受物体表面反射率不一致及表面颜色不一致等问 题的影响。
技术实现思路
本专利技术的目的在于针对已有技术的不足，提出一种基于编码网格模板的结构光动 态场景深度获取方法，在不增加设备复杂性以及计算复杂性的情况下，减小测量误差，提高 动态场景深度值的测量精度。 为实现上述目的，本专利技术的技术方案包括如下步骤： (1)设计由2元3次DeBruijn序列编码的二值网格模板P; (2)将二值网格模板P先投射到深度为D。的参考平面F上，获得参考平面图R;再 投射到三维场景中，获得变形网格图像U; (3)分别对变形网格图像U和参考平面图R进行线提取操作，分别得到变形网格图 像U的折线图IHU、竖线图IVU、所有网格交点IU的坐标（xu，yu)，和参考平面图R的折线图 IHR、竖线图IVR; (4)根据变形网格图像的折线图IHU，得到其竖线图IVU中每一条竖线VU的De Bruijn序列编码及解码序号NU;根据参考平面图的折线图IHR中的码值，得到其竖线图 IVR中每一条竖线VR的DeBruijn序列编码及解码序号NR; (5)根据变形网格图像U中竖线VU的序号，查找该竖线VU上像素点G在参考平面 图R中对应的匹配点M; (6)根据像素点G和匹配点M的坐标，利用三角测距原理，计算出像素点G的深度 值D0 本专利技术与现有技术相比具有以下优点： 第一，本专利技术采用二值网格模板，可以降低环境光的干扰，减少场景中物体表面不 同反射率对图像的影响，具有较强的鲁棒性。 第二，本专利技术模板只有黑白两种颜色，不受场景中颜色信息的影响，对于彩色场景 可以获得高精度的深度测量结果。 第三，本专利技术采用DeBruijn序列编解码方式，降低了计算复杂度，提高了动态复 杂场景的深度测量精度。【附图说明】 图1为本专利技术的实现流程图； 图2为本专利技术中的二值网格模板图； 图3为本专利技术使用的深度测量系统示意图； 图4为本专利技术中线提取使用的结构单元图； 图5为本专利技术中的三角测距原理图。【具体实施方式】 本专利技术是对现有结构光法空间编码方式的动态场景深度获取方法进行改进，以在 不增加设备复杂性以及计算复杂度的情况下，提高获取动态场景深度的鲁棒性，提高了所 获取深度的精度。 参照图1，本专利技术的实现步骤如下： 步骤1，设计由2元3次DeBruijn序列编码的二值网格模板P。 (Ia)设计间隔为10像素，线宽为1像素的等间隔竖直线和等间隔水平线； (Ib)用竖直线和水平线构成10*10的图像单元，定义图像单元的主对角线方向的 折线段编码为1，副对角线方向的折线段编码为〇,并沿水平方向对每个图像单元按照2元3 次DeBruijn序列的规律进行编码，即按00010111规律添加对应的折线段，即构成二值网 格模板P，如图2所示。 所述2元3次DeBruijn序列，是按00010111为周期循环编码的一种编码方式， 该编码可以按顺序循环生成8个3位二进制序列000, 001，010, 101,011，111，110, 100,且一 个编码周期内生成的3位二进制序列是唯一的，不会出现重复编码。 步骤2,根据二值网格模板P获取参考平面图R和变形网格图像U。 参照图3,本步骤的具体实现如下： (2a)将投影仪T与摄像机C水平放置，并使两者光轴平行，将设计好的网格模板P 经投影仪T投射到深度为D。的参考平面F上，用摄像机C记录，获得参考平面图R;本文档来自技高网...

【技术保护点】
一种基于编码网格模板的结构光动态场景深度获取方法，包括：(1)设计由2元3次De Bruijn序列编码的二值网格模板P；(2)将二值网格模板P先投射到深度为D0的参考平面F上，获得参考平面图R；再投射到三维场景中，获得变形网格图像U；(3)分别对变形网格图像U和参考平面图R进行线提取操作，分别得到变形网格图像U的折线图IHU、竖线图IVU、所有网格交点IU的坐标(xu,yu)，和参考平面图R的折线图IHR、竖线图IVR；(4)根据变形网格图像的折线图IHU，得到其竖线图IVU中每一条竖线VU的De Bruijn序列编码及解码序号NU；根据参考平面图的折线图IHR中的码值，得到其竖线图IVR中每一条竖线VR的De Bruijn序列编码及解码序号NR；(5)根据变形网格图像U中竖线VU的序号，查找该竖线VU上像素点G在参考平面图R中对应的匹配点M；(6)根据像素点G和匹配点M的坐标，利用三角测距原理，计算出像素点G的深度值D。

【技术特征摘要】

【专利技术属性】
技术研发人员：李甫，张少飞，石光明，李若岱，杨莉莉，欧阳高询，高哲峰，窦平方，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61