一种结构光三维成像系统的景深扩展方法、装置和系统制造方法及图纸

本发明专利技术提供一种结构光三维成像系统的景深扩展方法、装置及系统，所述方法包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图；根据全局粗糙深度图将各局部精细深度图进行融合，获取目标场景的全局精细深度图。本发明专利技术实现大景深场景下的三维成像，方法简单，计算效率高，提高了三维成像的精度。

A Depth-of-Field Expansion Method, Device and System for Structured Light Three-Dimensional Imaging System

The invention provides a depth-of-field expansion method, device and system of a structured light three-dimensional imaging system. The method includes: acquiring structured light image sequences corresponding to each focus position in a plurality of focus positions of a target scene respectively; acquiring local parts of each structured light image sequence by using a local fine depth estimation algorithm of Gray code. Fine depth maps, using the global rough depth estimation algorithm based on the maximum flow method, obtain the global rough depth maps of all structured light image sequences, and fuse the local fine depth maps according to the global rough depth maps to obtain the global fine depth maps of the target scene. The invention realizes three-dimensional imaging in large depth-of-field scene, has simple method, high calculation efficiency, and improves the accuracy of three-dimensional imaging.

【技术实现步骤摘要】
一种结构光三维成像系统的景深扩展方法、装置和系统
本专利技术属于三维成像
，更具体地，涉及一种结构光三维成像系统的景深扩展方法、装置及系统。
技术介绍
随着计算机视觉技术的蓬勃发展，三维成像在人机交互、先进制造、自动驾驶和智能机器人等不同领域扮演着越来越重要的角色。其中，结构光三维成像技术凭借其高精度、低成本的优点脱颖而出，成为当前三维成像技术的研究热点。根据所投射编码图案的不同，现有的结构光三维成像系统可以分为空间复用编码与时间复用编码两种。空间复用编码法通常利用空间领域内编码点的位置分布、光照强度或颜色变化等特性来生成指定编码图案，常见的空间复用编码法包括随机散斑、德布鲁因序列等。该方法在计算深度时，首先对采集到的结构光图案和理想的投射图案进行空间匹配来获取视差值，再通过预先标定的几何参数进行转换得到深度值。这种方法需要的编码图案数量较少，可以实现高速实时的三维成像，然而由于编码信息较为稀疏，导致这类方法的成像分辨率和精度均较低。时间复用编码法通常投射一系列的编码图案，常用的编码方法包括格雷码法、N值编码、相移法等。这类方法由于需要投射和采集多幅图案，导致重建速度较慢，不适合对高速动态目标的重建，但由于解码时空间内每一点相互独立，解码值只取决于时间序列上的变化值，不存在时间复用编码方法的空间匹配过程，因而重建精度和分辨率均较高，通常可达到亚毫米甚至微米级。随着当前结构光照明设备以及高速成像装置的迅速发展，时间复用编码法的采集速度越来越快，基于时间复用编码法的实时高精度三维重建方法得到了越来越多的关注。但是，在当前的结构光三维成像系统中，无论是时间复用编码法还是空间复用编码法，这些系统均基于经典的光学照明和成像模型，即认为照明和成像镜头的景深无限，并未考虑当镜头的景深小于所重建场景的纵深范围时出现照明或者成像失焦模糊，从而导致最终重建精度严重下降以及覆盖范围变窄的问题。
技术实现思路
为克服上述现有的三维成像系统在镜头的景深小于所重建场景的纵深范围时重建精度低，覆盖范围窄的问题或者至少部分地解决上述问题，本专利技术提供一种结构光三维成像系统的景深扩展方法、装置及系统。根据本专利技术的第一方面，提供一种结构光三维成像系统的景深扩展方法，包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。根据本专利技术第二方面提供一种结构光三维成像系统的景深扩展装置，包括：获取模块，用于分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；计算模块，用于使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；融合模块，用于根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。根据本专利技术的第三方面，提供一种结构光三维成像系统的景深扩展装置，包括：相机、微振镜投影系统和同步控制器；其中，所述相机包括液体镜头，所述相机用于在目标场景的各聚焦位置进行对焦，以对所述目标场景进行拍摄；所述微振镜投影系统用于对各所述聚焦位置进行投影；所述同步控制器用于对应于目标场景中的各聚焦位置，输出所述液体镜头的对焦信号后，输出所述微振镜投影系统的投影和所述相机的触发信号，以根据所述对焦信号、所述投影和所述触发信号进行照明和成像，生成各所述聚焦位置对应的结构光图像序列。根据本专利技术的第四方面，提供一种结构光三维成像系统的景深扩展系统，包括上述所述的两种装置。根据本专利技术的第五方面，提供一种电子设备，包括：至少一个处理器、至少一个存储器和总线；其中，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行如前的方法。根据本专利技术的第六方面，提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行如前的方法。本专利技术提供一种结构光三维成像系统的景深扩展方法、装置及系统，该方法通过分别获取多个聚焦位置下目标场景的结构光图像序列，使用格雷码的局部精细深度估计算法获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法获取所有结构光图像序列的全局粗糙深度图，根据全局粗糙深度图中包含的深度分布信息对各聚焦位置下的局部精细深度图进行融合，从而实现大景深场景下的三维成像，方法简单，计算效率高，提高了三维成像的精度。附图说明图1为本专利技术实施例提供的结构光三维成像系统的景深扩展方法整体流程示意图；图2为本专利技术实施例提供的结构光三维成像系统的景深扩展方法中根据全局粗糙深度图将各局部精细深度图进行融合的流程示意图；图3为本专利技术实施例提供的结构光三维成像系统的景深扩展装置整体结构示意图；图4为本专利技术另一实施例提供的结构光三维成像系统的景深扩展装置整体结构示意图；图5为本专利技术另一实施例提供的结构光三维成像系统的景深扩展系统中使用各装置对目标场景进行景深扩展的整体流程示意图；图6为本专利技术实施例提供的电子设备整体结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。在本专利技术的一个实施例中提供一种结构光三维成像系统的景深扩展方法，图1为本专利技术实施例提供的结构光三维成像系统的景深扩展方法整体流程示意图，该方法包括：S101，分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；其中，目标场景为需要进行三维成像的场景。结构光图像序列为在不同时刻拍摄的多种结构光图像的组合。对于任一聚焦位置，在该聚焦位置处进行聚焦，生成该聚焦位置对应的结构光图像序列P1、P2，…PN。S102，使用格雷码的局部精细深度估计算法，获取各结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有结构光图像序列的全局粗糙深度图；对于任一结构光图像序列，使用格雷码的局部精细深度估计算法对该结构光图像序列进行处理，获取该结构光图像序列的局部精细深度图。即每个结构光图像序列对应有一张局部精细深度图。对结构光图像序列P1、P2，…PN使用格雷码的局部精细深度估计算法进行计算，得到的局部精细深度图依次为LFD1、LFD2，…LFDN。具体对于任一结构光图像序列，将该结构光图像序列中不同时刻采集的M张结构光图像按照低比特到高比特的顺序进行排序后，使用格雷码解码方法在清晰对焦位置得到精确的深度图，在模糊对焦位置得到粗糙的深度图。将精确的深度图和粗糙的深度图进行合成，获取该结构光序列的局部精细深度图。由于场景纵深远远超过镜头景深，每一张局部精细深度图只覆盖镜头对焦范围内的重建结果，同时在远离聚焦位置的地方重建精度严重下降。使用基于最大流方法的全局粗糙深度估计算法，对所有聚焦位置对应的结构光图像序列进行处理，获取一张全局粗糙深度图GCD。全局粗糙深度图包含目标场景的大致深度分布信息。S103，根据全局本文档来自技高网...

【技术保护点】
1.一种结构光三维成像系统的景深扩展方法，其特征在于，包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。

【技术特征摘要】
1.一种结构光三维成像系统的景深扩展方法，其特征在于，包括：分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图；根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图。2.根据权利要求1所述的方法，其特征在于，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像序列的全局粗糙深度图的步骤具体包括：分别从各所述聚焦位置对应的结构光图像序列中筛选出结构光条纹；根据各所述聚焦位置对应的结构光条纹构成聚焦栈，根据所述聚焦栈获取所述全局粗糙深度图；其中，所述全局粗糙深度图中的深度值为所述聚焦位置。3.根据权利要求2所述的方法，其特征在于，根据所述全局粗糙深度图将各所述局部精细深度图进行融合，获取所述目标场景的全局精细深度图的步骤具体包括：根据所述全局粗糙深度图中的深度值，获取各所述深度值对应的局部精细深度图；根据各所述局部精细深度图对应的深度值在所述全局粗糙深度图中的位置，对各所述局部精细深度图进行裁剪；将裁剪后的各所述局部精细深度图进行合成，获取所述目标场景的全局精细深度图。4.一种结构光三维成像系统的景深扩展装置，其特征在于，包括：获取模块，用于分别获取目标场景的多个聚焦位置中各聚焦位置对应的结构光图像序列；计算模块，用于使用格雷码的局部精细深度估计算法，获取各所述结构光图像序列的局部精细深度图，使用基于最大流方法的全局粗糙深度估计算法，获取所有所述结构光图像...

【专利技术属性】
技术研发人员：王贵锦，户孝围，杨华中，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11