一种针对结构光成像的多径干扰的解扰方法技术

本发明专利技术公开了一种针对结构光成像的多径干扰的解扰方法，本发明专利技术基于传统的相位轮廓测量术，提出了一种低成本且实用性强的方法，通过参考物理学中的驻波理论，巧妙应用了正弦波的相干干涉和相消干涉这样一个有趣线索来实现两条光路的分离，完成两次分离的深度测量，且不需要对硬件系统做任何改动，也不需要定制任何特殊的投影图案，所以该方法可以很容易的嵌入到现有的结构光系统中去。

A Novel Decomposition Method for Multipath Interference in Structured Light Imaging

【技术实现步骤摘要】
一种针对结构光成像的多径干扰的解扰方法
本专利技术属于计算机图像处理领域，具体涉及一种针对结构光成像的多径干扰的解扰方法。
技术介绍
结构光成像属于主动式的三维扫描成像技术，该技术需要投影仪投射一组条纹图案到目标物体上，并利用相机拍摄物体表面产生形变的投影图案。基于这种设计，相机感光阵列中的每个像素在视野范围内只应看到投影机投射出的图案中的一个像素点；然而，也会有例外发生，比如被扫描物体表面具有复杂的几何形状，像阶梯状的边缘这种在深度上具有不连续性的区域，或者物体具有能大量反射来自投影仪的光线类似镜面这样高反射系数的表面，这些情形会导致多径干扰的出现，究其原因是相机感光面上的某像素接收到来自投影仪投影图案上的多个位置发出的光线。而其中的双峰或双模多径干扰指的是，相机感光面上的某像素接收到来自投影仪上的两个位置的光线，例如在物体的阶梯形边缘处，相机上的某些像素可以同时看到阶梯形边缘的两侧，这里称两侧的像素分别为前景像素和背景像素。这种存在于结构光系统中的，除了从投影仪到待测物体再到相机的主光路以外干扰光路所构成的多径干扰，会给最终的重建结果带来严重的误差和畸变。通过对国内外相关技术的调研，可以发现该问题仍未得到很好解决。基于结构光的三维扫描成像技术，通过将一系列条纹图案投影到目标场景上，并利用相机拍摄的图像来计算目标物体的三维信息。通过计算，采集图片上的每一个像素点都能对应到投影图案上的某一个行。相移键控通常被认为是最简单的结构光测量术之一，其对应的投影图案集合可以表示为：其中xp,yp分别是投影图案中像素的列坐标和行坐标，是投影图案中对应像素的强度，其动态范围为0到1，n表示在总数为N的图案中的相移指数。对于三维重建而言，相机所拍摄到的图像，是投影出的正弦条纹图案在被扫描的物体表面发生形变后的图像，可以表示为：其中xc,yc分别是像素在相机图像坐标系中的列坐标和行坐标，而是该像素的强度。Ac是整个投影图案集合中的平均像素强度值，表征的是环境光的成分，可根据以下式子导出：相应地，Bc表示给定像素的调制强度，根据构造出实部和虚部，通过如下公式导出Bc：其中，公式(6)表示观测到的正弦条纹的振幅。如果是一个常量或受投影正弦条纹图案影响较小的量，Bc的值将会接近于零。因此可以通过噪声检测器或是滤波器将Bc值较小的区域在进入后续的进一步处理之前滤除。对于那些Bc足够大的像素，θ表示在采集到的正弦条纹图案中的像素点对应的相位，可由下式得到：其中j是表征虚部的符号，通过它可以进一步求得投影图案上的行坐标θ＝2πyp。为了应对如热噪声等来自投影仪和摄像机的干扰，通常需要在式(2)中引入更高的空间频率：其中K是投影图像中包含的正弦条纹的数量。如果仅使用高频的扫描图案，在θ的求解过程中会面临取值任意性的问题，这个问题可以通过引入低频率的扫描图案来解决。例如，可以选用K＝1，K＝4和K＝16进行三次单独的扫描，使用K＝1的扫描来解缠K＝4扫描的相位，然后使用当前生成的结果再来解缠K＝16扫描的相位。这种方案引入的噪声量级是K＝1扫描方法的1/16，其中
技术实现思路
针对现有技术的不足，本专利技术提供了一种针对结构光成像的多径干扰的解扰方法，包括如下步骤：步骤1，生成投影图案集合并进行投影；步骤2，获取被扫描的物体表面发生形变后的投影图案；步骤3，对两条混叠光路进行分离，完成两次分离的深度测量。步骤1中，所述投影图案集合表示为其中，其中xp,yp分别是投影图案中像素的列坐标和行坐标；是投影图案中对应像素的强度，其动态范围为0到1；n表示在总数为N的图案中的相移指数。步骤2中，所述投影出的正弦条纹图案在被扫描的物体表面发生形变后的图像表示为：其中xc,yc分别是像素在相机图像坐标系中的列坐标和行坐标，而是该像素的强度；Ac是整个投影图案集合中的平均像素强度值，Bc表示给定像素的调制强度，θ表示在采集到的正弦条纹图案中的像素点对应的相位。根据构造出实部和虚部通过如下公式导出Bc：公式(6)表示观测到的正弦条纹的振幅。通过如下公式计算θ：其中j是表征虚部的符号，通过θ能够求得投影图案上的行坐标，即：θ＝2πyp。步骤3包括：步骤3-1，通过添加上标f和b来区分和上的前景和背景成分，对公式(4)和(5)分别简化后得到公式(9)和(10)：其中，和分别表示的前景成分和背景成分，和分别表示的前景成分和背景成分，步骤3-2，根据前景矢量和背景矢量来合成相机成像阵列上存在多径干扰的像素的可观测矢量的振幅和相位：其中ya和yb是形成双峰干扰的两条光路分别对应到原始投影图案上的行坐标，表示两条光路在投影图案上的相位差，K表示频率缩放因子；步骤3-3，建立优化任务，任务的目标是从观测矢量中分离出待求解的矢量和对所述优化任务进行求解，其中将矢量表示成模和相位角的形式，i是表示相位角的符号。步骤3-3包括：采用四层循环，分别对四个变量在各自对应搜索空间内循环搜索，寻找满足如下优化目标的最优解：其中分别表示解出的最优值，λ是权重参数。步骤3-3包括：步骤3-3-1，第一阶段：通过如下公式解出和其中，dy表示两条光路在投影图案上的相位差，和dy在满足优化目标下的最优解分别表示为步骤3-3-2，第二阶段：以第一阶段解出的和dy为约束，通过最小化下式表示的均方误差来获得绝对相位和使得且和在满足优化目标下的最优解分别表示为步骤3-3-1中，引入一个新的零频率扫描图案，将在K＝0时获得具有最大模值的表示为此时能取得所有频率下的最大值，得到如下公式：从而得到如下约束关系：此时沿着的方向在K的所有扫描值上搜索满足(11)式中的均方误差最小的位置，实现对和相位差的穷尽式搜索，得到和dy三个参数的最优解。步骤3-3-2中，对投影图案的相位和值做一次穷尽式搜索，对在0到2π的范围内搜索，同时将定义成通过一层for循环实现穷尽式搜索，在这层for循环内部，对和进行搜索，并结合第一阶段求解出的最优幅度值和来计算(13)式的均方误差。提出在结构光扫描仪校准阶段在各扫描频率下计算投影图案上各像素均值的方法，来应对结构光成像系统中受组件光学器件的低通滤波效应的影响，不同空间频率图案的衰减程度不同的问题，以利于观察双峰多径传输下观测信号的振幅随着投影图案空间频率变化形成的非平坦响应。本专利技术基于传统的相位轮廓测量术，提出了一种低成本且实用性强的方法，通过参考物理学中的驻波理论，巧妙应用了正弦波的相干干涉和相消干涉这样一个有趣线索来实现两条光路的分离，完成两次分离的深度测量，且不需要对硬件系统做任何改动，也不需要定制任何特殊的投影图案，所以该方法可以很容易的嵌入到现有的结构光系统中去。这里将主要关注点放在双峰多径干扰上，也是基于其重要性的考虑，在基于相移结构光的扫描重建的系统中如果待扫描物体存在阶梯形边缘，就会导致相机传感器上某些像素同时接收到一部分来自上边缘和一部分来自下边缘的光线，从而形成的双峰多径干扰是无法避免的。除此以外，本专利技术还解决了结构光成像中特有的一个问题，即受光学镜头低通滤波效应的制约，高空间频率图案在通过光学模组后在信号幅度上的衰减比低空间频率图案更大。在传统的基于结构光成像的相关研究工作中，这一问题很大程度上被忽略了，因为最后求解的相位是由高频率图案决定的，而较低本文档来自技高网...

【技术保护点】
1.一种针对结构光成像的多径干扰的解扰方法，其特征在于，包括如下步骤：步骤1，生成投影图案集合并进行投影；步骤2，获取被扫描的物体表面发生形变后的投影图案；步骤3，对两条混叠光路进行分离，完成两次分离的深度测量。

【技术特征摘要】
1.一种针对结构光成像的多径干扰的解扰方法，其特征在于，包括如下步骤：步骤1，生成投影图案集合并进行投影；步骤2，获取被扫描的物体表面发生形变后的投影图案；步骤3，对两条混叠光路进行分离，完成两次分离的深度测量。2.根据权利要求1所述的方法，其特征在于，步骤1中，所述投影图案集合表示为其中，其中xp，yp分别是投影图案中像素的列坐标和行坐标；是投影图案中对应像素的强度，其动态范围为0到1；n表示在总数为N的图案中的相移指数。3.根据权利要求2所述的方法，其特征在于，步骤2中，所述投影出的正弦条纹图案在被扫描的物体表面发生形变后的图像表示为：其中xc，yc分别是像素在相机图像坐标系中的列坐标和行坐标，而是该像素的强度；Ac是整个投影图案集合中的平均像素强度值，Bc表示给定像素的调制强度，θ表示在采集到的正弦条纹图案中的像素点对应的相位。4.根据权利要求3所述的方法，其特征在于，根据构造出实部和虚部通过如下公式导出Bc：公式(6)表示观测到的正弦条纹的振幅。5.根据权利要求4所述的方法，其特征在于，通过如下公式计算θ：其中j是表征虚部的符号，通过θ能够求得投影图案上的行坐标，即：θ＝2πyp。6.根据权利要求5所述的方法，其特征在于，步骤3包括：步骤3-1，通过添加上标f和b来区分和上的前景和背景成分，对公式(4)和(5)分别简化后得到公式(9)和(10)：其中，和分别表示的前景成分和背景成分，和分别表示的前景成分和背景成分，步骤3-2，根据前景矢量和背景矢量来合成相机成像阵列上存在多径干扰的像素的可观测矢量的振幅和相位：其中ya和yb是形成...

【专利技术属性】
技术研发人员：张羽，
申请(专利权)人：张羽，
类型：发明
国别省市：江苏,32