一种空间编码结构光三维扫描方法与系统技术方案

本发明专利技术提供一种空间编码结构光三维扫描方法与系统，包括设计单帧空间编码图案，含用于解码的解码点和用于加密的加密点；通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；根据解码点的投影仪列号推断加密点的投影仪列号；根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。本发明专利技术解决了传统空间编码结构光鲁棒性低、精度差、解码要求较大图像空间、可拓展性差等问题。

A 3D scanning method and system of space encoded structured light

【技术实现步骤摘要】
一种空间编码结构光三维扫描方法与系统
本专利技术涉及三维测量领域，尤其涉及一种空间编码结构光三维扫描方法与系统。
技术介绍
普通的影像建模中，光源是环境光或者白光这种没有经过编码的光源，图像识别完全取决于被拍摄物体本身的特征点，因此匹配一直是影像建模的一个难点。而结构光法的不同在于对投射光源进行了编码，拍摄的是被编码的光源投影到物体上被物体表面的深度调制过的图像，如图1所示。因为结构光光源带有很多的编码特征，可以很方便的进行特征点的匹配，即结构光法主动提供了很多特征点进行匹配，而不再需要使用被摄物体本身具有的特征点，因此可以提供更好的匹配结果。另外，由于普通的影像建模中拍摄物体多种多样，每一次影像匹配都面对不同的图像，需要重新提取特征点；而结构光法投影的是相同的图案，特征是固定的，不需要根据场景的变化而有变化，降低匹配的难度，提高了匹配的效率。结构光法中最重要的是对于编码的设计和识别，如图2所示，按照编码方式的不同，大致可以分为空间编码、时间编码、时空编码、多波长复合编码、直接编码和线结构光扫描六类。空间编码技术将编码信息隐藏在单帧投影图像空间中；时间编码技术将多个不同的编码图案按时序投射，将对应的编码图像序列组合起来进行解码；时空编码技术融合了时间编码方案和空间编码方案，通过时间编码技术解决编码容量问题，利用空间编码技术解决重建问题；多波长复合编码技术是一种在同一时间，不同波段上获取不同编码信息用于重建的技术；直接编码方法利用投射光线特性(比如颜色变化、灰度变化等)，直接为编码图案的每个像素设定一个码字；线结构光扫描技术往被测物体表面投射多道线激光，算法提取图像中线结构特征实现匹配和重建。相较于其他结构光法，空间编码方法由于单帧编解码的优势，因此更加适合用于动态与手持测量环境中。文献US7768656B2利用大小矩形码元编码，其沿列方向的矩形码元还具有直接连接关系，并采用特殊的投影仪和相机安装条件形成近似核线约束的行坐标差将大小矩形码元拓展为6种不同的码元类型，采用一维DeBruijn伪随机序列根据6种码元形成216列唯一的编码值，解码时需要利用相邻三列的码元进行解码；此种方法的缺点是对硬件安装条件有比较苛刻的要求，并且编码空间是不可拓展的。文献CN101627280B则采用斜对角正方形块，按照斜对角方式和角点正方形黑白颜色，采用2*3的行列编码方式，其优点是加入了符号校验，具有一定的可靠性保障，缺点是2元6阶的DeBruijn伪随机序列只有64列的编码空间，并且此种方法的编码空间是不可拓展的。文献CN103400366B采用粗细不同的线条来描述编码值，缺点是线条粗细容易受噪声、提取方法、物体表面深度调制等造成提取误差，得到错误的编码结果。文献CN104457607A采用对称沙漏形状，通过0°/45°/90°/135°旋转形成不同的码元，并采用3*3行列的特定顺序对连续9个码元进行编码，此方法实质是采用的M-Array阵列的编码方法，没有充分利用核线约束关系，编码容量很有限。文献WO2018219227A1采用图形编码的方式，通过在棋盘格图案的白色格子中用不同的图形来进行编码，其缺点是没有利用核线关系，是个二维编码方法，编码容量很有限；同时图形编码的方式特别容易受到噪声干扰，也不利于高精度匹配点的提取。文献CN109242957A则采用类似文献US7768656B2的编码原理和相同的基础码元，只是增加2*3的行列空间进行M-Array编码的额外约束。文献CN109540023A采用二值细线编码，通过四个对角线上的细线存在与否进行编码，缺点是码元太细，容易受噪声干扰；对角线上的细线不利于高精度中心提取；相邻码元之间的细线容易互相干扰。总之，目前已有的空间编码方法具有如下的缺点：1)编码图案容易被物体表面形状、颜色和材质破坏；2)重建需要较大的图像空间，几何细节恢复能力较弱；不管DeBruijn伪随机序列还是M-Array阵列都需要很大的图像空间以供稳定解码，因此对复杂物体的测量比较欠缺；3)编码的方式特别容易受到噪声干扰，甚至有些方法的码元之间存在相互干扰现象；4)编码只考虑解码图案的唯一性，忽视了图案设计对于高精度匹配点提取的影响；5)编码方式灵活性低，编码容量空间固定，不具有可拓展性。
技术实现思路
本专利技术针对传统空间编码结构光鲁棒性低、精度差、解码要求较大图像空间、可拓展性差等问题，提供一种空间编码结构光三维扫描方法，其过程包括以下步骤：S1，设计单帧空间编码图案，包括用于解码的解码点和用于加密的加密点；S2，通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；S3，相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；S4，利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；S5，构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；S6，根据解码点的投影仪列号推断加密点的投影仪列号；S7，根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。在以上技术方案的基础上，优选的S1具体包括以下步骤：S11，基本码元的设计。针对传统空间编码图案鲁棒性低、精度差、解码要求较大图像空间等缺点，本专利技术的解码点码元采用简单的圆点。假设单帧空间编码每个码元所占的投影仪图像空间为Grid大小，本专利技术里设Grid＝8像素，则码元间沿行和列方向的间距为Grid，记解码点码元在投影仪图像坐标上的半径为S12，邻近码元排列的设计。利用水平核线约束与码元邻域相对位移关系来进行编码。水平核线约束由相机和投影仪的安装来决定的，通过预先标定投影仪和相机的标定参数，将投影仪上每个编码点的投影仪影像坐标转化成投影仪的核线影像坐标，记此核线坐标的行坐标值为E值。码元邻域相对位移关系由相邻码元的错位像素来决定；以当前码元为中心，邻近码元相对当前码元上下错位的距离邻域码元在垂直方向上位于当前码元上方，则标记为-1；邻域码元在垂直方向上与当前码元平齐，则标记为0；邻域码元在垂直方向上位于当前码元下方，则标记为1；按照码元邻域相对位移关系，总共9种情况，将上下错位的情况记为D值；在生成空间编码图案时候，随机生成每个列的上下错位情况，对应的D值即确定，每列都保存此D值；记第i个投影仪的解码点为Mi(D(COL),E),0＜i＜m，其中m为投影仪解码点总个数，COL为投影仪解码点所在的列号，D(COL)为投影仪解码点所在COL列的D值，E为投影仪解码点的E值。S13，解码点和加密点的设计。设计比较小的圆点作为投影仪加密点，加密点圆点半径设为投影仪解码点的作用是用于后期处理的解码运算，判断此点所对应的列号信息；投影仪加密点则不参与后期处理的解码运算，其判断所属列号的方法是根据它上下邻域所对应的解码点信息来进行。在以上技术方案的基础上，优选的S2的实施方式为：将最终编码图案通过光刻得到，通过投影系统投射到物体表面；投射系统可以采用普通的LED白光，也可以采用特定波本文档来自技高网...

【技术保护点】
1.一种空间编码结构光三维扫描方法，其特征在于，空间编码结构光三维扫描方法包括以下步骤：/nS1，设计单帧空间编码图案，包括用于解码的解码点和用于加密的加密点；/nS2，通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；/nS3，相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；/nS4，利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；/nS5，构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；/nS6，根据解码点的投影仪列号推断加密点的投影仪列号；/nS7，根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。/n

【技术特征摘要】
1.一种空间编码结构光三维扫描方法，其特征在于，空间编码结构光三维扫描方法包括以下步骤：
S1，设计单帧空间编码图案，包括用于解码的解码点和用于加密的加密点；
S2，通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；
S3，相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；
S4，利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；
S5，构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；
S6，根据解码点的投影仪列号推断加密点的投影仪列号；
S7，根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。


2.一种空间编码结构光三维扫描方法，其特征在于，所述S1具体包括以下步骤：
S11，基本码元的设计；针对传统空间编码图案鲁棒性低、精度差、解码要求较大图像空间等缺点，本发明的解码点码元采用简单的圆点；假设单帧空间编码每个码元所占的投影仪图像空间为Grid大小，本发明里设Grid＝8像素，则码元间沿行和列方向的间距为Grid，记解码点码元在投影仪图像坐标上的半径为
S12，邻近码元排列的设计；利用水平核线约束与码元邻域相对位移关系来进行编码；水平核线约束由相机和投影仪的安装来决定的，通过预先标定的投影仪和相机的标定参数，将投影仪上每个编码点的投影仪影像坐标转化成投影仪的核线影像坐标，记此核线坐标的行坐标值为E值；码元邻域相对位移关系由相邻码元的错位像素来决定；以当前码元为中心，邻近码元相对当前码元上下错位的距离邻域码元在垂直方向上位于当前码元上方，则标记为-1；邻域码元在垂直方向上与当前码元平齐，则标记为0；邻域码元在垂直方向上位于当前码元下方，则标记为1；按照码元邻域相对位移关系，具有9种情况，将上下错位的情况记为D值；在生成空间编码图案时，随机生成每个列的上下错位情况，对应的D值即确定，每列都保存此D值；记第i个投影仪的解码点为Mi(D(COL),E),0＜i＜m，其中m为投影仪解码点总个数，COL为投影仪解码点所在的列号，D(COL)为投影仪解码点所在COL列的D值，E为投影仪解码点的E值；
S13，解码点和加密点的设计；设计相对解码点较小的圆点作为投影仪加密点，加密点圆点半径设为投影仪解码点的作用是用于后期处理的解码运算，判断此点所对应的列号信息；投影仪加密点则不参与后期处理的解码运算。


3.一种空间编码结构光三维扫描方法，其特征在于，所述S2的实施方式为：将最终编码图案光刻得到，通过投影系统投射到物体表面；投影系统可以采用普通的LED白光，也可以采用特定波段的光源，以减少背景光对投影图案采集的影响。


4.一种空间编码结构光三维扫描方法，其特征在于，所述S3的实施方式如下：
S31，相机从不同角度拍摄经过物体调制后的空间编码图案I；
S32，解码点粗提取；采用窗口大小的中心圆点卷积模板，对I影像进行卷积操作得到卷积影像C，采用Grid×2Grid窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像解码点；假设检测到的影像解码点个数为s，记录影像解码点的整像素坐标Si(x,y),0≤i≤s，其中(x,y)为整像素坐标值；
S33，解码点精提取；采用高斯椭圆拟合方法对影像解码点的整像素坐标进行坐标精提取，得到影像解码点亚像素坐标(u,v)，则此时记影像解码点为Si(x,y,u,v),0≤i≤s；
S34，加密点粗提取；针对影像解码点Si(x,y,u,v)，在影像矩形范围内，按照窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像加密点；假设检测到的影像加密点个数为t，记录影像加密点的整像素坐标Ti(x,y),0≤i≤t，其中(x,y)为整像素坐标值；
S35，加密点精提取；采用高斯椭圆拟合方法对影像加密点的整像素坐标进行坐标精提取，得到影像加密点亚像素坐标(u,v)，则此时记影像加密点为Ti(x,y,u,v),0≤i≤t。


5.一种空间编码结构光三维扫描方法，其特征在于，所述S4的实施方式如下：
S41，利用水平核线约束关系确定解码点的候选投影仪列号；根据投影仪和相机的标定参数，将影像解码点Si(x,y,u,v)的...

【专利技术属性】
技术研发人员：黄文超，龚静，刘改，
申请(专利权)人：武汉玄景科技有限公司，
类型：发明
国别省市：湖北;42