一种高适应性的彩色物体三维重建方法技术

本发明专利技术涉及一种高适应性的彩色物体三维重建方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪3与计算机1进行连接；利用计算机生成一幅彩色编码结构光图案，并进行多源时序化分层处理，接着对多源时序化分层图案进行解码处理，组合得到调制的单幅彩色编码结构光图案，接着利用条纹匹配方法实现对编码特征点的匹配，最后利用三角测量方法实现编码特征点的三维深度信息值解算。实现类似单幅彩色编码结构光实现过程，而且在一定程度上减少了投影仪投射的编码图案数量。

A Highly Adaptive Three-Dimensional Reconstruction Method for Color Objects

The invention relates to a high-adaptability three-dimensional reconstruction method for color objects, which is characterized by: the camera and projector are fixed on a tripod bracket, the camera and the computer are connected by cables, the projector 3 and the computer 1 are connected by cables, and a color-coded structured light pattern is generated by computers and is processed side by side. After multi-source sequential hierarchical processing, the multi-source sequential hierarchical pattern is decoded and combined to obtain a modulated single color coded structured light pattern. Then the matching of coding feature points is realized by fringe matching method. Finally, the three-dimensional depth information value of coding feature points is calculated by triangulation method. Similar to the single color encoding structured light implementation process, the number of encoding patterns projected by projectors is reduced to a certain extent.

【技术实现步骤摘要】
一种高适应性的彩色物体三维重建方法
本专利技术涉及一种高适应性的彩色物体三维重建方法，属于计算机视觉

技术介绍
结构光三维重建方法是一种利用投影仪和相机实现的主动式三维测量技术，其通过投影仪投射事先设计的编码图案到待测物体表面上，由于待测物体表面几何拓扑结构对投影仪投射的图案产生调制变形，此时利用相机对调制图案进行采集，再结合相应的解码方法以及系统参数，即可确定待测物体表面上的点在空间中的深度信息值。通过结构光三维重建技术能够对物体进行高精度重建、无接触测量，其已经成为目前的三维自由曲面测量的重要方法之一。目前随着虚拟现实技术的快速发展，结构光三维重建技术为3D打印、体感交互设备、三维影视模型构造等许多行业都提供了技术支持。随着三维重建技术的快速发展，国内外研究学者针对结构三维重建技术进行了一系列研究，其中Inokuchi等人考虑到格雷码凭借着发射特性使得相邻码字在解码过程中出错率低，为此提出了通过将二值编码方法结合格雷码方法进行编码图案设计；随后，Caspi等人对其方法进行了相应改进，提出了多值格雷码方法，虽然其在一定程度上减少了投射编码图案的数量，但是编码图案相对而言还是较多；为此Boyer等人提出了一种利用黑色条纹对三原色条纹(红色条纹、绿色条纹、蓝色条纹)的组合编码图案进行隔离，从而实现具有单幅编码图案，虽然该方法能够快速重建待测物体，但是却存在着解码过程复杂、同时伴随着待测物体复杂性而导致解码错误率高的问题。为此在单幅编码结构光图案研究中，Salvi等提出了水平方向和竖直方向进行交叉条纹编码设计单幅栅格图案，其通过利用三原色对水平方向进行组合编码，而在竖直方向则利用青黄深红色进行编码设计。与此同时，Antonio等人提出了一种利用七种颜色进行无序彩色编码方法设计，其通过将编码特征点替换轴线进行编码设计，实现对动态待测物体进行快速测量。虽然单幅彩色编码结构光能够快速的对待测物体进行三维重建，但是这类方法面临着一类问题，就是当待测物体的表面纹理对彩色编码颜色码产生严重干扰时，会使得单幅彩色编码结构光三维重建方法失效，而此时如果利用多幅格雷码等方法进行三维重建时，会存在着投影仪投射编码图案较多的问题。
技术实现思路
为了避免待测的彩色物体表面纹理色彩信息对彩色编码结构光的颜色码信息产生干扰的问题，以及减少投影仪投射编码图案数量，本专利技术的目的在于提供一种高适应性的彩色物体三维重建方法，其首先利用计算机生成一幅彩色编码结构光图案，并进行多源时序化分层处理，接着对多源时序化分层图案进行解码处理，组合得到调制的单幅彩色编码结构光图案，接着利用条纹匹配方法实现对编码特征点的匹配，最后利用三角测量方法实现编码特征点的三维深度信息值解算。本专利技术的技术方案是这样实现的：一种高适应性的彩色物体三维重建方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪与计算机进行连接；具体的重建步骤如下：步骤1、多源时序分层投影编码图案的设计步骤1.1、通过计算机对颜色码进行编码设计，选择的颜色分别为：红色(255,0,0)对应的编码序号为1，绿色(0,255,0)对应的编码序号为2，蓝色(0,0,255)对应的编码序号为3，青色(0,255,255)对应的编码序号为4，品红色(255,0,255)对应的编码序号为5，黄色(255,255,0)对应的编码序号为6，白色(255,255,255)对应的编码序号为7；利用DeBurijng的伪随机特性和颜色码序号进行生成一幅7元3级的彩色结构光条纹编码图像stru_col，其中图像stru_col的背景色为黑色信息值，彩色条纹的宽度值设定为6个像素，相邻条纹之间的间隔为3个像素，图像stru_col的分辨率为1024pixel×768pixel；步骤1.2、利用openCV2.4.10的split函数对图像stru_col进行分层处理得到三幅图像分别为stru_R，stru_G，stru_B；接着利用openCV2.4.10中的函数cvtColor对图像stru_col进行灰度化处理得到图像stru_graysca，同时利用openCV2.4.10中的函数threshold对图像stru_graysca进行阈值和二值化的处理，得到图像stru_W，该图像只含有纯白色条纹背景为纯黑色的图像信息；步骤2、通过计算机将上述的多源时序分层编码图像stru_W、stru_R，stru_G，stru_B传递给投影仪进行依次投射到待测彩色物体的表面上，并通过相机对待测彩色物体表面上的调制图案信息进行采集依次得到调制图像cam_W、cam_R，cam_G，cam_B；接着关闭投影仪，利用相机采集待测彩色物体的纹理色彩信息，得到背景图像back_obj；步骤3、利用openCV2.4.10的subtract函数依次将调制图像cam_W、cam_R，cam_G，cam_B分别与图像back_obj进行差值运算，得到背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB；步骤4、将背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB中的像素点按照从上到下，从左到右的顺序分别存储在矩阵cam_marryW,cam_marryR,cam_marryG,cam_marryB中，这些矩阵大小都为N行，M列；步骤5、在矩阵cam_marryW中的第i行，第j列矩阵值cam_marryW(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mwr(i，j)、mwg(i，j)、mwb(i,j)，即cam_marryW(i，j)＝(mwr(i,j),mwg(i,j),mwb(i,j))；利用公式dif1_WR(i,j)＝mwr(i+1,j)-mwr(i-1,j)+mwr(i+2,j)-mwr(i-2,j)；dif1_WG(i,j)＝mwg(i+1,j)-mwg(i-1,j)+mwg(i+2,j)-mwg(i-2,j)；，dif1_WB(i,j)＝mwb(i+1,j)-mwb(i-1,j)+mwb(i+2,j)-mwb(i-2,j)；对背景差值图像cam_diffW进行一阶差分处理，得到在R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)和dif1_WB(i，j)。接着利用公式，g_marry(i,j)＝dif1_WR(i,j)^2+dif1_WG(i,j)^2+dif1_WB(i,j)^2对R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)、dif1_WB(i，j)进行平方和处理，得到三通道的一阶滤波差分平滑和矩阵g_marry(i，j)。利用公式dif1_gm(i,j)＝g_marry(i,j)(i+1,j)-g_marry(i,j)(i-1,j)+g_marry(i,j)(i+2,j)-g_marry(i,j)(i-2,j)；dif2_gm(i,j)＝dif1_gm(i,j)(i+1,j)-dif1_gm(i,j)(i-1,j)+dif1_gm(i,j)(i+2,j)-dif1_g本文档来自技高网...

【技术保护点】
1.一种高适应性的彩色物体三维重建方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪与计算机进行连接；具体的重建步骤如下：步骤1、多源时序分层投影编码图案的设计步骤1.1、通过计算机对颜色码进行编码设计，选择的颜色分别为：红色(255,0,0)对应的编码序号为1，绿色(0,255,0)对应的编码序号为2，蓝色(0,0,255)对应的编码序号为3，青色(0,255,255)对应的编码序号为4，品红色(255,0,255)对应的编码序号为5，黄色(255,255,0)对应的编码序号为6，白色(255,255,255)对应的编码序号为7；利用De Burijng的伪随机特性和颜色码序号进行生成一幅7元3级的彩色结构光条纹编码图像stru_col，其中图像stru_col的背景色为黑色信息值，彩色条纹的宽度值设定为6个像素，相邻条纹之间的间隔为3个像素，图像stru_col的分辨率为1024pixel×768pixel；步骤1.2、利用openCV 2.4.10的split函数对图像stru_col进行分层处理得到三幅图像分别为stru_R，stru_G，stru_B；接着利用openCV 2.4.10中的函数cvtColor对图像stru_col进行灰度化处理得到图像stru_graysca，同时利用openCV 2.4.10中的函数threshold对图像stru_graysca进行阈值和二值化的处理，得到图像stru_W，该图像只含有纯白色条纹背景为纯黑色的图像信息；步骤2、通过计算机将上述的多源时序分层编码图像stru_W、stru_R，stru_G，stru_B传递给投影仪进行依次投射到待测彩色物体的表面上，并通过相机对待测彩色物体表面上的调制图案信息进行采集依次得到调制图像cam_W、cam_R，cam_G，cam_B；接着关闭投影仪，利用相机采集待测彩色物体的纹理色彩信息，得到背景图像back_obj；步骤3、利用openCV 2.4.10的subtract函数依次将调制图像cam_W、cam_R，cam_G，cam_B分别与图像back_obj进行差值运算，得到背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB；步骤4、将背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB中的像素点按照从上到下，从左到右的顺序分别存储在矩阵cam_marryW,cam_marryR,cam_marryG,cam_marryB中，这些矩阵大小都为N行，M列；步骤5、在矩阵cam_marryW中的第i行，第j列矩阵值cam_marryW(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mwr(i，j)、mwg(i，j)、mwb(i,j)，即cam_marryW(i，j)＝(mwr(i,j),mwg(i,j),mwb(i,j))；利用公式dif1_WR(i,j)＝mwr(i+1,j)‑mwr(i‑1,j)+mwr(i+2,j)‑mwr(i‑2,j)；dif1_WG(i,j)＝mwg(i+1,j)‑mwg(i‑1,j)+mwg(i+2,j)‑mwg(i‑2,j)；，dif1_WB(i,j)＝mwb(i+1,j)‑mwb(i‑1,j)+mwb(i+2,j)‑mwb(i‑2,j)；对背景差值图像cam_diffW进行一阶差分处理，得到在R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)和dif1_WB(i，j)；接着利用公式，g_marry(i,j)＝dif1_WR(i,j)^2+dif1_WG(i,j)^2+dif1_WB(i,j)^2对R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)、dif1_WB(i，j)进行平方和处理，得到三通道的一阶滤波差分平滑和矩阵g_marry(i，j)；利用公式dif1_gm(i,j)＝g_marry(i,j)(i+1,j)‑g_marry(i,j)(i‑1,j)+g_marry(i,j)(i+2,j)‑g_marry(i,j)(i‑2,j)；dif2_gm(i,j)＝dif1_gm(i,j)(i+1,j)‑dif1_gm(i,j)(i‑1,j)+dif1_gm(i,j)(i+2,j)‑dif1_gm(i,j)(i‑2,j)；求解矩阵g_marry的一阶差分矩阵dif1_g(imj)和二阶差分矩阵dif2_g(imj),为了能够对调制条纹的中心线进行提取，对矩阵dif1_gm(i,j)和dif2_gm(i,j)中的值进行判断，定义矩阵CI_marry；当满足(dif1_gm(i‑...

【技术特征摘要】
1.一种高适应性的彩色物体三维重建方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪与计算机进行连接；具体的重建步骤如下：步骤1、多源时序分层投影编码图案的设计步骤1.1、通过计算机对颜色码进行编码设计，选择的颜色分别为：红色(255,0,0)对应的编码序号为1，绿色(0,255,0)对应的编码序号为2，蓝色(0,0,255)对应的编码序号为3，青色(0,255,255)对应的编码序号为4，品红色(255,0,255)对应的编码序号为5，黄色(255,255,0)对应的编码序号为6，白色(255,255,255)对应的编码序号为7；利用DeBurijng的伪随机特性和颜色码序号进行生成一幅7元3级的彩色结构光条纹编码图像stru_col，其中图像stru_col的背景色为黑色信息值，彩色条纹的宽度值设定为6个像素，相邻条纹之间的间隔为3个像素，图像stru_col的分辨率为1024pixel×768pixel；步骤1.2、利用openCV2.4.10的split函数对图像stru_col进行分层处理得到三幅图像分别为stru_R，stru_G，stru_B；接着利用openCV2.4.10中的函数cvtColor对图像stru_col进行灰度化处理得到图像stru_graysca，同时利用openCV2.4.10中的函数threshold对图像stru_graysca进行阈值和二值化的处理，得到图像stru_W，该图像只含有纯白色条纹背景为纯黑色的图像信息；步骤2、通过计算机将上述的多源时序分层编码图像stru_W、stru_R，stru_G，stru_B传递给投影仪进行依次投射到待测彩色物体的表面上，并通过相机对待测彩色物体表面上的调制图案信息进行采集依次得到调制图像cam_W、cam_R，cam_G，cam_B；接着关闭投影仪，利用相机采集待测彩色物体的纹理色彩信息，得到背景图像back_obj；步骤3、利用openCV2.4.10的subtract函数依次将调制图像cam_W、cam_R，cam_G，cam_B分别与图像back_obj进行差值运算，得到背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB；步骤4、将背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB中的像素点按照从上到下，从左到右的顺序分别存储在矩阵cam_marryW,cam_marryR,cam_marryG,cam_marryB中，这些矩阵大小都为N行，M列；步骤5、在矩阵cam_marryW中的第i行，第j列矩阵值cam_marryW(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mwr(i，j)、mwg(i，j)、mwb(i,j)，即cam_marryW(i，j)＝(mwr(i,j),mwg(i,j),mwb(i,j))；利用公式dif1_WR(i,j)＝mwr(i+1,j)-mwr(i-1,j)+mwr(i+2,j)-mwr(i-2,j)；dif1_WG(i,j)＝mwg(i+1,j)-mwg(i-1,j)+mwg(i+2,j)-mwg(i-2,j)；，dif1_WB(i,j)＝mwb(i+1,j)-mwb(i-1,j)+mwb(i+2,j)-mwb(i-2,j)；对背景差值图像cam_diffW进行一阶差分处理，得到在R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)和dif1_WB(i，j)；接着利用公式，g_marry(i,j)＝dif1_WR(i,j)^2+dif1_WG(i,j)^2+dif1_WB(i,j)^2对R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)、dif1_WB(i，j)进行平方和处理，得到三通道的一阶滤波差分平滑和矩阵g_marry(i，j)；利用公式dif1_gm(i,j)＝g_marry(i,j)(i+1,j)-g_marry(i,j)(i-1,j)+g_marry(i,j)(i+2,j)-g_marry(i,j)(i-2,j)；dif2_gm(i,j)＝dif1_gm(i,j)(i+1,j)-dif1_gm(i,j)(i-1,j)+dif1_gm(i,j)(i+2,j)-dif1_gm(i,j)(i-2,j)；求解矩阵g_marry的一阶差分矩阵dif1_g(imj)和二阶差分矩阵dif2_g(imj),为了能够对调制条纹的中心线进行提取，对矩阵dif1_gm(i,j)和dif2_gm(i,j)中的值进行判断，定义矩阵CI_marry；当满足(dif1_gm(i-1,j)＞0&&dif1_gm(i+1,j)＜0)||(dif1_gm(i-1,j)＜0&&dif1_gm(i+1,j)＞0)&&(dif2_gm(i,j)＜0)时，矩阵CI_marry(i，j)＝(255,255,255),否则矩阵CI_marry(i，j)＝(0,0,0)；步骤6、矩阵cam_marryR中的第i行，第j列矩阵值cam_m...

【专利技术属性】
技术研发人员：韩成，杨帆，张超，胡汉平，李华，丁莹，权巍，薛耀红，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林,22