一种三目散斑结构光三维与颜色纹理重建方法与系统技术方案

本发明专利技术属于计算机技术领域，具体公开了一种三目散斑结构光三维与颜色纹理重建方法与系统，重建方法包括：搭建三目结构光视觉系统，标定各相机的内、外部和畸变参数；获取数字散斑图像；通过投影仪设备将数字散斑图像投影到被测物；各相机进行同步拍摄图像；对各图像进行极线校正；利用彩色图像匹配得到颜色纹理信息，对灰度图像基于改进的ZNSSD准则，进行亚像素点匹配；基于各相机的内、外部参数和匹配点利用三角法得到被测物的三维数据；将颜色纹理信息和三维数据相结合，得到三维彩色图像。本发明专利技术所述三目散斑结构光三维与颜色纹理重建方法在获取更多像素信息提高匹配精度的同时提升计算效率。提升计算效率。提升计算效率。

【技术实现步骤摘要】
一种三目散斑结构光三维与颜色纹理重建方法与系统


[0001]本专利技术属于计算机
，具体属于三维重建领域，具体涉及一种三目散斑结构光三维与颜色纹理重建方法与系统。

技术介绍

[0002]三维重建技术作为计算机视觉的重要分支之一，具有快速、准确获取物体三维信息的特点，拥有良好的发展前景和研究价值。在三维重建的非接触式领域，结构光技术能克服待测物体存在弱纹理和无纹理时带来的信息缺失问题。目前主流的结构光三维重建技术分为相移法加互补格雷码的时间编码法和数字散斑投影的空间编码法，前者需要按顺序投影多幅编码图案，具有重建精度高的特点，但重建速度较慢，因此适合静态场景的三维重建；后者仅需投影一幅具有全局唯一性的散斑图案，因此重建速度相比前者更快，在精度略有损失的场景能达到动态重建的目的。
[0003]将二维的数字图像相关法与双目立体视觉相结合，能打破仅能测量被测物体表面的面内位移局限性，做到测量物体的三维形貌和形变。该技术需使用投影仪投射散斑质量高的数字散斑图案，利用相机同步采集图案进行亚像素点匹配，通过三角法得到高密度的三维坐标信息。该技术国内外代表三维测量系统有VIC
‑
3D系统、XTDIC系统和PMLABDIC
‑
3D系统。常用的数字图像相关(digital imagecorrelation,DIC)方法是基于零均值归一化最小距离平方(Zero
‑
Normalized SumofSquaredDifferences,ZNSSD)准则并采用反向组合高斯/>‑
牛顿(Inverse compositionalGauss
‑
Newton,IC
‑
GN)算法进行参考子区和目标子区相关计算的，但当我们扩大子区尺寸并不是每个像素都对平均灰度梯度和贡献大，提升精度的同时会使得运算效率和速度降低。
[0004]公开号为CN111145342A的专利公开了一种双目散斑结构光三维重建方法及系统，双目散斑结构光三维重建方法包括：获取散斑图像；搭建双目结构光视觉系统，标定得到左右相机的内部参数和外部参数；将散斑图像通过投影设备投射到被测物体表面，通过左右相机进行拍摄，得到左图像和右图像；对左右图像进行极线校正；基于散斑图像、左右图像采用改进的SGM算法进行图像匹配，得到视差图像；基于左右相机的内部参数和外部参数以及视差图像恢复深度信息，得到被测物体表面的三维数据，得到最终的图像。虽然，上述方法预设散斑分布约束窗口以控制伪随机散斑分布的疏密程度，生成具有高辨识度和纹理丰富的散斑图案，建立新的视差计算代价函数，有效提高了图像匹配的精度，但是，其仍存在亚像素匹配精度不够、误匹配的问题，并且没有颜色纹理重建。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提出一种三目散斑结构光三维与颜色纹理重建方法和系统，利用一种改进的ZNSSD准则，将像素贡献区分为三个等级，同时提升重建精度和运算效率，搭建三目系统可以在不受畸变较大的投影仪影响从而提升标定精度，并利用彩色相机恢复三维物体的颜色信息，在特定场景具有较好的应用价值。
[0006]本专利技术的目的在于提供一种三目散斑结构光三维与颜色纹理重建方法与系统，提升图像匹配精度和速度，实现高质量的动态三维重建。
[0007]为实现上述目的，本专利技术是采用的技术方案为：
[0008]本专利技术实施例的第一方面提供了一种三目散斑结构光三维与颜色纹理重建方法，所述重建方法包括：
[0009]搭建三目结构光视觉系统，所述视觉系统包括：左黑白相机、右彩色相机、右黑白相机和投影仪设备，利用所述三目结构光视觉系统标定得到以左相机为基准的各相机的外部参数、内部参数和畸变参数，需要说明的是，其中外部参数包括旋转矩阵和平移向量，内部参数包括相机焦距、主点的实际位置以及x和y单位毫米的像素个数，畸变参数包括径向和切向畸变的参数；
[0010]通过综合考虑散斑占空比、散斑尺寸、平均灰度梯度、系统误差和随机误差因素的数字散斑图像表达式获取数字散斑图像；
[0011]将获取的数字散斑图像通过所述投影仪设备投射到被测物体表面，并通过同步触发的方式利用上述的左黑白相机、右彩色相机、右黑白相机对投影物体进行同步拍摄，得到左灰度图像、右彩色图像、右灰度图像；
[0012]对所述左灰度图像、右彩色图像、右灰度图像分别以左黑白相机为基准并利用各相机的外部参数、内部参数和畸变参数进行极线校正；需要说明的是，所述极线校正可以采用现有的Bouguet法和Fusiello法；作为一种较佳的实施例，优选采用Fusiello法进行极线校正，因为Fusiello法计算复杂度更低且可以高度并行；
[0013]基于所述极线校正后的左灰度图像、右彩色图像、右灰度图像进行高斯滤波预处理去除噪声对图像的影响，之后对高斯滤波处理后的左灰度图像和灰度化的右彩色图像进行整像素匹配记录对应点彩色纹理信息，并对高斯滤波处理后的左灰度图像和右灰度图像基于改进的ZNSSD准则并采用IC
‑
GN算法进行DIC亚像素点匹配，获得左右图像的亚像素匹配点；
[0014]基于左黑白相机和右黑白相机的外部参数、内部参数以及所述左右图像的亚像素匹配点利用三角法得到被测物体表面的三维坐标数据；
[0015]基于所述三维坐标数据和所述彩色纹理信息进行三维重建，利用点云软件展示最终的彩色重建图像。
[0016]优选的，所述利用所述三目结构光视觉系统标定得到以左相机为基准的各相机的外部参数、内部参数和畸变参数具体操作包括：采用圆形标定板摆放多种位姿通过各相机同步拍摄多组图片，通过边缘检测获取亚像素圆心坐标，得到以左相机为基准的各相机的外部参数、内部参数和畸变参数。
[0017]优选的，为了获取更加适合本系统三维重建的数字散斑图像,考虑投影仪分辨率以及物距的影响，所述通过数字散斑图像表达式获取数字散斑图像具体包括：
[0018]设置散斑图像表达式对应的图像分辨率为h
×
w；
[0019]设置散斑直径d和密排度σ，按照间距为L＝d/σ划分网格，并将散斑放置于网格点；
[0020]将随机位移Δ＝(Δ
x
,Δ
y
)添加至每个散斑，其中随机位移Δ满足区间[
‑
Lδ/2,Lδ/2]上的均值分布，变量δ表示散斑偏移度；
[0021]通过控制单一变量法设置不同的散斑直径d、密排度σ和散斑偏移度δ得到数字散
斑图案，并对数字散斑图案采样和量化可以获取数字散斑图像；
[0022]将获取的数字散斑图像通过二值化计算散斑占空比、自相关曲线的半峰全宽计算散斑尺寸、插值偏差理论公式计算系统误差以及零阶和一阶形函数随机误差公式计算与之成倍数关系的二阶形函数随机误差，综合考虑上述影响因素获取质量最高的散斑图像。
[0023]优选的，所述对高斯滤波处理后的左灰度图像和灰度化的右彩色图像进行整像素匹配记录对应点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三目散斑结构光三维与颜色纹理重建方法，所述重建方法包括：搭建三目结构光视觉系统，所述三目结构光视觉系统包括：左黑白相机、右彩色相机、右黑白相机和投影仪设备；利用所述三目结构光视觉系统标定得到以左相机为基准的各相机的外部参数、内部参数和畸变参数；通过综合考虑散斑占空比、散斑尺寸、平均灰度梯度、系统误差和随机误差因素的数字散斑图像表达式获取数字散斑图像；将获取的数字散斑图像通过所述投影仪设备投射到被测物体表面，并通过同步触发的方式利用所述左黑白相机、右彩色相机、右黑白相机对投影物体进行同步拍摄，得到左灰度图像、右彩色图像、右灰度图像；对所述左灰度图像、右彩色图像、右灰度图像分别以左黑白相机为基准并利用各相机的外部参数、内部参数和畸变参数进行极线校正；基于极线校正后的左灰度图像、右彩色图像、右灰度图像进行高斯滤波预处理去除噪声对图像的影响，之后对高斯滤波处理后的左灰度图像和灰度化的右彩色图像进行整像素匹配记录对应点彩色纹理信息，并对高斯滤波处理后的左灰度图像和右灰度图像基于改进的ZNSSD准则并采用IC
‑
GN算法进行DIC亚像素点匹配，获得左右图像的亚像素匹配点；基于左黑白相机和右黑白相机的外部参数、内部参数以及所述左右图像的亚像素匹配点利用三角法得到被测物体表面的三维坐标数据；基于所述三维坐标数据和所述彩色纹理信息进行三维重建。2.如权利要求1所述的一种三目散斑结构光三维与颜色纹理重建方法，其特征在于，所述极线校正方法为Bouguet法或Fusiello法。3.如权利要求1所述的一种三目散斑结构光三维与颜色纹理重建方法，其特征在于，利用所述三目结构光视觉系统标定得到以左相机为基准的各相机的外部参数、内部参数和畸变参数具体操作包括：采用圆形标定板摆放多种位姿通过各相机同步拍摄多组图片，通过边缘检测获取亚像素圆心坐标，得到以左相机为基准的各相机的外部参数、内部参数和畸变参数。4.如权利要求1所述的一种三目散斑结构光三维与颜色纹理重建方法，其特征在于，所述对高斯滤波处理后的左灰度图像和灰度化的右彩色图像进行整像素匹配记录对应点彩色纹理信息的步骤是基于改进的ZNSSD准则采用爬山法进行整像素搜索，记录左灰度图像像素点对应右彩色图像的颜色纹理信息。5.如权利要求1所述的一种三目散斑结构光三维与颜色纹理重建方法，其特征在于，所述对高斯滤波处理后的左灰度图像和右灰度图像基于改进的ZNSSD准则并采用IC
‑
GN算法进行DIC亚像素点匹配，获得左右图像的亚像素匹配点的步骤具体为：对高斯滤波处理后的左灰度图像和右灰度图像基于改进的ZNSSD准则先进行整像素搜索匹配得到亚像素迭代的初始值，然后根据IC
‑
GN算法在增大子区大小并提升亚像素点匹配的效率和精度。6.如权利要求5或6中任意一项权利要求所述的一种三目散斑结构光三维与颜色纹理重建方法，其特征在于，DIC法选择二阶形函数作为形变子区的因变量，所述改进的ZNSSD准则由公式(1)、(2)、(3)所示，二阶形函数由公式(4)所示，二阶形函数参数由公式(5)所示及其参数更新由公式(6)、(7)、(8)所示：
P＝[uu
x
u
y
u
xx
u
xy
u
yy
vv
x
v
y
v
xx
v
xy
v
yy
]
T
(5)(5)W(ξ；P
new
)＝W(W
‑1(ξ；ΔP)；P
old
)(8)其中，M(ξ)表示像素点ξ对应的权重，|
▽
f(ξ)|为参考子区的局部强度梯度向量，f
x
(ξ)和f
y
(ξ)分别为参考子区在x和y方向的一阶梯度值，threshold1和threshold2为自定义的阈值，f
m
和g
m
分别表示参考图像和形变图像的平均灰度值，Δf和Δg分别表示参考子区和形变子区灰度值的离散程度，u...

【专利技术属性】
技术研发人员：张伟鑫，朱虎，邓丽珍，张艳彬，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：