本发明专利技术公开了基于多视图阴影分割的光栅三维重建系统及方法，属于光学三维重建领域。本发明专利技术提出了多尺度自注意力分割网络结构，着重使用自注意力机制，引入多尺度结构，精确快速地完成阴影分割；本发明专利技术的多视图阴影分割三维重建方法，可以实现高精度相位数据的融合，解决了现有光栅投影三维重建方法中阴影对于重建结果的影响。相比于现有方案，本发明专利技术抑制干扰能力强、精度高，可以准确识别阴影区域，并去除由于阴影导致的相位噪声，生成高精度的多视图融合相位，能够满足工厂对于PCB部分三维缺陷检测的精度要求，对提高生产的自动化水平起到了一定帮助作用。起到了一定帮助作用。起到了一定帮助作用。
【技术实现步骤摘要】
基于多视图阴影分割的光栅三维重建系统及方法
[0001]本专利技术涉及基于多视图阴影分割的光栅三维重建系统及方法，属于光学三维重建领域。
技术介绍
[0002]结构光测量技术作为一种主动式光学测量方法，通过光栅投射编码条纹，获得经待测物表面高度调制而发生形变的结构光图像，从而解算出三维形貌数据，在逆向工程、数字化建模、计算测量等领域研究广泛。但对于形貌复杂对象，单视角测量面临因高度和光栅投射角度共同导致的阴影问题，无法精确获得待测物完整三维信息，因此基于多视图角进行三维重建才是正确解决方案。
[0003]目前光栅投影三维重建方法众多。1983年由日本学者Takeda提出傅里叶轮廓术(Mitsuo Takeda,Kazuhiro Mutoh.Fourier transform profilometry for the automatic measurement of 3
‑
Dobject shapes[J].Applied Optics,1983,Vol.22:3977
‑
3982.)于，他首先将傅里叶变换用于相位解调，并成功应用到三维测量领域。同年正弦拟合法被提出，由于不用频域滤波和频谱移位，因此比傅里叶轮廓术效率高。1984年，V.Srinivasan等人首次提出相移法(V.Srinivasan,H.C.Liu,M.Halioua.Automated phase
‑
measuring profilometry of 3
‑
D diffuse objects[J].Applied Optics,1984,Vol.23:3105
‑
3108.)，从此相移法在光栅测量领域由于其精度高、速度快、原理简单等优势得到广泛应用。但是这些传统方法只能实现三维重建，不能解决光栅投影导致的阴影问题，阴影区域重建后的点云是散乱点云，相当于是噪声，从而导致了重建结果很差。
[0004]为了解决阴影问题，通常采用语义分割算法将阴影部分分割出来，常用的语义分割算法是基于大数据驱动的深度学习模型，其基本思路是：通过骨干网络作为编码器提取图像高层语义信息，在解码器部分逐渐恢复特征图至原分辨率大小，从而通过梯度下降完成像素级分类。2015年“Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,39(4):640
‑
651.”Jonathan Long首先提出使用全卷积网络FCN，预测每个像素的类别，成功实现了卷积神经网络在图像分割领域的应用。为了解决生物医学领域的细胞分割任务，“RONNEBERGER O,FISCHER P,BROX T.U
‑
net:Convolutional networks for biomedical image segmentation[C].Munich:Springer,2015:234
‑
241.”U
‑
net通过结构对称的降采样与上采样部分，结合跳层连接实现前后层信息融合，构造了经典简洁的阴影分割网络。“Chen,Liang
‑
Chieh,et al.Encoder
‑
decoder with atrous separable convolution for semantic image segmentation[C].European Conference on Computer Vision.Berlin,German:Springer,2018:801
‑
818.”DeepLab系列图像分割网络使用不同扩张率的空洞卷积增大视野，同时提出空间金字塔池化结构，融合不同层级的语义信息，实现了优秀的分割效果。
[0005]张利坤(张利坤,多分辨率测量点云融合方法研究[D].西安电子科技大学,
2018.)、崔海华(崔海华,姜涛,杜坤鹏,国荣辉,赵安安.基于深度学习位姿估计的多视结构光三维成像方法[J].光学学报,2021,41(17):72
‑
81.)、马锁冬(马锁冬.基于相位恢复的三维形貌复合通道测量技术研究及应用[D].南京理工大学,2012.)等则分别从改进多分辨率点云融合、多视角点云配准与拼接等点云处理方面提高了相机结合光栅方案的多视图三维重建精度。但利用光栅投影生成各视角的待测物点云再进行配准融合，会将各视角的重建误差进行叠加放大，进一步导致了重建精度较低。
技术实现思路
[0006]为了解决目前存在的重建盲区问题和多视图方案导致的误差叠加问题，本专利技术提供了基于多视图阴影分割的光栅三维重建系统及方法，所述技术方案如下：
[0007]本专利技术的第一个目的在于提供一种基于多视角阴影分割的光栅三维重建系统，所述系统包括：光栅投影模块、图像采集模块、阴影分割模块和光栅三维重建模块；
[0008]所述光栅投影模块包括多个光栅投影仪，所述光栅投影仪将光栅条纹投射到待测物体表面；
[0009]所述图像采集模块用于采集待测物体表面的光栅图像，并将所述光栅图像输入所述阴影分割模块；
[0010]所述阴影分割模块采用MobileViT多尺度自注意力分割网络，获取各视角光栅图像的阴影掩膜；
[0011]所述光栅三维重建模块通过相移轮廓术与多频外差法，结合所述阴影掩膜获得各视角的绝对相位图；然后通过求解相位高斯权重完成融合得到高精度绝对相位图，并根据系统标定参数计算完整点云数据。
[0012]可选的，所述MobileViT多尺度自注意力分割网络包括：编码器部分和解码器部分；
[0013]所述编码器部分的降采样过程包括：首先，输入的光栅图像张量先进入网络stem茎部分，得到1/2降采样的特征图；接着继续通过两个MobileNet模块，这个过程中通过改变卷积步长进行特征图降采样，得到1/4降采样的特征图；此时网络出现并联结构，形成降采样支路和降采样主路；
[0014]所述1/4降采样的特征图通过降采样支路传入所述解码器部分，用于给解码过程提供轮廓边界信息；另一方面继续通过所述降采样主路上的多个串联的MobileNet模块提取特征并实现1/8降采样；后续每一次降采样均使用所述并联结构，将降采样特征图通过所述降采样支路进入解码器部分，同时通过所述降采样主路的MobileViT模块，提取兼顾局部特征信息和全局注意力的降采样特征图，直至得到所要求的降采样结果，输入所述解码器部分；
[0015]所述解码器部分用于将所述编码器部分提取的深层语义特征信息在空间尺度上还原回原输入分辨率，所述解码器部分在上采样的过程中结合所述编码器部分的降采样支路输出的不同尺度的特征图进行还原。
...
【技术保护点】
【技术特征摘要】
1.一种基于多视角阴影分割的光栅三维重建系统，其特征在于，所述系统包括：光栅投影模块、图像采集模块、阴影分割模块和光栅三维重建模块；所述光栅投影模块包括多个光栅投影仪，所述光栅投影仪将光栅条纹投射到待测物体表面；所述图像采集模块用于采集待测物体表面的光栅图像，并将所述光栅图像输入所述阴影分割模块；所述阴影分割模块采用MobileViT多尺度自注意力分割网络，获取各视角光栅图像的阴影掩膜；所述光栅三维重建模块通过相移轮廓术与多频外差法，结合所述阴影掩膜获得各视角的绝对相位图；然后通过求解相位高斯权重完成融合得到高精度绝对相位图，并根据系统标定参数计算完整点云数据。2.根据权利要求1所述的基于多视角阴影分割的光栅三维重建系统，其特征在于，所述MobileViT多尺度自注意力分割网络包括：编码器部分和解码器部分；所述编码器部分的降采样过程包括：首先，输入的光栅图像张量先进入网络stem茎部分，得到1/2降采样的特征图；接着继续通过两个MobileNet模块，这个过程中通过改变卷积步长进行特征图降采样，得到1/4降采样的特征图；此时网络出现并联结构，形成降采样支路和降采样主路；所述1/4降采样的特征图通过降采样支路传入所述解码器部分，用于给解码过程提供轮廓边界信息；另一方面继续通过所述降采样主路上的多个串联的MobileNet模块提取特征并实现1/8降采样；后续每一次降采样均使用所述并联结构，将降采样特征图通过所述降采样支路进入解码器部分，同时通过所述降采样主路的MobileViT模块，提取兼顾局部特征信息和全局注意力的降采样特征图，直至得到所要求的降采样结果，输入所述解码器部分；所述解码器部分用于将所述编码器部分提取的深层语义特征信息在空间尺度上还原回原输入分辨率，所述解码器部分在上采样的过程中结合所述编码器部分的降采样支路输出的不同尺度的特征图进行还原。3.根据权利要求2所述的基于多视角阴影分割的光栅三维重建系统，其特征在于，所述降采样支路上还包括：高效空洞金字塔注意力分割模块；所述高效空洞金字塔注意力分割模块的处理特征图的过程包括：首先经过分离拼接操作，使用DeepLabV2网络中不同扩张率的空洞卷积及池化操作，对特征图分离出的不同子通道进行卷积池化，在不改变卷积核参数量的同时观察不同感受野以获得多尺度特征图信息；接着，为增加子通道间的特征信息交流，防止单一特征的过渡学习，将特征图进行ShuffleNet中的通道混合Channel Shuffle操作；然后使用SE模块提取多尺度特征图中不同子通道的注意力权重。4.根据权利要求1所述的基于多视角阴影分割的光...
【专利技术属性】
技术研发人员：华晓东，祁云峰，吴静静，余锦淼，
申请(专利权)人：江苏聚目科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。