基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法制造方法及图纸

本发明专利技术公开了一种基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法，装置包括：光源系统、旋转系统、投射系统、采集系统和计算机；所述光源系统包括LED光源以及光源控制器，所述旋转系统包括电控旋转台以及步进电机控制器，所述投射系统为DLP结构光投影装置，所述采集系统为两个相机组成的双目系统。测量方法为投射时间序列编码的格雷码结构光至待测面，双目相机采集结构光图片，解码格雷码得到待测面编码，多曝光融合得到无过曝光齿轮面图像，基于编码进行局部双目密集匹配，基于视差获得三维点云。本发明专利技术提供的金属齿轮三维形貌测量装置具有可实时测量、抗干扰能力强、测量精度高等优点。强、测量精度高等优点。强、测量精度高等优点。

Device and method for measuring three-dimensional shape of metal gear with binocular vision based on Gray code structured light

【技术实现步骤摘要】
基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法


[0001]本专利技术涉及双目视觉三维重构技术，具体涉及一种基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法。

技术介绍

[0002]随着智能制造业的飞速发展，机器视觉三维测量作为机器感知世界的手段之一愈发受到先进制造业的重视。在工业生产领域，生产线中的一大类产品是金属工件，其中金属齿轮工件是最常见的金属零部件之一。目前，对于金属齿轮的在线检测问题研究较为缺乏。而随着人工成本越发高昂，依靠密集的人工处理一些重复度极高的操作例如缺陷检测、尺寸测量、粗加工等工作已经变得得不偿失。
[0003]金属齿轮这类目标本身存在几个成像难点：(1)光滑的金属表面纹理缺失严重，灰度差异较小，特征点数量非常少。(2)局部高反光产生的过曝光区域会让金属局部细节完全消失。(3)齿轮的齿面一般非常小，但齿轮顶端到底面的距离相对较大，从而造成在相对的小区域内存在大幅度的视差变化，这种特征对现有的依靠局部区域内视差平滑假设的匹配算法非常不友好。

技术实现思路

[0004]本专利技术的目的在于提供一种基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法，针对金属齿轮目标成像难点，基于结构光优化解码技术、SAD&census局部匹配技术、多曝光HDR技术、设计一套应对方案，最终完成对金属齿轮工件的形貌进行在线检测工作。
[0005]实现本专利技术目的的技术解决方案为：一种基于格雷码结构光的双目金属齿轮三维形貌测量装置，主要由双目相机、DLP结构光投射装置、光源系统、运动系统和计算机构成；所述光源系统包括在双目相机两侧以固定角度安装的LED光源和光源控制器，计算机与光源控制器通讯以控制光源开启和关闭，不同光源开启可以提供两侧不同角度照明；所述运动系统包括步进电机驱动的旋转台以及步进电机控制器，计算机与步进电机控制器通讯以控制旋转台旋转；所述双目相机以水平面为基准上下安装，视角中心对准齿轮齿纹；所述DLP结构光投影装置在双目相机后方，投射镜头正对齿轮齿纹，该装置可以提供结构光投射和对齿轮的正面照明；所述计算机包括外设通讯模块、采集模块和三维重建模块；所述外设通讯模块与光源系统和运动系统以串口通讯；外设通讯模块提供光源亮度设定功能、光源开关功能、步进电机旋转角度功能、步进电机旋转速度功能；所述采集模块与双目相机和DLP结构光投射系统通讯；采集模块提供采集多曝光图片功能，投射并采集格雷码结构光图片功能、采集不同角度照明下的目标图片功能。
[0006]一种基于格雷码结构光的双目金属齿轮三维形貌测量方法，包括如下步骤：
[0007]步骤1，单目相机标定、双目相机立体标定以及立体矫正
[0008]通过张正友标定法计算相机模型的内部参数与多组外参，规定水平高度较低的相机为左相机，通过两相机对同一世界坐标系下的外参旋转矩阵和平移矩阵计算左相机至右相机之间的旋转矩阵和平移矩阵，基于最小二乘法对多组对应外参拟合优化旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵计算映射参数，重映射双目相机拍摄的图像，对图像进行共面以及同行矫正；
[0009]步骤2，数据采集以及预处理
[0010]1)通过计算机采集模块命令DLP结构光投影装置和双目相机采集不同曝光时间下的齿轮齿纹图片，通过多曝光图像融合算法获得融合图像；
[0011]2)通过计算机采集模块命令DLP结构光投影装置、光源系统和双目相机采集不同角度光照下齿轮齿纹图片，使用OTSU算法对采集图片进行二值化，并基于采集图片进行逻辑运算获得两相机视角下齿轮齿的侧面、顶面和底面掩模；
[0012]3)通过计算机采集模块命令DLP结构光投影装置和双目相机采集格雷码结构光图片，并基于采集图片解算目标面编码；
[0013]步骤3，视差解算
[0014]基于两相机齿轮齿的掩模，将两相机的匹配区域限制在齿轮齿的对应面；基于融合图像作为匹配算法的输入，提供局部匹配的细节数据；基于格雷码结构光的解码获得两相机视角下目标区域的编码图，限制双目匹配搜索范围，只在对应编码的图像块内进行双目匹配；基于SAD与Census匹配代价融合的局部匹配算法获得完整的视差图；
[0015]步骤4，生成点云
[0016]基于视差图、双目相机内参、立体标定得到的旋转矩阵和平移矩阵，从视差图反算深度；以立体矫正后的左相机为基准，建立点云。
[0017]与现有机器视觉三维重建技术相比，本专利技术的有益效果是：(1)采用HDR多曝光融合算法对金属面局部过曝光进行消除，重建点云时不会因为过曝光细节丢失而重建失败。(2)采用复合照明结构，结合齿轮本身的外形特征，通过不同角度的光照获得具有形态学意义的齿轮掩模，降低了匹配难度。(3)采用了复合的机器视觉三维重建系统结构：格雷码结构光+双目视觉三维重建系统结构，结构光采用主动光源对目标区域编码，双目匹配在结构光编码的基础上进行进一步的密集匹配。结构光对目标面的编码赋予了目标面更多的特征，本专利技术的三维重建系统结构相较于传统被动观察的双目视觉结构具有更好的重建鲁棒性；双目密集匹配是像素之间的匹配，而过于细密结构光条纹很难分辨，本专利技术的三维重建系统结构相较于传统结构光单目结构具有更高的分辨能力。
附图说明
[0018]图1是基于格雷码结构光的双目金属齿轮三维形貌测量装置示意图。
[0019]图2是样品齿轮图样。
[0020]图3是基于复合光照结构的齿轮掩模分割原理示意图。
[0021]图4是复合光照结构示意图。
[0022]图5是齿轮掩模分割效果图。
[0023]图6是系统工作流程图。
[0024]图7是重建算法工作流程图。
[0025]图8是重建效果示意图。
[0026]图9是点云效果示意图。
具体实施方式
[0027]如图1所示，一种基于格雷码结构光的双目金属齿轮三维形貌测量装置，主要由双目相机3,4、DLP结构光投射装置5、光源系统、运动系统、计算机构成；所述光源系统包括在双目相机3,4两侧以固定角度安装的LED光源1,2和光源控制器，计算机与光源控制器通讯以控制光源开启和关闭，不同光源开启可以提供两侧不同角度照明；所述运动系统包括步进电机驱动的旋转台6以及步进电机控制器，计算机与步进电机控制器通讯以控制旋转台旋转；所述双目相机3,4以水平面为基准上下安装，视角中心对准齿轮齿纹；所述DLP结构光投影装置5在双目相机后方，投射镜头正对齿轮齿纹，该装置可以提供结构光投射和对齿轮的正面照明；所述计算机包括外设通讯模块，采集模块和三维重建模块；
[0028]所述外设通讯模块与光源系统和运动系统以串口通讯；外设通讯模块提供光源亮度设定功能、光源开关功能、步进电机旋转角度功能、步进电机旋转速度功能；
[0029]所述采集模块与双目相机和DLP结构光投射系统以USB2.0通讯；采集模块提供采集多曝光图片功能，投射并采集格雷码结构光图片功能、采集不同角度照明下的目标图片功能。
...

【技术保护点】

【技术特征摘要】
1.一种基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，主要由双目相机(3,4)、DLP结构光投射装置(5)、光源系统、运动系统和计算机构成；所述光源系统包括在双目相机(3,4)两侧以固定角度安装的LED光源(1,2)和光源控制器，计算机与光源控制器通讯以控制光源开启和关闭，不同光源开启可以提供两侧不同角度照明；所述运动系统包括步进电机驱动的旋转台(6)以及步进电机控制器，计算机与步进电机控制器通讯以控制旋转台旋转；所述双目相机(3,4)以水平面为基准上下安装，视角中心对准齿轮齿纹；所述DLP结构光投影装置(5)在双目相机后方，投射镜头正对齿轮齿纹，该装置可以提供结构光投射和对齿轮的正面照明；所述计算机包括外设通讯模块、采集模块和三维重建模块；所述外设通讯模块与光源系统和运动系统以串口通讯；外设通讯模块提供光源亮度设定功能、光源开关功能、步进电机旋转角度功能、步进电机旋转速度功能；所述采集模块与双目相机和DLP结构光投射系统通讯；采集模块提供采集多曝光图片功能，投射并采集格雷码结构光图片功能、采集不同角度照明下的目标图片功能。2.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述的光源系统和DLP结构光投射装置可提供三个角度的照明，所述三个角度为：以DLP结构光投射装置镜头视角为基准，一个LED光源(1)在双目相机左侧，另一个LED光源(2)在双目相机右侧，DLP结构光投射装置镜头在双目相机后方，其高度贴近上下相机水平高度的均值，其视角正对齿轮齿纹；分别开启三个角度的照明可以每次只照亮部分齿纹，采集三个角度照明下的齿纹图片，通过图片间逻辑运算可以对齿轮的外形构建分割掩模，区分出齿轮齿的侧面、顶面和底面。3.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述DLP结构光投影装置投射结构光编码形式为时间编码的格雷码结构光；所述格雷码结构光包括正相编码和反相编码。4.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述三维重建模块包括：格雷码优化解码子模块、基于SAD与Census匹配代价融合的局部匹配算法子模块、多曝光图像融合算法子模块、基于视差的深度解算子模块；所述格雷码优化解码子模块，在“明”、“暗”点的基础上增加定义“未确认”点，各点定义见下式：式中I(x,y)表示正投影图片中坐标(x,y)处点的像素值，I
′
(x,y)表示反投影中坐标(x,y)处点的像素值，α为阈值，表示正反投影的明暗区分度限制；在解码时，将“未确认”点暂时排除解码范围；在解码获得的编码图的基础上通过定义特殊侵蚀算法为“未确认”点赋值；所述特殊侵蚀算法为以“未确认”点为中心，遍历一定窗口范围内的全部点的值，取众数作为“未确认”点的编码值；所述基于SAD与Census匹配代价融合的局部匹配算法为SAD局部匹配算法和Census局部匹配算法的融合；融合方法为见下式：
C(p,d)是融合代价，分别计算待匹配两点的SAD匹配代价C
sad
和Census匹配代价C
census

【专利技术属性】
技术研发人员：宋旸，赵恩棋，杜思月，曹政，李振华，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：