基于线结构光与多任务级联卷积神经网络的三维涂胶检测制造技术

本发明专利技术提供了一种基于线结构光与多任务级联卷积神经网络的三维涂胶检测方法，该方法包括：系统标定，图像采集；运用级联结构的多层卷积神经网络，对涂胶区域和关键点进行粗定位；运用多目标优化模型对胶体关键点的粗定位坐标进行纠正；在左右图像上反复迭代得到关键点的精确定位；匹配左右相机中图像的关键点，计算关键点的三维坐标；计算涂胶的宽度、高度信息。本发明专利技术能明显检测出不同涂胶的宽度、高度信息。

Three dimensional glue detection based on line structured light and multi task cascaded convolutional neural network

The invention provides a three-dimensional coating detection method based on linear structured light and multi-task cascaded convolution neural network, which includes system calibration, image acquisition, coarse positioning of coating area and key points by cascaded multi-layer convolution neural network, and application of multi-objective optimization model to colloid key points. The coarse positioning coordinates are corrected; the key points are accurately located by iteration on the left and right images; the key points are matched in the left and right cameras, and the three-dimensional coordinates of the key points are calculated; the width and height information of the glue coating are calculated. The invention can clearly detect the width and height information of different glue spreading.

【技术实现步骤摘要】
基于线结构光与多任务级联卷积神经网络的三维涂胶检测
本专利技术涉及视觉检测和卷积神经网络，特别涉及三维涂胶宽度和高度的检测方法。
技术介绍
制造业的发展水平反映着一个国家的经济水平与科技水平，机器人技术与视觉检测技术作为智能制造的典型代表，其开发与研究越来越受到政府、企业以及各研究机构的重视。由于工业机器人具有高效、持久、速度快、准确性高等优势。同时随着胶粘技术的提升以及涂胶材料的改进，胶体的机械强度、密封性、隔热、防锈以及其重量轻的优势越来越突出，涂胶机器人的应用领域不断扩展，已经成为汽车生产、航空航天、轨道交通、国防科技、医疗设备制造等各个领域的材料连接、密封的重要技术手段。随着越来越多的高科技精密设备对机器人涂胶的使用，涂胶检测问题逐渐进入人们的视线。涂胶检测的准确度和精度以及检测的时间是涂胶检测的关键点，目前传统的基于机器视觉的涂胶检测只能检测涂胶位置是否正确，以及有无涂胶，无法对涂胶处进行定量分析并且对于形状复杂的工件无法进行涂胶质量的整体形状评估。限制三维涂胶检测的技术要点主要集中在测量精度与测量速度两个方面，如何能够在保证测量精度的同时尽可能的提升检测速度是当前研究工业机器人三维涂胶的关键。综上所述，目前迫切需要提出一种测量精度和测量速度性能均较强地三维涂胶检测方法。
技术实现思路
有鉴于此，本专利技术的主要目的在于实现三维涂胶的有效检测，且测量精度和测量速度性能均较强。为达到上述目的，本专利技术提供了一种基于线结构光与多任务级联卷积神经网络的三维涂胶检测方法，该方法包括：第一步骤，系统标定，图像采集；第二步骤，关键点和胶区的粗略定位；第三步骤，关键点纠正；第四步骤，关键点迭代优化；第五步骤，三维恢复；第六步骤，计算涂胶的宽度和高度；所述第二步骤进一步包括：利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为P-net，R-net，O-net。所述第三步骤进一步包括：关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是K(x，y)，建立多目标优化模型的目标函数。公式MinDk-l、中，表示点K(x，y)与本图中粗定位关键点之间的距离；计算出另一图像中对应的粗定位关键点的极线，Dk-l表示点K(x，y)与此极线之间的距离；表示点K(x，y)与本图中以粗定位关键点为中心的3×Hl像素块内的灰度质心的距离。建立多目标优化的目标函数用来最小化Dk-l和因此，我们通过公式计算最大最小化模型下的最优结果，从而求出纠正的关键点坐标K(x，y)，其中Iwidth和IHeight分别为图像的宽度和高度。所述第四步骤进一步包括：关键点迭代优化，保存本图像通过关键点纠正求得的纠正坐标，用于计算另一幅图像中的Dk-l，从而使另一幅图像中的关键点的纠正坐标精度更高，在左右图像中反复如此迭代，计算关键点的纠正的坐标，当其中一幅图中关键点的纠正坐标与其另一图像中的关键点的纠正坐标距离小于系统重投影误差时停止迭代。用此方法能够得到精确地关键点坐标。所述第五步骤进一步包括：三维恢复，空间任意点P在两个摄像机C1与C2上的图像点P1与P2已经从两个图像中分别检测出来。即已知P1与P2为空间同一点P的对应点。摄像机C1与C2的投影矩阵分别为M1与M2，于是有：其中，(u1，v1，1)与(u2，v2，1)分别为P1与P2点在各自图像中的图像齐次坐标；(X，Y，Z，1)为P点在世界坐标系下的齐次坐标；为mk的第i行第j列元素。上述两式消去Zc1与Zc2得到关于X，Y，Z的四个线性方程：由于空间点P是O1P1与O2P2的交点，它必然同时满足上述方程组，因此可求出P点的坐标(X，Y，Z)。因为已经假设P1与P2点是空间同一点P的对应点，因此直线O1P1与O2P2一定相交，可以用最小二乘法求出P的三维点坐标(X，Y，Z)，即五个关键点的三维坐标。所述第六步骤进一步包括：计算涂胶的宽度和高度。运用A，B，C，D，E点分别代表涂胶的顶点，左端点，右端点，左下端点和右下端点。Mbd和Mce分别表示B，D连线的中点和C，E连线的中点。A点与由D点连接到E点的线之间的距离是胶水的高度。Mbd点与Mce点之间的距离是胶水的宽度。附图说明图1示出了按照本专利技术的三维涂胶检测的流程图。图2示出了按照本专利技术的三维涂胶检测系统结构图。图3示出了按照本专利技术的三维涂胶检测中的胶体关键点图。图4示出了按照本专利技术的三维涂胶检测中的胶体高度和宽度示意图。具体实施方式为使贵审查员能进一步了解本专利技术的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本专利技术的技术方案，并非限定本专利技术。图1给出了按照本专利技术的三维涂胶检测方法的流程图。如图1所示，按照本专利技术的三维涂胶检测方法包括：第一步骤S1，系统标定，图像采集；第二步骤S2，关键点和胶区的粗略定位；第三步骤S3，关键点纠正；第四步骤S4，关键点迭代优化；第五步骤S5，三维恢复；第六步骤S6，计算涂胶的宽度和高度；所述第一步骤S1进一步包括：系统标定，主要包含相机标定与相机与机器人手眼标定。相机标定主要包括两个相机各自内参的标定以及两相机之间的相对位置的标定(即右摄像头相对于左摄像头的平移向量t和旋转矩阵R)。文中采用的是张氏平面标定法，该方法需要摄像机从不同的角度拍摄平面模板的多幅图像，通过平面模板上的每个特征点与其图像上点之间的对应关系，考虑径向畸变并用最大似然准则对计算结果进行非线性优化，利用内参数矩阵和单应性矩阵求出对应的外部参数。图像采集，系统结构图如图2所示，线结构光与双目相机通过相应的连接件被固定在机器人末端(TCP)，测量时结构光垂直照射在待检测涂胶上，双目相机从侧方向进行图像采集。所述第二步骤S2进一步包括：利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为P-net，R-net，O-net。每层网络的介绍如下。P-net网络，卷积和池化的步幅分别为1和2。该网络可以用来获得候选窗口和粘合区域的边界框的回归系数向量。详细地说，边界框被回归，候选窗口被校准，并且重叠的候选窗口被非最大抑制(NMS)合并。R-net网络，该层是对P-net的结果再进一步细划，得到更精细的候选区域，同样是通过边界框回归和NMS来去掉那些false-positive区域。O-net网络，该层比R-Net又多了一层卷积，所以处理的结果会更加精细。作用和R-Net层作用一样。但是该层对检测区域进行了更多的监督，同时还会输出5个地标(landmark)。O-Net虽然速度较慢，但是由于经过前两个网络，已经得到了高概率的边框，所以输入O-Net的图像较少，然后O-Net输出精确的边框和关键点信息。所述第三步骤S3进一步包括：关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是K(x，y)，建立多目标优化模型的目标函数。公式MinDk-l、中，表示点K(x，y)与本图中粗定位关键点之间的距离；计算出另一图像中对应的粗定位关键点的极线，Dk-l表示点K(x，y)与此极线之间的距离；表示点K(x，y)本文档来自技高网...

【技术保护点】
1.一种三维涂胶检测方法，其特征在于将线结构光与多任务级联卷积神经网络相结合，该方法包括：第一步骤，系统标定，图像采集；第二步骤，关键点和胶区的粗略定位；第三步骤，关键点纠正；第四步骤，关键点迭代优化；第五步骤，三维恢复；第六步骤，计算涂胶的宽度和高度。

【技术特征摘要】
1.一种三维涂胶检测方法，其特征在于将线结构光与多任务级联卷积神经网络相结合，该方法包括：第一步骤，系统标定，图像采集；第二步骤，关键点和胶区的粗略定位；第三步骤，关键点纠正；第四步骤，关键点迭代优化；第五步骤，三维恢复；第六步骤，计算涂胶的宽度和高度。2.如权利要求1所述的一种三维涂胶检测方法，所述第二步骤进一步包括：利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为P-net，R-net，O-net。3.如权利要求1所述的一种三维涂胶检测方法，所述第三步骤进一步包括：关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是K(x，y)，建立多目标优化模型的目标函数；公式Dk-l、中，表示点K(x，y)与本图中粗定位关键点之间的距离；计算出另一图像中对应的粗定位关键点的极线，Dk-l表示点K(x，y)与此极线之间的距离；表示点K(x，y)与本图中以粗定位关键点为中心的3×Hl像素块内的灰度质心的距离；建立多目标优化的目标函数用来最小化Dk-l和因此，我们通过公式计算最大最小化模型下的最优结果，从而求出纠正的关键点坐标K(x，y)，其中Iwidth和IHeight分别为图像的宽度和高度。4.如权利要求1所述的一种三维涂胶检测方法，所述第四步骤进一步包括：关键点迭代优化，保存本图像通过关键点纠正求得的纠正坐标，用于计算另一幅图像中的Dk-l，从而使另一...

【专利技术属性】
技术研发人员：耿磊，杜乃超，肖志涛，张芳，吴骏，杨瑞鹏，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12