【技术实现步骤摘要】
基于双目相机视差对绣花机目标针眼进行精确定位的方法
本专利技术涉及一种基于双目相机视差对绣花机目标针眼进行精确定位的方法，尤其涉及一种利用双目相机的视差构建高精度并识别穿线器和目标针眼精确位置的方法，属于绣花机自动化设计
技术介绍
绣花机断线重接的基本工作过程如下：S1绣花机发出某一针杆面线断线告警，告警信号同时输入主控电路。S2主控电路接收到面线断线告警后，启动导轨电机，将机械臂移动至发出报警的针杆附近(由于绣花机上正在运作的针杆相对位置固定，此步骤移动机械臂后的精度会在针杆的1cm以内)。S3机械臂的“手”部，预置了两个摄像头，通过两个摄像头捕捉到的针眼位置以及穿线器的相对位置，计算机械臂的移动坐标。S4通过判断针眼是否穿过，进行反馈调节直至穿过针眼。S5通过安装在绣花机机头的一个机械装置把断线架到已经穿过针眼的穿线器上。S6机械臂夹着穿线器从针眼后返回，由于穿线器上架着线，此时线就穿过了针眼。S7机械臂返回待命位置，向绣花机主控发出启动指令，绣花机继续工作。各步骤的详细说明如下。上述S1中，绣花机如何判断面线断线并发出告警信号不在本专利技术范围内，故简述如下。如图1所示，绣花机的各个机头上均装有一个转轮和一个勾线小铁丝，如图1中的绣花机的工作区域1及绣花机的机头2所示，正常工作时(未断线时)线在针杆的上下刺绣动作中带动转轮以一定的速度旋转，如图1中绣花机的工作区域1所示，并且带动勾线小铁丝以一定的频率触碰一个固定的金属片，如图1中绣花机的机头2所示，转轮的背部带有能阻断光信号的遮断片，与一个检测其转动的光耦共同组成一个检测单元。小铁丝和金属...
【技术保护点】
1.基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：该方法的实现过程如下，S1相机标定；首先定义以像素为单位的图像坐标系和以物理长度单位表示的图像坐标系；引入相机针孔模型，完成单个相机的标定；采用双目相机进行标定，即用两个相机同时拍摄标定板的图像，再进行每个相机的单独标定，最后，在每个相机单独标定完成后，求双目相机的相对位置；S2三维空间点的重建；通过两个标定好的相机同时观察空间中的绣花机目标针眼位置，通过绣花机目标针眼位置分别在左右相机中计算器成像坐标，即可求解出在空间中的真实坐标位置；S3根据图像特征建立穿线器模型和针眼模型；引入边缘检测用的Sobel算子，在得到图像的梯度之后，下一步进行非最大值抑制算法；非最大值抑制算法在边缘检测的基础上，跟踪边缘两侧的像素的亮度值；进行非最大值抑制之后，使边缘变细；再对结果图像用滞后双阙值进行限定，即使用一个最小阙值和最大阙值除去结果中的不必要部分，最终得到一个合适的模板；S4基于形状的模板匹配；在S3中得到合适的模板之后，接下来就要对相机拍摄的目标图像根据模板进行匹配和识别；S5基于深度学习的针眼位置精确检测；考虑针眼识别的特...
【技术特征摘要】
1.基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：该方法的实现过程如下，S1相机标定；首先定义以像素为单位的图像坐标系和以物理长度单位表示的图像坐标系；引入相机针孔模型，完成单个相机的标定；采用双目相机进行标定，即用两个相机同时拍摄标定板的图像，再进行每个相机的单独标定，最后，在每个相机单独标定完成后，求双目相机的相对位置；S2三维空间点的重建；通过两个标定好的相机同时观察空间中的绣花机目标针眼位置，通过绣花机目标针眼位置分别在左右相机中计算器成像坐标，即可求解出在空间中的真实坐标位置；S3根据图像特征建立穿线器模型和针眼模型；引入边缘检测用的Sobel算子，在得到图像的梯度之后，下一步进行非最大值抑制算法；非最大值抑制算法在边缘检测的基础上，跟踪边缘两侧的像素的亮度值；进行非最大值抑制之后，使边缘变细；再对结果图像用滞后双阙值进行限定，即使用一个最小阙值和最大阙值除去结果中的不必要部分，最终得到一个合适的模板；S4基于形状的模板匹配；在S3中得到合适的模板之后，接下来就要对相机拍摄的目标图像根据模板进行匹配和识别；S5基于深度学习的针眼位置精确检测；考虑针眼识别的特定场景约束并采用逐步合并的方法划分候选区域，实现对图像中针眼所在位置的精确检测定位；S6机械臂手眼标定；对图像中针眼所在位置的精确检测定位后，机械臂控制器控制机械臂就会移动到相机识别出来的目标位置，进行穿线；S7反馈调节过程判断依据是针眼中是否有穿线器；根据穿线器成功穿过针眼时所训练的模型进行检测，当穿线器穿过针眼后，固线夹沿一个固定方向移动将所夹持的线架到穿线器上，完成机械臂归位，归位过程中穿线器勾着面线退出针眼，同时就使得面线穿过针眼，穿线流程结束。2.根据权利要求1所述的基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：S1相机标定；实现过程如下，首先定义两个坐标系分别为uO0v和xO1y，uO0v中，(u，v)是以像素为单位的图像坐标系下的横纵坐标，坐标原点O0为像素点(0，0)所在的图像位置；xO1y中，(x，y)是以物理长度单位表示的图像坐标系的坐标，原点O1为相机的光轴与图像平面的交点；令每个像素在x，y轴上的实际物理尺寸为dx，dy，则有：(u0，v0)是坐标系原点O1在坐标系uO0v中的坐标；将u、v表示为齐次坐标与矩阵的形式，如下：解得上述齐次坐标与矩阵的逆关系为：引入相机针孔模型，在相机针孔的光心处建立相机坐标系(xc，yc，zc)，其xc，yc轴与x，y轴平行；f为相机焦距，世界坐标系(xw，yw，zw)用于定义P点的位置；世界坐标系与相机坐标系的坐标变换关系如下：其中，M2表示世界坐标系转换到相机坐标系的变换矩阵，R是M2中表示坐标系旋转的部分，t是M2中表示坐标系平移的部分；空间中的P点(Xw，Yw，Zw)在图像上成像为P'点(x，y)，由射影定理可知：表示为齐次坐标与矩阵形式，如下：同时将式(1)和式(2)代入，得：式(3)中第一行前两个矩阵相乘的结果矩阵中，令其第1行第1列的元素为ax、令其第2行第2列的元素为ay；所以，要通过现实坐标系中点的位置求其成像在图片上的位置，只需要知道矩阵M1，M2的值即可，由于M1只与相机的内部参数有关，故称M1为相机的内参矩阵，M2只与相机摆放的位姿有关，故称M2为相机的外参矩阵；相机标定即是求得相机的矩阵M1和M2；求机的矩阵M1，M2时候需要知道某些空间中的特征点序列P1，P2，......，Pn与其对应的在图像上的点P1'，P2'，......，Pn'的坐标，空间中的点用标定板定义；标定板中每个黑点的直径以及相邻黑点的距离都是精确已知的，其中五个特定形状的图案即由若干空心黑点组成用来判别标定板的方向；现将式(3)写为：其中，(Xwi，Ywi，Zwi，1)为空间第i个点的坐标；(ui，vi，1)为第i点的图像上的坐标，其中i＝1，2，3，j＝1，2，3，4；mij为投影矩阵M中第i行，第j列的元素；将式(4)展开，得：Zciui＝m11Xwi+m12Ywi+m13Zwi+m14Zcivi＝m21Xwi+m22Ywi+m23Zwi+m24Zci＝m31Xwi+m32Ywi+m33Zwi+m34(5)再将式(5)进行数学变换，得：m11Xwi+m12Ywi+m13Zwi+m14-uim31Xwi-uim32Xwi-uim33Xwi＝uim34m21Xwi+m22Ywi+m23Zwi+m24-vim31Xwi-vim32Xwi-vim33Xwi＝vim34(6)对于有n个已知点的标定板列出2n个方程，用矩阵形式表示如下：简写为：Km＝UK即是式(7)中等号左侧的第一个矩阵，m即是式(7)中等号左侧的第二个矩阵，U即是式(7)中等号右侧的结果矩阵；当2n＞11时，由最小二乘法求出上述齐次线性方程组的解为：m＝(KTK)-1KTU理论上，只要空间6个以上的已知点与他们的图像点坐标即求得矩阵M；实际操作时，需要远远大于6个点的已知点来减小误差，同时引入修正镜头畸变模型，如下：u，v分别是指原图像坐标系是引入镜头畸变模型后的图像坐标系的横轴、纵轴坐标；k为镜头的畸变常数；至此，完成了单个相机的标定；采用双目相机进行标定，即用两个相机同时拍摄标定板的图像，再进行每个相机的单独标定，最后，在每个相机单独标定完成后，求双目相机的相对位置；做法如下：令两个相机的外参为R1，t1和R2，t2，则对空间中任一点P，若其分别在世界坐标系、相机C1坐标系和相机C2坐标系下的坐标为Xw，Xc1，Xc2，有：Xc1＝R1Xw+t1Xc2＝R2Xw+t2上式消去Xw，得：因此，两个相机C1，C2之间的位姿关系表示为：3.根据权利要求1所述的基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：S2三维空间点的重建；实现过程如下，通过双目相机C1、C2观察空间点P(X，Y，Z)，令其在Cl所摄图片中的位置为p1(u1，v1)，在C2所摄图片中的位置为p2(u2，v2)，并且相机C1，C2已标定；由式(4)知：再由式(5)和式(6)，消去式(8)和式(9)中的Zc1和Zc2，得到关于X，Y，Z的四个线性方程：由于空间点P，是空间直线O1P1，O2P2的交点，故上述四个方程的解(X，Y，Z)即为空间点P的坐标；如此，只要通过两个标定好的相机同时观察空间中的绣花机目标针眼位置，通过绣花机目标针眼位置分别在左右相机中计算器成像坐标，即可求解出在空间中的真实坐标位置；4.根据权利要求1所述的基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：S3根据图像特征建立穿线器模型和针眼模型，实现过程如下，首先，引入边缘检测用的Sobel算子，Sobel算子包含两组3x3的矩阵，分别为横向模板及纵...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。