【技术实现步骤摘要】
本专利技术涉及涂胶检测领域，具体涉及一种基于涂胶轨迹的胶条图像骨架点获取方法及其应用。
技术介绍
1、用机器视觉实现涂胶检测时，需进行示教过程。该过程中需确定胶条区域内的多个骨架点，骨架点的作用为：在正式的批量工件涂胶检测过程中，新的待涂工件不断替换前一工件、被安装在检测工位中，胶机对其涂胶，视觉传感器采集最新被涂抹胶条图像，该图像记为实测图像；在实测图像中查找示教得出的骨架点的像素坐标，以实现对胶条区域的快速定位。
2、现有的胶条骨架点示教过程如下：
3、工作人员从批量待涂胶工件中挑选一个待涂胶工件为基准待涂胶工件，胶机对基准待涂胶工件涂胶，视觉传感器按照预设的采图间隔连续采集多幅胶条图像，对每幅胶条图像，人工确认图像中的胶条区域并在胶条区域的中心线上选取多个骨架点(如图1所示)，记录这些骨架点的像素坐标。这种方式需要人工参与示教，费时费力。
4、专利文件cn 108537808 b公开了一种基于机器人示教点信息的涂胶在线检测方法，该方法先在胶条图像中获取示教点先验信息，再利用示教点定位胶条区域、进行涂胶质量检测，其中，在获取示教点先验信息时，该方法采用的技术手段为：将用于机器人路径规划的示教点坐标转换为相机坐标系下的二维坐标，此步骤看似与本申请技术手段类似，但事实上，该方案中的示教点并非实际涂胶轨迹点(胶枪头坐标)，而是用于规划机器人路径的示教点，该示教点与胶枪头位置存在一定偏差，并且数量少，只能粗定位胶条区域，定位结果并不准确，为此，该技术方案还需要经过复杂的修正步骤，才能得出较为准确的
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种基于涂胶轨迹的胶条图像骨架点获取方法，本方法直接将涂胶轨迹中的离散点转换到像平面中，记录胶枪头在不同时刻的轨迹点，将这些轨迹点的二维像素坐标与图像对应存储，作为示教得出的骨架点坐标信息，本方法无需人工参与，实现了骨架点的自动化标注，具有耗时短，准确度高的特点。适用于汽车涂胶检测领域中各类型胶条图像的采图质量分析。
2、技术方案如下：
3、一种基于涂胶轨迹的胶条图像骨架点获取方法，涂胶检测时，机器人按照预先示教好的涂胶轨迹携带胶枪和视觉传感器同步移动；
4、视觉传感器在胶枪涂胶的同时，按照时间间隔t视觉传感器采集图像，根据预先存储的骨架点坐标为采集到的胶条图像标注骨架点；
5、所述预先存储的骨架点坐标通过以下步骤获取：
6、1)首次涂胶检测前，机器人按照预先示教好的涂胶轨迹携带胶枪移动，按照时间间隔t视觉传感器采集图像，记录每张图像被采集时的机器人tcp位姿，所述机器人tcp位姿包括胶枪头在机器人基坐标系下的三维坐标和四元数；
7、按照预设的时间间隔t′，记录每个时间间隔处胶枪头在机器人基坐标下的三维坐标，并将各个三维坐标依次存储到点集j；t′和t成倍数关系；
8、2)记第k张图像被采集时的机器人tcp位姿为posek＝[xk，yk，zk，q0k，q1k，q2k，q3k]，其中，(xk，yk，zk)表示在posek时胶枪头在机器人基坐标下的三维坐标，q0k，q1k，q2k，q3k表示在posek时的机器人四元数，其通过机器人控制器读取；
9、①基于posek得出转换矩阵t1：
10、
11、利用t1构建如下关系式a，求解三维坐标(x′i，y′i，z′i)对应的像素坐标(ui，vi)：
12、
13、其中，si表示归一化像平面的尺度因子，h0表示视觉传感器中相机内参矩阵的增广矩阵，t2表示手眼关系矩阵，(x′i，y′i，z′i)为表示所述点集j内存储的第i个三维坐标；
14、②将点集j内的三维坐标分别代入关系式a，获取各个三维坐标对应的像素坐标；
15、③将处于第k张图像范围内的各个像素坐标存储为第k张图像中的骨架点的坐标；
16、3)对步骤1)中记录每个机器人tcp位姿均执行步骤2)，分别存储每张图像中对应的骨架点坐标。
17、本专利技术还公开另一种基于涂胶轨迹的胶条图像骨架点获取方法，首次涂胶检测前，机器人按照预先示教好的涂胶轨迹携带胶枪移动，在此过程中，按照预设的时间间隔t′，记录每个时间间隔处胶枪头在机器人基坐标下的三维坐标，并将各个三维坐标依次存储到点集j；
18、涂胶检测时，机器人按照预先示教好的涂胶轨迹携带胶枪和视觉传感器同步移动；视觉传感器在胶枪涂胶的同时，按照时间间隔t视觉传感器采集图像；记录图像被采集时的机器人tcp位姿，所述机器人tcp位姿包括胶枪头在机器人基坐标系下的三维坐标和四元数；t′和t成倍数关系；
19、根据预先存储的点集j，利用以下步骤为采集到的胶条图像标注骨架点；
20、1)记图像被采集时的机器人tcp位姿为posek＝[xk，yk，zk，q0k，q1k，q2k，q3k]，其中，(xk，yk，zk)表示在posek时胶枪头在机器人基坐标下的三维坐标，q0k，q1k，q2k，q3k表示在posek时的机器人四元数，其通过机器人控制器读取；
21、①基于posek得出转换矩阵t1：
22、
23、利用t1构建如下关系式a，求解三维坐标(x′i，y′i，z′i)对应的像素坐标(ui，vi)：
24、
25、其中，si表示归一化像平面的尺度因子，h0表示视觉传感器中相机内参矩阵的增广矩阵，t2表示手眼关系矩阵，(x′i，y′i，z′i)为表示所述点集j内存储的第i个三维坐标；
26、②将点集j内的三维坐标分别代入关系式a，获取各个三维坐标对应的像素坐标；
27、③将处于图像范围内的各个像素坐标存储为图像中的骨架点的坐标；
28、2)对每张被采集的图像均执行步骤1)，分别存储每张图像中对应的骨架点坐标。
29、为了减少计算量加快运算速度，进一步，利用如下步骤对点集j中的数据进行筛选，将其作为新的点集j，再进行步骤②：
30、步骤a、构建关系式：
31、
32、将第k张图像四个角点的像素坐标分别代入到上述关系式的(u′，v′)中，得到四个角点像素坐标所对应的四个三维坐标(x′，y′，z′)，再基于四个三维坐标中x，y，z坐标的最小值、最大值构建搜索范围；
33、步骤b、分别判断点集j内各点是否处于步骤a得出的搜索范围，仅将在搜索范围内的点保存入新的点集j。
34、进一步，步骤③中，图像范围根据图像四个角点的像素坐标确定。
35、优选，预设的时间间隔t根据相机的帧率设置；预设的时间间隔l取值为1～t之间的正整数。
36、进一步本文档来自技高网...
【技术保护点】
1.一种基于涂胶轨迹的胶条图像骨架点获取方法，涂胶检测时，机器人按照预先示教好的涂胶轨迹携带胶枪和视觉传感器同步移动；
2.一种基于涂胶轨迹的胶条图像骨架点获取方法，首次涂胶检测前，机器人按照预先示教好的涂胶轨迹携带胶枪移动，在此过程中，按照预设的时间间隔t′，记录每个时间间隔处胶枪头在机器人基坐标下的三维坐标，并将各个三维坐标依次存储到点集J；
3.如权利要求1或2所述基于涂胶轨迹的胶条图像骨架点获取方法，其特征在于：利用如下步骤对点集J中的数据进行筛选，将其作为新的点集J，再进行步骤②：
4.如权利要求1或2所述胶条图像骨架点获取方法，其特征在于：步骤③中，图像范围根据图像四个角点的像素坐标确定。
5.如权利要求1或2所述胶条图像骨架点获取方法，其特征在于：预设的时间间隔t根据相机的帧率设置；预设的时间间隔L取值为1～t之间的正整数。
6.如权利要求1或2所述胶条图像骨架点获取方法，其特征在于：若视觉传感器中的相机有多个，每次采集图像时，根据预先存储的信息，仅处理其中一个相机采集的胶条图像，该相机记为工作相机，其采集
7.利用如权利要求1或2所述胶条图像骨架点获取方法进行补胶的方法，其特征在于，包括：涂胶检测后，对采集到胶条图像进行图像处理、获取图像中断胶区域，将断胶区域内的骨架点记为骨架点A；
8.如权利要求7所述的方法，其特征在于：根据坐标点集A规划机器人补胶路径的方式如下：
9.如权利要求7所述的方法，其特征在于：阈值I取值为1～20°、阈值II取值为5°～30°。
...【技术特征摘要】
1.一种基于涂胶轨迹的胶条图像骨架点获取方法，涂胶检测时，机器人按照预先示教好的涂胶轨迹携带胶枪和视觉传感器同步移动；
2.一种基于涂胶轨迹的胶条图像骨架点获取方法，首次涂胶检测前，机器人按照预先示教好的涂胶轨迹携带胶枪移动，在此过程中，按照预设的时间间隔t′，记录每个时间间隔处胶枪头在机器人基坐标下的三维坐标，并将各个三维坐标依次存储到点集j；
3.如权利要求1或2所述基于涂胶轨迹的胶条图像骨架点获取方法，其特征在于：利用如下步骤对点集j中的数据进行筛选，将其作为新的点集j，再进行步骤②：
4.如权利要求1或2所述胶条图像骨架点获取方法，其特征在于：步骤③中，图像范围根据图像四个角点的像素坐标确定。
5.如权利要求1或2所述胶条图像骨架点获取方法，其特征在于：预设的时间间隔t根据相机...
【专利技术属性】
技术研发人员：郭寅，郭磊，尹仕斌，
申请(专利权)人：易思维杭州科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。