SCARA机器人装配控制方法及系统技术方案

本发明专利技术公开了SCARA机器人装配控制方法及系统；属于机器人控制技术领域，所述方法包括：基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；进行视频关键帧提取处理，获得实时视频关键帧；对在传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；对移动装配目标的装配关键点进行提取处理，获得装配关键点信息；进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；生成SCARA机器人的装配规划指令，并基于装配规划指令控制SCARA机器人进行装配操作。在本发明专利技术实现了SCARA机器人对移动目标的精确装配控制。动目标的精确装配控制。动目标的精确装配控制。

【技术实现步骤摘要】
SCARA机器人装配控制方法及系统


[0001]本专利技术涉及机器人控制
，尤其涉及一种基于移动装配目标的SCARA机器人装配控制方法及系统。

技术介绍

[0002]SCARA是Selective Compliance Assembly Robot Arm的缩写，为一种应用于装配作业的机器人手臂；SCARA机器人具有3个旋转关节，最适用于平面定位；如今SCARA机器人还广泛应用于塑料工业、汽车工业、电子产品工业、药品工业和食品工业等领域；它的主要职能是搬取零件和装配工作；它的第一个轴和第二个轴具有转动特性，第三和第四个轴可以根据工作的需要的不同，制造成相应多种不同的形态，并且一个具有转动、另一个具有线性移动的特性；由于其具有特定的形状，决定了其工作范围类似于一个扇形区域。
[0003]现有的SCARA机器人一般通过示教的方式实现对SCARA机器人作业路径的控制，但由于时间的推移，可以发生作业路径的偏移而导致作业效率的降低，从而需要进行重新示教；并且无法对移动的目标进行精确的装配处理。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于移动装配目标的SCARA机器人装配控制方法及系统，实现了SCARA机器人对移动目标的精确装配控制。
[0005]为了解决上述技术问题，本专利技术实施例提供了一种基于移动装配目标的SCARA机器人装配控制方法，所述方法包括：基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
[0006]可选的，所述基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频，包括：将所述视觉传感器固定设置在所述传送带的侧上方，且所述视觉传感器所采集的视频范围覆盖所述SCARA机器人作业范围；
基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频。
[0007]可选的，所述对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧，包括：对所述实时采集视频按照预设时间间隔进行视频帧提取处理，获得提取视频帧；基于感兴趣区域算法对所述移动装配目标在所述提取视频帧中进行目标识别处理；基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧。
[0008]可选的，所述基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧，包括：判断所述提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；若存在则保留所述提取视频帧，由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
[0009]可选的，所述基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果，包括：将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，获得所述移动装配目标的三维空间特征信息；基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；所述三维目标定位模型为训练收敛的Vision Transformer模型。
[0010]可选的，所述将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，包括：将所述实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并基于所述编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；基于所述关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过解码器的融合处理，形成每一帧图像的图像特征；基于三维目标定位模型中的卷积解码器对所述图像特征解码为与所述每一帧图像尺寸相同的深度图像，其中所述深度图像中不同像素点的取值对应该位置距离视觉传感器的距离；结合所述视觉传感器的内参矩阵，通过所述视觉传感器成像逆变换将所述深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，获得所述移动装配目标的三维空间特征信息。
[0011]可选的，所述基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息，包括：
提取所述实时视频关键帧中的每一帧对应的移动装配目标图像；对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，获得确定上下左右边界的每一帧对应的移动装配目标图像；基于确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并基于加权叠加结果提取装配关键点信息。
[0012]可选的，所述基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果，包括：获得所述装配关键点信息在对应的实时视频关键帧中的像素坐标信息；结合所述视觉传感器的内参矩阵，在所述移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将所述像素坐标信息转换为三维空间位置信息，获得装配关键点对应的三维定位跟踪结果。
[0013]可选的，所述基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，包括：基于所述装配关键点对应的三维定位跟踪结果预测所述移动装配目标中的装配关键点到达预定装配区域的位置及时间；基于到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令。
[0014]另外，本专利技术实施例还提供了一种基于移动装配目标的SCARA机器人装配控制系统，所述系统包括：视频采集模块：用于基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；关键帧提取模块：用于对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；目标跟踪定位模块：用于基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于移动装配目标的SCARA机器人装配控制方法，其特征在于，所述方法包括：基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。2.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频，包括：将所述视觉传感器固定设置在所述传送带的侧上方，且所述视觉传感器所采集的视频范围覆盖所述SCARA机器人作业范围；基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频。3.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧，包括：对所述实时采集视频按照预设时间间隔进行视频帧提取处理，获得提取视频帧；基于感兴趣区域算法对所述移动装配目标在所述提取视频帧中进行目标识别处理；基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧。4.根据权利要求3所述的SCARA机器人装配控制方法，其特征在于，所述基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧，包括：判断所述提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；若存在则保留所述提取视频帧，由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。5.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果，包括：将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，获得所述移动装配目标的三维空间特征信息；基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；所述三维目标定位模型为训练收敛的Vision Transformer模型。
6.根据权利要求5所述的SCARA机器人装配控制方法，其特征在于，所述将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，包括：将所述实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并基于所述编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信息，建立每个不重...

【专利技术属性】
技术研发人员：高帆，寇慧，杜润鸣，宁南北，代剑锋，
申请(专利权)人：广东隆崎机器人有限公司，
类型：发明
国别省市：