一种用于自动加油机器人加油盖位姿估计的方法技术

本发明专利技术公开了一种用于自动加油机器人加油盖位姿估计的方法，应用于燃油车自动加油技术领域，提出被动式双目立体视觉与视觉伺服结合的方案，被动式双目立体视觉来感知环境信息，利用立体匹配技术获得加油盖抓取点的位姿信息；另外加入了视觉伺服的方法，被动式双目相机负责前期感知任务的“粗定位”部分，即通过双目立体匹配方法计算抓取点的位姿信息的过程，视觉伺服在“粗定位”的基础上进行“精定位”，即通过视觉伺服技术引导机械臂移动到抓取点位置的过程，保证机械臂移动到加油盖抓取点位置，以便后续拧开加油盖并伸入加油枪加油。油。油。

【技术实现步骤摘要】
一种用于自动加油机器人加油盖位姿估计的方法


[0001]本专利技术涉及燃油车自动加油
，更具体的说是涉及一种用于自动加油机器人加油盖位姿估计的方法。

技术介绍

[0002]现阶段加油站绝大多数都是依靠加油工人手工进行加油，需要消耗大量的人力、物力、财力成本，且存在加油工人操作不当等问题，可能会造成安全事故，因此研发一款自动加油机器人具有广阔的应用前景。
[0003]目前加油盖感知与位姿估计领域已有方案大致分为三类：(1)第一类是通过使用激光扫描仪等昂贵设备来扫描加油盖附近区域来获得其三维信息，该种方法造价昂贵且难以满足加油站的防爆规定；(2)第二类是采用车主主动录入车辆信息的方式来匹配数据库中车辆信息，该种方法只能采集数据库中存在的车型且加油前期需要车主花费大量时间录入车辆信息，不具备灵活性；(3)第三类是采用单目工业相机，通过相机视野中加油盖的相对位置关系引导机械臂移动到加油盖附近，该种方法由于缺乏深度信息只能采取视觉伺服的方式，感知实时性较差且精度较低。
[0004]因此，如何提供一种满足自动加油感知的高精度要求的用于自动加油机器人加油盖位姿估计的方法是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种用于自动加油机器人加油盖位姿估计的方法，采用深度学习技术实现了自动加油场景中的智能感知，不需要提前人工录入信息、车辆库匹配等繁琐步骤；采用了双目立体匹配与视觉伺服相结合的方案，保证了自动加油感知的高精度要求。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一种用于自动加油机器人加油盖位姿估计的方法，具体步骤包括：
[0008]主控板与机械臂建立TCP连接，初始化双目相机连接，加载相机内部参数、手眼标定参数并初始化识别程序；
[0009]获取感兴趣区域的至少两张图片，分别对图片识别油箱外盖，计算得到位于油箱外盖中心的吸取点的位姿信息，主控板将位姿信息发送给机械臂，机械臂吸开外盖；
[0010]开启条形光源(开启条形光源，提供稳定的打光条件，得到高质量的采图结果，提高图像识别的稳定性)，获取第二感兴趣区域至少两张图片，分别对图片识别内盖把手，计算得到内盖把手抓取点的位姿信息，主控板将位姿信息发送给机械臂，机械臂移动夹爪到抓取点；
[0011]确定机械臂夹爪与加油内盖抓取点的相对位置关系，机械臂夹爪与内盖把手方向一致时，机械臂拧开加油内盖进行加油。
[0012]通过上述技术方案，本专利技术的技术效果在于，提出被动式双目立体视觉与视觉伺
服结合的方案，主动式双目视觉区别于被动式双目视觉，主要指利用激光或者红外光等光信号的往返时间来感知环境深度信息的视觉成像过程，加油站由于防爆要求一般位于开阔无遮挡的场景中，因此环境光干扰极大，采用光信号的主动式双目视觉容易受到环境光干扰，对环境感知能力弱，因此本专利技术采用被动式双目立体视觉来感知环境信息，利用立体匹配技术获得加油盖吸取点的位姿信息；被动式双目相机由于采用传统的相机成像原理获取视野内图像，对于分辨率有限的相机难以保证目标成像的精度，同时立体匹配过程中存在匹配误差，难以获取到目标的真实位置信息，因此本专利技术中加入了视觉伺服的方法，被动式双目相机负责前期感知任务的“粗定位”部分，即通过双目立体匹配方法计算抓取点的位姿信息的过程，视觉伺服在“粗定位”的基础上进行“精定位”，即通过视觉伺服技术引导机械臂移动到抓取点位置的过程，保证机械臂移动到加油盖抓取点位置，以便后续拧开加油盖并伸入加油枪加油。
[0013]优选的，在上述的一种用于自动加油机器人加油盖位姿估计的方法中，所述机械臂为六轴机械臂，所述双目相机安装在第四轴处。
[0014]优选的，在上述的一种用于自动加油机器人加油盖位姿估计的方法中，所述手眼标定参数加载的具体步骤如下：
[0015]利用机械臂提供的DH参数来求解第四轴末端的位姿数据，得到相机与第四轴末端之间的手眼标定矩阵B；
[0016]利用坐标变换，获得相机在机械臂基坐标系下的位姿变换关系；
[0017][0018]其中是相机在机械臂基坐标系下的位姿矩阵，是机械臂第四轴末端在机械臂基坐标系下的位姿矩阵，是相机在机械臂第四轴末端坐标系下的位姿矩阵。
[0019]优选的，在上述的一种用于自动加油机器人加油盖位姿估计的方法中，计算得到位于油箱外盖中心的吸取点的位姿信息具体步骤如下：
[0020]确定油箱外盖中心点作为特征点P；识别油箱外盖，拟合油箱外盖闭合轮廓，得到闭合轮廓的中心点，即油箱外盖的中心点。左、右两张图片都采用上述方法，然后进行点匹配，获得该点的世界坐标。
[0021]油箱外盖中心点分别在双目相机的左、右相机中成像为P
L
、P
R
，其中P
L
点x轴坐标为X
L
，P
R
点x轴坐标为X
R
；
[0022]视差为d＝|X
L
‑
X
R
|；O
L
与O
R
表示是两个相机的光心，光心的连线叫做基线，其距离为b；f为两相机的焦距；P点距离基线的距离为称为P点的深度信息；
[0023]利用Z＝Z计算得到得到P点的世界坐标(X,Y,Z)；
[0024]其中，x为P点在相机中的成像点的x轴坐标，y为P点在相机中的成像点的y轴坐标，f为相机的焦距，x0为相机的像素坐标系的x轴偏移值，y0为相机的像素坐标系的y轴偏移值。
[0025]优选的，在上述的一种用于自动加油机器人加油盖位姿估计的方法中，计算得到内盖把手抓取点的位姿信息具体步骤如下：
[0026]首先识别左、右两图片中的内盖把手，在内盖把手区域检测内盖把手上的两条平
行线，选择左视图中两条平行线的中心点，进而根据双目相机立体匹配原理，选取右视图中对应的匹配点；
[0027]通过检测平行线附近的边缘来判断边缘线与平行线的重合度，若边缘与平行线像素点重合度较高，则认为平行线足够准确，取平行线上的匹配点；反之则将平行线向边缘线靠拢，若重合度大于阈值，则认为靠拢成功，取靠拢后的平行线上的对应点；(计算边缘与平行线上对应像素点的距离，若距离小于设定的阈值，则认为“对应点”属于“相同点”，“对应点”为“相同点”的个数越多，重合度越高。)
[0028]匹配点分别在双目相机的左、右相机中成像为P
L
、P
R
，其中P
L
点x轴坐标为X
L
，P
R
点x轴坐标为X
R
；
[0029]视差为d＝|X
L
‑
X
R
|；O
L
与O
R
表示是两个相机的光心，光心的连线叫做基线，其距离为b；f为两相机的焦距；P点距离基线的距离为称为P点的深度信息；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动加油机器人加油盖位姿估计的方法，其特征在于，具体步骤包括：主控板与机械臂建立TCP连接，初始化双目相机连接，加载相机内部参数、手眼标定参数并初始化识别程序；获取感兴趣区域的至少两张图片，分别对图片识别油箱外盖，计算得到位于油箱外盖中心的吸取点的位姿信息，主控板将位姿信息发送给机械臂，机械臂吸开外盖；获取第二感兴趣区域至少两张图片，分别对图片识别内盖把手，计算得到内盖把手抓取点的位姿信息，主控板将位姿信息发送给机械臂，机械臂移动夹爪到抓取点；确定机械臂夹爪与加油内盖抓取点的相对位置关系，机械臂夹爪与内盖把手方向一致时，机械臂拧开加油内盖进行加油。2.根据权利要求1所述的一种用于自动加油机器人加油盖位姿估计的方法，其特征在于，所述机械臂为六轴机械臂，所述双目相机安装在第四轴处。3.根据权利要求1所述的一种用于自动加油机器人加油盖位姿估计的方法，其特征在于，所述手眼标定参数加载的具体步骤如下：利用机械臂提供的DH参数来求解第四轴末端的位姿数据，得到相机与第四轴末端之间的手眼标定矩阵B；利用坐标变换，获得相机在机械臂基坐标系下的位姿变换关系；其中是相机在机械臂基坐标系下的位姿矩阵，是机械臂第四轴末端在机械臂基坐标系下的位姿矩阵，是相机在机械臂第四轴末端坐标系下的位姿矩阵。4.根据权利要求1所述的一种用于自动加油机器人加油盖位姿估计的方法，其特征在于，计算得到位于油箱外盖中心的吸取点的位姿信息具体步骤如下：确定油箱外盖中心点作为特征点P；油箱外盖中心点分别在双目相机的左、右相机中成像为P
L
、P
R
，其中P
L
点x轴坐标为X
L
，P
R
点x轴坐标为X
R
；视差为d＝|X
L
‑
X
R
|；P点距离基线的距离为称为P点的深度信息；f为两相机的焦距；利用Z＝Z计算得到得到P点的世界坐标(X,Y,Z)，其中，x为P点在相机中的成像点的x轴坐标，y为P点在相机中的成像点的y轴坐标，f为相机的焦距，x0为相机的像素坐标系的x轴偏移值，y0为相机的...

【专利技术属性】
技术研发人员：陈俊勇，王鑫，马宏宾，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：