一种基于图像的加油机器人视觉引导的方法技术

本发明专利技术公开了一种基于图像的加油机器人视觉引导的方法，包括：基于提取的汽车圆角矩形油箱盖虚拟角点特征，对小孔成像模型的分析，建立末端相机位姿变化与图像空间特征点变化之间的定量映射关系模型；提出图像雅克比矩阵的基本概念和基于模型的图像雅克比具体表示形式，构建线性控制器进行基于有相机标定参数情况下的加油任务视觉引导仿真分析；通过卡尔曼滤波算法对无标定视觉引导任务中图像雅克比矩阵的在线估计；构建基于卡尔曼滤波估计的无标定视觉引导加油定位系统。本发明专利技术在MATLAB环境下对无标定视觉引导加油定位进行了仿真分析，验证了该方法对实现加油任务的有效性。仿真结果定位速度约10秒，机器人速度未超出安全速度，空间路径接近最优。

A method of visual guidance for refueling robot based on image

【技术实现步骤摘要】
一种基于图像的加油机器人视觉引导的方法
本专利技术属于工业机器人和视觉伺服领域，具体涉及一种基于图像的加油机器人视觉引导的方法。
技术介绍
随着我国经济社会的快速发展、交通基础设施的不断改善和居民生活水平的不断提高，我国的机动车保有量快速增加。加油站作为汽车油料补给场所，已逐渐成为民众生活中不可或缺的一部分。截止2018年底，全国加油站数量已超12万座。可见我国加油站数量庞大且还在不断增加，加油站市场巨大。随着社会的进步和科学技术的发展，机器人技术得到迅猛发展，机器人自动化设备逐渐替代传统的人力走向社会生产和服务的更多领域，而汽车加油服务领域的自动化、智能化升级改造需求也促使机器人进入加油服务领域，为顾客提供便捷的自动化加油服务体验。加油机器人则工作于加油站开放的室外环境中，加油机器人工作的室外环境状况具有多变性。加油机器人工作的加油站一般是全天不停歇营业，加油站室外存在着白天与夜晚、晴天与阴天等不同光照、阴影等变化环境影响。多变且复杂的加油站室外光照环境使得加油机器人对加油车辆目标的识别变得困难，要求加油机器人目标感知识别具有较强的鲁棒性和抗噪声能力。针对加油车辆停靠位姿随机性给自动加油运动带来的困难，需要对视觉伺服引导运动控制技术进行研究，当前，机器人视觉引导有多种实现方式，根据视觉引导系统的反馈信息源不同，视觉引导方式可以分为基于位置的视觉引导和基于图像的视觉引导以及基于两种基本视觉引导方式提出的混合视觉引导方式。张文增等基于位置视觉引导方法构造了Eye-in-Hand激光焊接机器人视觉引导系统，曲道奎等人根据自动化装配与分拣应用需求，构建了基于位置的Eye-in-Hand型双目结构光视觉引导系统，王孙安团队构建了结合Eye-to-Hand和Eye-in-Hand的基于位置视觉引导系统用于果蔬采摘任务。基于位置的视觉引导系统在机器人三维工作空间中进行伺服控制，容易得到空间最优运动轨迹。但目标位姿估计对相机和手眼标定误差及目标模型正确性敏感，且末端运动过程目标可能脱离相机视野导致控制失败，三维位姿误差估计耗时，实时性较差。
技术实现思路
为了解决
技术介绍
中存在的上述技术问题，本专利技术提供了一种基于图像的加油机器人视觉引导的方法，该方法根据相机透视模型建立了基于标定模型的图像视觉引导定位方法；其中，提出了基于自适应卡尔曼滤波的无标定视觉引导方法来提升加油机器人视觉引导加油定位的灵活性和鲁棒性，并在MATLAB环境下对无标定视觉引导加油定位进行了仿真分析，验证了所用方法对实现加油任务的有效性。本专利技术采用如下技术方案来实现的：一种基于图像的加油机器人视觉引导的方法，包括以下步骤：1)基于提取的汽车圆角矩形油箱盖虚拟角点特征，通过对小孔成像模型的分析，建立末端相机位姿变化与图像空间特征点变化之间的定量映射关系模型；2)提出图像雅克比矩阵的基本概念和基于模型的图像雅克比具体表示形式，并构建简单的线性控制器进行基于有相机标定参数情况下的加油任务视觉引导仿真分析；3)提出通过卡尔曼滤波算法实现对无标定视觉引导任务中图像雅克比矩阵的在线估计；4)构建基于卡尔曼滤波估计的无标定视觉引导加油定位系统。本专利技术进一步的改进在于，步骤1)中将视觉引导系统中的机械臂关节作为理想的速度源，使用关节速度反馈来确保关节以要求的速度移动，外部的位置环使用视觉引导反馈来确定需要的关节速度以跟踪目标。本专利技术进一步的改进在于，步骤2)中基于图像中的三个不共线特征点来研究特征点组的期望运动如何决定相机位姿的运动，具体方法如下：对于图像空间中的三个点{(ui,vi),i＝1,2,3}的情况，特征点在图像空间中变化对应的速度为因此，其雅克比矩阵写为：基于式(1)可以从图像特征点的给定特征速度计算得出相机的位姿运动速度，而目标点的特征速度通过构造线性控制器确定如下：其中，λ满足：式中：ef(k)＝(p*-p)——图像特征误差；Δvmax——机器人末端执行器运动速度上限；——图像雅克比矩阵Jp的伪逆矩阵；通过λ保证给出的机器人末端速度控制量不会超过机器人的极限运动能力；该线性控制器将在图像空间中驱动特征点p向期望的目标位置p*运动，将上式带入式(1)可得：该控制器将驱动相机运动，使目标特征点在图像空间中向期望的位置运动。本专利技术进一步的改进在于，步骤3)中将系统噪声和观测噪声近似为高斯白噪声所带来的统计不确定性误差，采用Sage-Husa自适应滤波构造时变噪声估计估值器，实时修正系统噪声和测量噪声的统计特性，具体如下：噪声qk,Qk,rk,Rk可以由时变的Sage-Husa自适应噪声统计估计器递推得到：qk＝(1-dk-1)qk-1+dk-1[xk-xk-1]式中，dk-1——遗忘因子；其满足：针对上述算法中的状态初始化，Pk作为状态估计误差的协方差矩阵，其初值取为P0＝105Imn，状态估计的初值即可采用最小二乘法获取：在加油机器人识别到油箱盖的初始视觉引导位置，通过任意给定的n步线性无关的试探运动ΔP1,…,ΔPn观察图像空间油箱盖特征变化Δf1,…,Δfn，基于试探运动所获得样本数据即可获得初始图像雅克比矩阵的估计值：初始图像雅克比矩阵的估计值根据相机透视成像的线性标定模型，进行估计计算得到，其中目标深度信息Z取为机器人末端待机平面与停车位置之间的距离1.2m；通过上面两种图像雅克比初始值估计方法，即可构造状态初始估计值从而实现利用卡尔曼滤波算法进行图像雅克比矩阵在未标定状况下的实时估计。本专利技术进一步的改进在于，步骤4)中基于KF估计环节得出的图像雅克比矩阵，进行控制律计算，得出当前末端执行器的位姿变化速度，基于DX200机器人控制柜的精确末端速度控制，驱动加油机器人末端向目标加油工位运动。本专利技术具有如下有益的技术效果：本专利技术提供的一种基于图像的加油机器人视觉引导的方法，加油机器人的加油运动任务可分解为以下四个步骤：目标搜寻运动阶段、视觉引导定位运动阶段、加油工位固定加油运动阶段和返回待机工位运动阶段。在第二阶段中，由于其中车型期望加油工位指针对于某一型号的车型，由于其结构完全一致，因此，只要加油机器人加油末端执行器运动到相对汽车油箱口某一相对固定位姿，就可以按照与该车型对应预先示教好的固定加油运动轨迹，通过机器人的工作参考点位姿变换调整实现一系列的加油动作。车型固定加油运动轨迹起点的末端执行器位姿即为该车型的期望加油工位。在执行这一系列相对固定加油动作过程中，加油机器人末端执行器与对应车型的加油运动相对轨迹与车辆停靠位姿无关，只与车型油箱口结构相关。因此，自动加油运动任务的难点在于针对于停靠位姿具有一定随机性的待加油车辆，加油机器人如何从待机运动平面通过视觉系统的反馈引导准确运动到待加油车辆车型的期望加油工位的位姿，从而为该车辆的标准加油动作实现提供前提条件。而本方法主要对视觉引导运动控制技术进行研究，探究适合加油机器人系统的视觉引导机器人运动控制技术，实现了加油机器人对停靠位姿具有一定随机性的待加油车辆的目标加油工位的跟踪定位。在使用卡尔曼滤波算法对图像雅克比矩阵元素状态向量进行估计时，由于系统的过程噪声方差Q和观测噪声方差R的统计特性难以确定，一般将其根据实际设置为符合标准高斯分布的高斯白噪声。根据经验设定的噪声统计特性如果与实际系统本文档来自技高网...

【技术保护点】
1.一种基于图像的加油机器人视觉引导的方法，其特征在于，包括以下步骤：1)基于提取的汽车圆角矩形油箱盖虚拟角点特征，通过对小孔成像模型的分析，建立末端相机位姿变化与图像空间特征点变化之间的定量映射关系模型；2)提出图像雅克比矩阵的基本概念和基于模型的图像雅克比具体表示形式，并构建简单的线性控制器进行基于有相机标定参数情况下的加油任务视觉引导仿真分析；3)提出通过卡尔曼滤波算法实现对无标定视觉引导任务中图像雅克比矩阵的在线估计；4)构建基于卡尔曼滤波估计的无标定视觉引导加油定位系统。

【技术特征摘要】
1.一种基于图像的加油机器人视觉引导的方法，其特征在于，包括以下步骤：1)基于提取的汽车圆角矩形油箱盖虚拟角点特征，通过对小孔成像模型的分析，建立末端相机位姿变化与图像空间特征点变化之间的定量映射关系模型；2)提出图像雅克比矩阵的基本概念和基于模型的图像雅克比具体表示形式，并构建简单的线性控制器进行基于有相机标定参数情况下的加油任务视觉引导仿真分析；3)提出通过卡尔曼滤波算法实现对无标定视觉引导任务中图像雅克比矩阵的在线估计；4)构建基于卡尔曼滤波估计的无标定视觉引导加油定位系统。2.根据权利要求1所述的一种基于图像的加油机器人视觉引导的方法，其特征在于，步骤1)中将视觉引导系统中的机械臂关节作为理想的速度源，使用关节速度反馈来确保关节以要求的速度移动，外部的位置环使用视觉引导反馈来确定需要的关节速度以跟踪目标。3.根据权利要求2所述的一种基于图像的加油机器人视觉引导的方法，其特征在于，步骤2)中基于图像中的三个不共线特征点来研究特征点组的期望运动如何决定相机位姿的运动，具体方法如下：对于图像空间中的三个点{(ui,vi),i＝1,2,3}的情况，特征点在图像空间中变化对应的速度为因此，其雅克比矩阵写为：基于式(1)可以从图像特征点的给定特征速度计算得出相机的位姿运动速度，而目标点的特征速度通过构造线性控制器确定如下：其中，λ满足：式中：ef(k)＝(p*-p)——图像特征误差；Δvmax——机器人末端执行器运动速度上限；——图像雅克比矩阵Jp的伪逆矩阵；通过λ保证给出的机器人末端速度控制量不会超过机器人的极限运动能力；该线性控制器将在图像空间中驱动特征点p向期望的目标位置p...

【专利技术属性】
技术研发人员：董霞，李庭屹，陶立，鲍旺，郑飞，张港，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61