【技术实现步骤摘要】
本专利技术属于机器人视觉领域，具体涉及一种通过双相机互视的手眼标定方法。
技术介绍
1、手眼标定是机器人视觉领域的一项关键技术，用于计算机器人与相机的相对位姿关系，并将相机感知到的信息转换到机器人坐标系下以供机器人理解感知到的信息。按照相机相对于机械臂的安装位置，可分为眼在手上标定(eye in hand calibration)与眼在手外标定(eye to hand calibration)两种。手眼标定的准确性，直接影响了机器人运动的精度和作业的质量。
2、现有的手眼标定方法有很多，但往往存在以下问题：(1)需要较为精密的、已知尺寸的标定物进行标定，如专利cn201710054683公开了一种基于可变标定目标的主动视觉相机标定方法，采用显示在液晶面板上的标定板，标定物维护成本较高，而且不适用于户外、水下等机器人需要移动并连续作业、环境相对恶劣、设备容易被损坏的作业场景。(2)标定方法往往依次标定单个相机，如专利cn202310986672公开了一种双目相机标定方法、装置及电子设备，是对单个相机进行依次标定，标定的效率较低，不适用于同时存在眼在手外与眼在手上具有多个相机的视觉系统，且不能在线标定。因此，迫切需要研发一种无需额外标定物，可以同时标定双相机和在线标定，且标定效率高的手眼标定方法。
技术实现思路
1、本专利技术的目的在于克服现有技术中存在的缺点，提供一种通过双相机互视的手眼标定方法，无需额外标定物，可以同时标定双相机和在线标定，而且通过卡尔曼滤波迭代对标定结
2、本专利技术的目的通过下述技术方案实现：
3、一种通过双相机互视的手眼标定方法，包括下述步骤：
4、(1)双相机包括设置在机械臂上的眼在手外相机即外置相机、眼在手上相机即末端相机，且双相机处于互视的姿态；
5、(2)机械臂末端沿着外置相机的坐标轴，进行等距离的平移运动或等旋转角的旋转运动，以机械臂基座坐标系为参考系，记录每次运动后末端位姿的变换；
6、(3)使用外置相机观测末端相机，构建末端相机位姿的状态转移方程和状态观测方程，使用卡尔曼滤波修正末端相机位姿；
7、(4)使用末端相机观测外置相机，利用坐标变换的性质，构建外置相机位姿的状态转移方程和状态观测方程，使用卡尔曼滤波修正外置相机位姿；
8、(5)构建标定的损失函数，根据损失函数的值决定是否重复步骤(2)、(3)、(4)，实现双相机的手眼标定。
9、在步骤(1)之前，可以先使用自标定技术，粗略给外置相机和末端相机的位姿设定一个初始值，包括下述步骤：
10、(0-1)使用两个相机从多个不同角度拍摄图像，并对拍摄到的图像进行处理，包括去噪、色彩校正、归一化等；
11、(0-2)进行立体标定计算，通过视觉算法，将两个相机的图像信息转为空间中的三维坐标，确定两个相机的外部参数，粗略得到外置相机与机械臂基座的位姿变换矩阵末端相机与机械臂末端的位姿变换矩阵作为两个相机位姿的初始值。
12、步骤(1)中，所述双相机处于互视的姿态，是指末端相机和外置相机能够相互观测到彼此，双相机的坐标系x轴和z轴平行且方向相反、y轴平行且方向相同，如图1所示。
13、步骤(2)中，所述变换的操作包括下述步骤：
14、(2-1)假设机械臂末端点在机械臂基座坐标系下的描述为e(x,y,z)，将其转为齐次坐标e(x,y,z,1)，使用外置相机与机械臂末端的变换矩阵将其转到外置相机坐标系下，得到点e′(x′,y′,z′,1)；(所述变换矩阵可以通过步骤(0-2)自标定获得的，也可以人为设置一个初值)
15、(2-2)将e′(x′,y′,z′,1)沿着外置相机的x轴(相机横向方向上)移动dx的距离，得到e″(x″,y″,z″,1)＝e(x′+dx,y′,z′,1)；
16、(2-3)使用外置相机与机械臂末端的变换矩阵，将e″(x″,y″,z″,1)转回到机械臂基座坐标系下，得
17、(2-4)使用矩阵ttranslate描述点e(x,y,z)到点e_new(x_new,y_new,z_new,1)的变换过程，e_new(x_new,y_new,z_new,1)＝ttranslate×e(x,y,z,1)；
18、(2-5)同理，使用矩阵trotate描述机械臂末端绕外置相机坐标轴进行旋转的过程，e_new(x_new,y_new,z_new,1)＝trotate×e(x,y,z,1)。
19、步骤(3)中，所述使用卡尔曼滤波修正末端相机位姿，如图3所示，包括下述步骤：
20、(3-1)以机械臂基座坐标系为参考系，建立末端相机位姿的状态转移方程，末端相机与机械臂末端刚性连接，末端相机与机械臂末端位姿同步变化；t时刻末端相机位姿可由t-1时刻的末端相机位姿framet-1和t到t-1时刻机械臂末端的位姿变换矩阵计算得到，位姿变换矩阵即步骤(2)所求的矩阵ttranslate或trotate；
21、
22、
23、wtranslatet()为机械臂末端在t时刻平移运动误差，wrotate(t)为机械臂末端在t时刻旋转运动误差；
24、(3-2)计算状态协方差矩阵：当机械臂进行仅平移运动时，协方差pt＝ttranslate×pt-1×ttranslate-1+qtranslate(t)；当机械臂进行仅旋转运动时，协方差pt＝trotate×pt-1×trotate-1+qrotate(t)；qtransltate(t)是机械臂进行位移重定位误差的协方差矩阵；qrotate(t)是机械臂进行旋转重定位误差的协方差矩阵；
25、(3-3)建立末端相机位姿的状态观测方程并计算卡尔曼增益；外置相机观测t时刻末端相机，获取末端相机的原始点云图像，并通过观测系统参数h转换到机械臂基座坐标系下，最后使用icp(iterative closest point)点云匹配算法，得到末端相机的位姿；
26、状态观测方程的定义表示为：pcdt＝h×pcd+vt，其中pcd为外置相机观察到的原始点云，vt为相机与icp算法的误差；
27、将末端相机的cad模型转为pcd点云数据格式后，通过icp算法对观测到的点云pcdt和标准模型点云pcdstandard model进行配准，获取末端相机位姿
28、计算卡尔曼增益kt＝pt×ht(h×pt×ht+rt)-1；rt为相机与icp匹配算法的误差方差；
29、(3-4)计算末端相机当前位姿的最优估计值：结合末端相机的预测值与观测值，计算t时刻末端相机位姿的最优估计值：
30、
31、(3-5)更新状态估计的协方差矩阵，pt＝(i-kth)pt。
32、步骤(4)中，所述构建外置相机位姿的状态转移方程和状态观测方程，包括下述本文档来自技高网...
【技术保护点】
1.一种通过双相机互视的手眼标定方法，其特征在于包括下述步骤：
2.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：在步骤(1)之前，先使用自标定技术，给外置相机和末端相机的位姿设定一个初始值，包括下述步骤：
3.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：步骤(1)中，所述双相机处于互视的姿态，是指末端相机和外置相机能够相互观测到彼此，双相机的坐标系x轴和z轴平行且方向相反、y轴平行且方向相同。
4.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：步骤(2)中，所述变换的操作包括下述步骤：
5.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：步骤(3)中，所述使用卡尔曼滤波修正末端相机位姿，包括下述步骤：
6.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：步骤(4)中，所述构建外置相机位姿的状态转移方程和状态观测方程，包括下述步骤：
7.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：步骤(5)中，构建标定的损失函数包
...【技术特征摘要】
1.一种通过双相机互视的手眼标定方法，其特征在于包括下述步骤：
2.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：在步骤(1)之前，先使用自标定技术，给外置相机和末端相机的位姿设定一个初始值，包括下述步骤：
3.根据权利要求1所述的通过双相机互视的手眼标定方法，其特征在于：步骤(1)中，所述双相机处于互视的姿态，是指末端相机和外置相机能够相互观测到彼此，双相机的坐标系x轴和z轴平行且方向相反、y轴平行且方向相同。
4.根据权利要求1所述的通过双相机...
【专利技术属性】
技术研发人员：熊俊涛，李泽星，姚兆燊，黄小曼，王潇，陈浩然，王佳涛，江欣璟，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。