一种基于单目视觉的大型箱体测量方法技术

本发明专利技术涉及机器视觉领域，提出了一种基于单目视觉的大型箱体测量方法，包括：将合作识别靶标安装在被测箱体上，建立世界坐标系，获取靶标标志点的三维坐标；安装两个单目相机，进行相机标定，获取相机内参与坐标系转换关系；采集图像并执行图像处理单元获取唯一顺序的靶标特征点像素坐标；利用P5P测量原理进行初步定位获取识别靶标与单目相机的相对位姿；二次定位获取被测箱体的精准位姿；使用二次定位的位姿协助完成被测箱体的抓取。本发明专利技术使用两个单目相机完成对被测箱体的测量任务，避免了双目视觉的步骤繁琐与计算复杂，整体实现结构简易，便于维护，可用于多种大型箱体结构，适应性广泛。

A measurement method of large box based on monocular vision

【技术实现步骤摘要】
一种基于单目视觉的大型箱体测量方法
本专利技术涉及机器视觉领域，具体地说是一种基于单目视觉的大型箱体测量方法。
技术介绍
随着科技的进步与发展，工业无人化、快速化成为当前的研究热点。目前对于小型结构在较小工作距离的测量技术相对成熟，但是对于大尺寸结构、大工作距离的测量定位技术比较缺乏。传统的测量方法中，激光测量方式的造价高昂且对工作环境要求较高，双目视觉测量方式的计算复杂并且工作视场较小难以满足实时性需求，多目视觉的整体结构复杂，灵活性较差。单一的、传统的测量方式难以满足实现对大型物体的测量定位需求。
技术实现思路
对于上述问题，本专利技术目的在于提出一种基于单目视觉的大型箱体测量方法，解决了大型箱体在大尺度空间实现位姿测量，协助完成箱体抓取的问题。本专利技术为实现上述目的所采用的技术方案是：一种基于单目视觉的大型箱体测量方法，包括以下步骤：1)将识别靶标安装在被测箱体上，通过单目相机采集含有识别靶标的被测箱体图像，建立世界坐标系并得到识别靶标标志点的三维坐标，；2)安装两个单目相机，其中，第一单目相机用于采集被测箱体的侧面图像，第二单目相机用于采集被测箱体的顶面图像，通过两个单目相机进行相机标定，得到相机内参；3)利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，用于被测箱体的位姿测量；4)通过P5P测量方法测量得到箱体侧面识别靶标相对于第一单目相机的位置、箱体顶面识别靶标相对于第二单目相机的姿态；5)将被测箱体的位置与姿态传递到机械臂控制系统用于协助引导机械臂完成抓取。步骤1)中的识别靶标为两组，一组安装在被测箱体的侧面，用于为P5P测量提供已知世界坐标的标识标志点，作为单目初步位姿测量的测量依据，另一组安装在被测箱体顶部，作为单目二次位姿测量的测量依据。步骤2)中的相机标定分为单目相机参数标定和单目相机手眼标定。所述第一单目相机安装在机械臂基座处，用于进行初步位姿测量，所述第二单目相机安装在机械臂末端的夹取工具旁，用于进行二次位姿测量。步骤3)中所述利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，包括以下步骤：1)对单目相机采集的图像进行灰度与二值化处理；2)对处理后的图像进行特征圆提取；3)获取特征圆中心的像素坐标，即识别靶标标志点的图像像素坐标。所述识别靶标标志点的图像像素坐标与识别靶标标志点的三维坐标对应。所述P5P测量方法为：通过相机标定确定相机的内参，根据已知的识别靶标标记点的三维坐标与其在图像平面上投影的二维像素坐标，得到识别靶标所在世界坐标系与相机坐标系之间的旋转与平移关系。所述P5P测量方法具体为：空间点PW即识别靶标某一标记点的三维坐标已知，其自身所在的世界坐标系与相机坐标系之间的变换关系可写成如下模型：其中，(XC,YC,ZC,1)是空间点在相机坐标系下的齐次坐标形式，(XW,YW,ZW,1)是空间点在世界坐标的齐次坐标形式，cij为单目相机的外参矩阵参数，cij中i为外参矩阵的行坐标，j为外参矩阵的列坐标，由相机成像模型可推导如下表达式：其中，(XC,YC)为某一空间点PW在经过相机焦距归一化后的成像点坐标，(XW,YW,ZW)表示PW点的世界坐标，由上述公式可以得出，每个空间点都可以得到两个方程，根据将n个空间点所提供的2n个方程求解得到某单目相机相对于世界坐标系的外参信息cij，即识别靶标所在世界坐标系与相机坐标系之间的旋转与平移关系，进而得到被测箱体的位置或位姿。本专利技术具有以下有益效果及优点：1.本专利技术使用两个单目相机协同完成测量任务，相比于双目相机与单目相机组合定位测量的方法，本专利技术的实时性更出众，结构更简单，测量范围更全面，对位姿的计算更准确。2.本专利技术的方法整体结构简易，便于维护，采用的识别靶标可自用装卸，可用于多种大型箱体结构，适应性广泛；所采用的单目相机稳定性高且造价低廉。3.本专利技术可操作性高，通过交互界面操作完成所有功能。附图说明图1为本专利技术系统总体流程框图；图2为初步定位相机的具体工作原理示意图；图3为二次定位相机的具体工作原理示意图；图4为本专利技术系统的整体工作示意图。具体实施方式在本专利技术描述之前，需要对文中所使用的坐标系进行声明：图像像素坐标系，以采集图像的平面左上角为原点，沿图像水平向右为u轴，沿图像垂直向下为v轴；图像物理坐标系，以相机采集的图像平面中心为原点，x轴与y轴分别平行于像素坐标系的u轴与v轴，具有实际物理意义；相机坐标系，以相机光心处为原点，Xc、Yc轴平行于图像坐系的x轴、y轴；世界坐标系，以被测箱体底部中心点为坐标原点，竖直向上为Zw，沿相机光轴正向为Yw；机械臂基坐标系与机械臂吊具坐标系满足右手定则。为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施案例对本专利技术作进一步详述。如图1所示为本专利技术系统总体流程框图：步骤1：将合作识别靶标安装在被测箱体上，建立世界坐标系，获取靶标标志点的三维坐标；步骤2：安装两个单目相机，利用单目相机采集已知标定板的不同位姿下的图像，进行相机标定，获取相机内参，建立图像坐标系、相机坐标系、机械臂工具坐标系以及机械臂基坐标系之间的转换关系；步骤3：利用单目相机采集含有识别靶标的被测箱体图像，经图像处理单元获取具有唯一顺序的靶标特征点图像像素坐标；步骤4：利用P5P测量原理实现识别靶标与单目相机的相对位置与相对姿态的计算，完成对被测箱体的初步位姿测量；步骤5：重复步骤3与步骤4，完成对被测箱体的二次位姿测量；步骤6：将被测箱体的位置与姿态信息通过数据接口传递到上位机界面与机械臂控制系统用于协助引导机械臂完成抓取。图2所示的是初步定位相机的具体工作原理，其中OWXWYWZW为世界坐标系；O1uv为图像像素坐标系；O2xy为图像物理坐标系，OC1XC1YC1ZC1为初次定位相机的相机坐标系，共有两组识别靶标，每组靶标图案由5个特征圆按一定顺序构成，一组安装在被测箱体的侧面，作为单目初步定位的测量依据，用于为P5P测量提供可靠的具有已知世界坐标的识别标志点，可装卸靶标安装方便，易于更换维护，可根据实际需要安放在待测箱体的不同位置，能够应用于不同箱体。相机标定可分为单目相机参数标定与单目相机手眼标定。其中，对于单目相机参数标定的过程简述为：三维空间中的景物点通过相机光心投影到成像平面上，由成像平面上分布的感光单元将光信号转换为电信号，得到可处理的数字信息。相机坐标系中的一点PW1(XC,YC,ZC)，投影到成像平面上的点记为p(x1,y1)，根据图像像素坐标系与图像坐标系之间的关系，有如下变换：式中，(u0,v0)为光轴线在成像平面的交点，(u1,v1)为投影点pW1在图像像素坐本文档来自技高网...

【技术保护点】
1.一种基于单目视觉的大型箱体测量方法，其特征在于，包括以下步骤：/n1)将识别靶标安装在被测箱体上，通过单目相机采集含有识别靶标的被测箱体图像，建立世界坐标系并得到识别靶标标志点的三维坐标，；/n2)安装两个单目相机，其中，第一单目相机用于采集被测箱体的侧面图像，第二单目相机用于采集被测箱体的顶面图像，通过两个单目相机进行相机标定，得到相机内参；/n3)利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，用于被测箱体的位姿测量；/n4)通过P5P测量方法测量得到箱体侧面识别靶标相对于第一单目相机的位置、箱体顶面识别靶标相对于第二单目相机的姿态；/n5)将被测箱体的位置与姿态传递到机械臂控制系统用于协助引导机械臂完成抓取。/n

【技术特征摘要】
1.一种基于单目视觉的大型箱体测量方法，其特征在于，包括以下步骤：
1)将识别靶标安装在被测箱体上，通过单目相机采集含有识别靶标的被测箱体图像，建立世界坐标系并得到识别靶标标志点的三维坐标，；
2)安装两个单目相机，其中，第一单目相机用于采集被测箱体的侧面图像，第二单目相机用于采集被测箱体的顶面图像，通过两个单目相机进行相机标定，得到相机内参；
3)利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，用于被测箱体的位姿测量；
4)通过P5P测量方法测量得到箱体侧面识别靶标相对于第一单目相机的位置、箱体顶面识别靶标相对于第二单目相机的姿态；
5)将被测箱体的位置与姿态传递到机械臂控制系统用于协助引导机械臂完成抓取。


2.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，步骤1)中的识别靶标为两组，一组安装在被测箱体的侧面，用于为P5P测量提供已知世界坐标的标识标志点，作为单目初步位姿测量的测量依据，另一组安装在被测箱体顶部，作为单目二次位姿测量的测量依据。


3.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，步骤2)中的相机标定分为单目相机参数标定和单目相机手眼标定。


4.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，所述第一单目相机安装在机械臂基座处，用于进行初步位姿测量，所述第二单目相机安装在机械臂末端的夹取工具旁，用于进行二次位姿测量。


5.根据权利要求1所述的一种基于单目视觉的大型箱体测量方法，其特征在于，步骤3)中所述利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像...

【专利技术属性】
技术研发人员：刘金国，周宇琦，张鑫，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁;21