应用于轨道吊吊具位姿检测的相机外参数标定系统及方法技术方案

本发明专利技术公开了一种应用于起重机吊具位姿检测的相机外参数标定系统及方法。该系统包括大车、小车、相机、标定装置。小车设置于大车上，小车的运动方向垂直于大车的运动方向，相机设置于小车的下表面，标定装置设置于地面，且标定装置的物理尺寸预先设定。该方法包括以下步骤：建立小车坐标系；建立相机坐标系；获取标定装置的灰度图像；根据灰度图像计算特征点在相机坐标系下的坐标值；获取特征点在小车坐标系下的坐标值；计算小车坐标系和相机坐标系的转换关系。本发明专利技术能够使标定结果更加精确，并且标定过程更加简便。

Camera external parameter calibration system and method applied to track crane sling position and position detection

The invention discloses a camera external parameter calibration system and method used for crane sling position and position detection. The system includes a cart, a car, a camera and a calibration device. The carriage is arranged on the cart, and the direction of the movement of the dolly is perpendicular to the direction of movement of the cart. The camera is arranged on the lower surface of the car, and the calibrating device is arranged on the ground, and the physical dimension of the calibrating device is preset. The method comprises the following steps: establishing vehicle coordinate system; establish the camera coordinate system; obtain the gray image calibration device; the value of the feature point coordinates in the camera coordinate system is calculated according to the gray image; to obtain the coordinates of the feature points in the car coordinate value calculation; transformation between coordinates and camera car coordinate system. The invention can make the calibration result more accurate, and the calibration process is more convenient.

【技术实现步骤摘要】
应用于轨道吊吊具位姿检测的相机外参数标定系统及方法
本专利技术涉及相机外参数的标定系统及方法，更具体地说，涉及一种应用于集装箱轨道吊吊具位姿检测的相机外参数标定系统及方法。
技术介绍
集装箱是具有一定强度、刚度、规格，且专供转运使用的大型装货容器，其转运过程是货物运输的重要环节。通常，在每个港口都有大量的集装箱需要卸载、转运到临时堆场，而后再装载到各种形式的运输工具上，其装卸过程需要投入大量的时间和人工成本。全自动化码头不仅可以提高生产效率，降低人工成本，还能够改善工人的工作环境，降低劳动强度，提高港口的综合竞争力，所以建设全自动化码头已成为国内外众多集装箱码头发展的必然趋势。全自动化码头设备主要包括岸边集装箱起重机(QC)，轨道式集装箱门式起重机(RMG)，自动导航小车(AGV)等设备。其中，轨道式集装箱门式起重机，又称为轨道吊(以下都称为轨道吊)，是专门用来装卸集装箱的一种起重机，在码头的集装箱堆场区域内作业。轨道吊是采用大车和小车编码器来进行位置定位的，使吊具粗定位于目标集装箱上方。但是，在吊具下降对准目标集装箱的作业过程中，起重机承重梁存在形变，大车轨道弯曲导致起重机位置偏斜，编码器存在定位误差等原因将使吊具位姿发生不可预期的变化，从而增加了吊具与目标集装箱对位失败的风险。因此，吊具位姿检测是实现轨道吊全自动化的一个关键技术环节，针对该技术环节，本专利技术提出了一种应用于起重机吊具位姿检测的相机外参数标定系统及方法。机器视觉是一个多学科交叉的领域，它综合了光学工程、电子信号处理、模式识别、人工智能、机械工程和软件工程等多领域知识。机器视觉系统一般由光源、镜头、摄像器件、图像存储体、监视器以及计算机系统等设备组成。光源为视觉系统提供足够的照度；镜头将被测场景中的目标成像到视觉传感器(即摄像器件)的成像面上；图像存储体负责将电信号转变为数字图像，即把每像素点的亮度转变为灰度级数据，并存储一幅或多幅图像；计算机系统负责对图像进行处理、分析、判断和识别，最终给出检测结果。电子全站仪是一种同时可以进行角度(水平角，垂直角)测量和距离(斜距，平距，高差)测量，由机械，光学，电子元件组合而成的测量仪器。只要一次安置，仪器便可以完成在该测站上所有的测量工作，故称为“全站仪”。广泛用于控制测量，细部测量，施工放样，变形观测等方面的测量工作。
技术实现思路
针对现有技术中存在的相机外参数标定过程复杂且精确度低的问题，本专利技术的目的是提供一种应用于起重机吊具位姿检测的相机外参数标定系统及方法。为实现上述目的，本专利技术采用如下技术方案：一种应用于起重机吊具位姿检测的相机外参数标定系统，包括大车、小车、相机、标定装置。小车设置于大车上，小车的运动方向垂直于大车的运动方向，相机设置于小车的下表面，标定装置设置于地面，且标定装置的物理尺寸预先设定。根据本专利技术的一实施例，标定装置包括标定板、支架、抬升机构。标定板为一水平设置的平面，其外围一圈设有矩形标识，且标定板的表面设有水平气泡。支架设置于标定板的下表面，且支架上设有抬升机构，抬升机构能够调节标定板至水平状态。根据本专利技术的一实施例，特征点选择为矩形标识的四个外顶点，或者矩形标识的所有顶点。根据本专利技术的一实施例，小车下表面的中心处设有小车坐标系的坐标原点，相机的镜头光心处设有相机坐标系的坐标原点。根据本专利技术的一实施例，相机获取标定装置上特征点的坐标位置，并根据特征点计算出相机坐标系与小车坐标系之间的转换关系。为实现上述目的，本专利技术还采用如下技术方案：一种应用于起重机吊具位姿检测的相机外参数标定方法，包括以下步骤：建立小车坐标系；建立相机坐标系；获取标定装置的灰度图像；根据灰度图像计算特征点在相机坐标系下的坐标值；获取特征点在小车坐标系下的坐标值；计算小车坐标系和相机坐标系之间的转换关系。根据本专利技术的一实施例，本专利技术还包括以下步骤：调节支架上的抬升机构，使标定装置表面处于水平状态；通过标定装置表面的水平气泡判断标定装置的水平程度。在上述技术方案中，本专利技术的应用于起重机吊具位姿检测的相机外参数标定系统及方法能够使标定结果更加精确，并且标定过程更加简便。附图说明图1是本专利技术的系统原理流程图；图2是堆场区域及坐标系信息示意图；图3a～3c是相机外参数标定装置结构示意图；图4是相机外参数标定原理示意图；图5是相机外参数标定的算法流程图。具体实施方式下面结合附图和实施例进一步说明本专利技术的技术方案。本专利技术针对轨道吊吊具位姿检测中的关键技术之一：相机外参数标定，提出了一种基于机器视觉的解决方案，并设计了本专利技术系统的标定装置，完成系统功能代码编写。本专利技术系统应用于集装箱轨道吊吊具位姿检测，从而有利于把吊具位姿信息实时地反馈至轨道吊控制单元，进而实现轨道吊控制单元对吊具的闭环控制，更准确地完成吊具对准目标集装箱位置的任务。本专利技术的系统结构图如附图1所示。安装在轨道吊小车平台上的一个工业相机，通过TCP/IP网络协议，把采集到的图像数据(包含标识)传输给工业计算机。在工业计算机中运行的标定程序，通过对图像数据的处理来获得相机的外参数。本专利技术的标定系统主要包括大车10、小车20、标定装置30和相机40，如图2、图3和图4所示。小车20设置于大车10上，小车20的运动方向垂直于大车10的运动方向，相机40设置于小车20的下表面。标定装置30设置于地面，且标定装置30的物理尺寸预先设定。作为本专利技术的一种实施方式，相机可以是工业相机、工业摄像机等各种图像获取设备，下面以最常用的工业相机40为例，但本专利技术的相机并不以此为限。本专利技术系统在堆场区域定义了两个坐标系统，如图2和图4所示，在小车20的下表面中心21处建立小车坐标系，相机40的镜头光心处建立相机坐标系。具体来说，坐标系OlXlYlZl为轨道吊小车坐标系，其中OlXl轴指向大车10前进方向，OlYl轴指向小车20前进方向，OlZl轴由右手定则确定；坐标系OcXcYcZc为工业相机坐标系，其中OcXc轴为相机成像平面的行方向，OcYc轴为相机成像平面的列方向，OcZc轴按右手定则来确定。本专利技术专利系统的目的是获得相机坐标系OcXcYcZc与小车坐标系OlXlYlZl之间的转换关系Tc→l，进而由某点P在相机坐标下的坐标值(xcp,ycp,zcp)和转换关系Tc→l就可以计算出点P在小车坐标系下的坐标值(xlp,ylp,zlp)。Leica徕卡(电子)全站仪坐标系的建立与小车坐标系保持一致，其测量结果即为小车坐标系下的坐标值。本专利技术系统设计了一种标定装置30，如图3a～3c所示。标定装置30包括水平设置的矩形标定板、支架34、抬升机构33。标定装置30安装在集装箱的堆场区域，如图2所示，占用一个集装箱的作业区。具体来说，标定板为一水平设置的平面，其外围一圈设有标识31，即标定装置30的上表面具有标识31(阴影区)，标定板表面设有水平气泡32用以判断标定装置30的水平程度。支架34设置于标定板的下表面，即标定装置30的底部安装有四个支架34。支架34上设有抬升机构33，抬升机构33配合水平气泡32可以调节标定装置30至水平状态。在作业开始之前，标定装置30有一个水平调整的流程，具体操作为：调节支架34上的抬升机构33，使标定装置30表本文档来自技高网...

【技术保护点】
一种应用于起重机吊具位姿检测的相机外参数标定系统，其特征在于：所述标定系统包括：大车、小车、相机、标定装置；所述小车设置于所述大车上，小车的运动方向垂直于大车的运动方向；所述相机设置于所述小车的下表面；所述标定装置设置于地面，且所述标定装置的物理尺寸预先设定。

【技术特征摘要】
1.一种应用于起重机吊具位姿检测的相机外参数标定系统，其特征在于：所述标定系统包括：大车、小车、相机、标定装置；所述小车设置于所述大车上，小车的运动方向垂直于大车的运动方向；所述相机设置于所述小车的下表面；所述标定装置设置于地面，且所述标定装置的物理尺寸预先设定。2.如权利要求1所述的应用于起重机吊具位姿检测的相机外参数标定系统，其特征在于：所述标定装置包括：标定板、支架、抬升机构；所述标定板为一水平设置的平面，其外围一圈设有标识，且标定板的表面设有水平气泡；所述支架设置于所述标定板的下表面，且支架上设有抬升机构，支架可通过所述抬升机构调节所述标定板至水平。3.如权利要求1所述的应用于起重机吊具位姿检测的相机外参数标定系统，其特征在于：小车下表面的中心处设有小车坐标系的坐标原点，相机的镜头光心处设有相机坐标系的坐标原点。4.如权利要求3所述的应用于起重机吊具位姿检测的相...

【专利技术属性】
技术研发人员：刘春明，余明志，方立，刘为，李孟涛，
申请(专利权)人：上海振华重工电气有限公司，上海振华重工集团股份有限公司，
类型：发明
国别省市：上海,31