基于视频图像的液压油缸尺寸测量和位姿估计方法及系统技术方案

本发明专利技术公开了基于视频图像的液压油缸尺寸测量和位姿估计方法及系统，属于工业自动化领域。本发明专利技术提出的方法及系统包括：(1)使用包含发光面和摄像机的成像装置对液压油缸进行连续视频拍摄；(2)使用带自旋装置的运输线使液压油缸通过成像装置时进行自转；(3)使用运行于工控机中的视频图像识别算法对包含液压油缸的高对比度视频进行检测，识别并测量液压缸筒、缸盖、活塞杆、液压锁等各部件；(4)基于视频图像中液压油缸位置的连续变化，对液压油缸的移动速度进行评估；(5)基于液压缸筒侧面的液压锁尺寸，对液压油缸的位姿进行评估。本发明专利技术获得液压油缸的尺寸、位姿和速度信息后，将进一步用于液压油缸的清洗、喷涂、抓取等操作。

【技术实现步骤摘要】
基于视频图像的液压油缸尺寸测量和位姿估计方法及系统
本专利技术涉及工业自动化
，特别涉及基于视频图像的液压油缸尺寸测量和位姿估计方法及系统。
技术介绍
液压油缸是一种将液压能转变为机械能的、做直线往复运动(或摆动运动)的液压执行元件。它结构简单、工作可靠。用它来实现往复运动时，可免去减速装置，并且没有传动间隙，运动平稳，因此在各种机械的液压系统中得到广泛应用。液压油缸应用广泛，需求量高，但其在生产制造过程中，需要装配、焊接、喷涂等多种工序，但由于缸筒和活塞杆均为铁质，重量从10千克到上百千克不等，在抓取搬运的过程中给生产工人造成诸多困难和不变。因此，亟需应用相关自动化设备或工业机器人提高生产效率并减轻工人负担，而完成液压油缸装配、焊接、喷涂等工序最基本的条件是获得液压油缸进行尺寸、位姿等信息。当前基于图像处理的工件测量方法较多，但很少有针对液压油缸的方法。一般通用性方法如专利技术专利“一种基于图像处理的工件角度自动测量装置及测量方法”(201210483489.3)能够对工作台上待测工件的位置和选装角度进行测试，但此方法适用于小型、扁平的二维平面型工件；专利技术专利“一种基于图像处理的工件多尺寸多参数测量方法”(201610673414.X)构建了一个测量平台，利用摄像机拍摄评估工件位置再使用扫描仪滑动扫描，此方法测量精度高但运行效率偏低，不适应大批量生产的液压油缸；专利技术专利“图像处理系统及处理装置、工件的拾取方法”(201710943152.9)提出一种任意工件位置进行拾取的方法，对叠放工件按照叠放高度由上而下进行拾取，同样该方法更适用于二维平面型工件；专利技术专利“一种基于多图像获取设备的工件识别与分拣装置和方法”(201610125496.4)使用了两个摄像机分别获取所有工件和单个工件的图像，识别各个工件型号并确定分拣方法，对液压油缸的生产也具备一定可操作性，但本专利技术针对液压油缸外观特性设计一种更高效、低成本并能与其他工序衔接融合的液压油缸识别测量系统。
技术实现思路
本专利技术提出一种基于视频图像的液压油缸尺寸测量和位姿估计方法及系统，获取液压油缸的尺寸、位姿和移动速度等信息用于实现工业机器人对其的抓取、装配、焊接、喷涂等操作。本专利技术的技术方案是这样实现的：一种基于视频图像的液压油缸尺寸测量和位姿估计方法及系统，所述方法包括如下步骤：S1、运输线传送：使用运输线将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转；S2、连续成像：使用成像装置对液压油缸连续拍摄，并将获取的视频图像传输给工控机进行处理S3、图像测量：在工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件S4、速度评估：在工控机中使用视频图像识别算法对视频连续多帧图像中的液压油缸位置进行测量，计算液压油缸的移动速度S5、位姿评估：在工控机中使用视频图像识别算法对液压缸筒侧面的液压锁图像可见尺寸实时测量，对液压油缸的自转角度进行计算，对液压油缸的位姿进行评估。进一步地，所述步骤S3中视频图像识别算法包括如下入步骤：S31、提取视频图像中液压油缸的外形轮廓，S32、基于液压缸筒、缸盖、活塞杆、液压锁各部件的语义位置和几何形状对液压油缸的外形轮廓进行区分定位，S33、基于摄像机标定信息对液压油缸及其液压缸筒、缸盖、活塞杆、液压锁各部件尺寸进行测量。进一步地，所述步骤S4中液压油缸移动速度的评估包括如下步骤：S41、计算液压油缸在视频连续图像帧中的像素位移，S42、根据摄像机标定信息将像素位移转换成实际移动距离，S43、除以连续图像帧对应的时间差得到移动速度。所述步骤S5中液压油缸位姿的评估为测量液压油缸在运输线上的自转角度，包括如下步骤：S51、检测液压缸筒侧面的液压锁图像可见尺寸达到最大，S52、识别此时液压锁在液压缸筒的左侧或右侧，S53、左侧则判定此时液压油缸自转角度为0°、右侧则为180°，S54、推算出任意时刻的液压油缸自转角度。基于视频图像的液压油缸尺寸测量和位姿估计方法的系统，包括运输线、成像装置和工控机，所述运输线为链条式传送线，所述运输线上按等间距悬挂用于固定液压油缸的夹紧装置，所述夹紧装置连接液压油缸的缸盖，所述夹紧装置的末端有齿轮并绕其悬挂的中轴线旋转，所述运输线上安装有齿槽或有动力的链条，带动齿轮使悬挂的液压油缸转动；所述成像装置由发光背景板和工业相机组成，所述发光背景板的高度大于悬挂状态下液压油缸的高度，所述发光背景板的宽度大于液压油缸自转一周所需时间中在运输线上的移动距离。所述工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件，所述工业相机的视野覆盖整个发光背景板。本专利技术的有益效果在于：通过上述方案形成的基于视频图像的液压油缸尺寸测量和位姿估计方法及系统，可以对液压油缸进行动态的检测跟踪和识别，实时给出液压油缸的尺寸、姿态、运行速度等信息以及各部件的位置大小等，便于工业机器人等自动化设备制定抓取、装配、焊接、喷涂等方案。本专利技术提出的系统可大量用于生产工程机械液压油缸的生产线，加快产品生产效率，减少工人负担，符合我国发展智能制造的政策要求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1示出本专利技术基于视频图像的液压油缸尺寸测量和位姿估计方法流程图；图2示出本专利技术基于视频图像的液压油缸尺寸测量和位姿估计系统组成图；图3示出液压油缸在视频图像中的位置变化。图中，101-运输线102-链条103-夹紧装置104-齿轮201-成像装置202-发光背景板203-工业相机301-工控机302-液压缸筒303-缸盖304-活塞杆305-液压锁501-下一个操作工序。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出本专利技术基于视频图像的液压油缸尺寸测量和位姿估计方法流程图概览，图2示出了本专利技术一种基于视频图像的液压油缸尺寸测量和位姿估计系统组成图概览，本专利技术方法包括以下步骤。步骤S1运输线传送：使用运输线101将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转。在实施例中，运输线101为链条式传送线，运输线101上按等间距悬挂用于固定液压油缸的夹紧装置103，夹紧装置可为夹具或挂钩，夹本文档来自技高网...

【技术保护点】
1.基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，所述方法包括如下步骤：/nS1、运输线传送：使用运输线将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转；/nS2、连续成像：使用成像装置对液压油缸连续拍摄，并将获取的视频图像传输给工控机进行处理/nS3、图像测量：在工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件/nS4、速度评估：在工控机中使用视频图像识别算法对视频连续多帧图像中的液压油缸位置进行测量，计算液压油缸的移动速度/nS5、位姿评估：在工控机中使用视频图像识别算法对液压缸筒侧面的液压锁图像可见尺寸实时测量，对液压油缸的自转角度进行计算，对液压油缸的位姿进行评估。/n

【技术特征摘要】
1.基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，所述方法包括如下步骤：
S1、运输线传送：使用运输线将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转；
S2、连续成像：使用成像装置对液压油缸连续拍摄，并将获取的视频图像传输给工控机进行处理
S3、图像测量：在工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件
S4、速度评估：在工控机中使用视频图像识别算法对视频连续多帧图像中的液压油缸位置进行测量，计算液压油缸的移动速度
S5、位姿评估：在工控机中使用视频图像识别算法对液压缸筒侧面的液压锁图像可见尺寸实时测量，对液压油缸的自转角度进行计算，对液压油缸的位姿进行评估。


2.如权利要求1所述的基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，所述步骤S3中视频图像识别算法包括如下入步骤：
S31、提取视频图像中液压油缸的外形轮廓，
S32、基于液压缸筒、缸盖、活塞杆、液压锁各部件的语义位置和几何形状对液压油缸的外形轮廓进行区分定位，
S33、基于摄像机标定信息对液压油缸及其液压缸筒、缸盖、活塞杆、液压锁各部件尺寸进行测量。


3.如权利要求1所述的基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，所述步骤S4中液压油缸移动速度的评估包括如下步骤：
S41、计算液压油缸在...

【专利技术属性】
技术研发人员：王敏，陆文杰，王静元，陈柯，
申请(专利权)人：江苏三立液压机械有限公司，
类型：发明
国别省市：江苏;32