基于机器视觉识别技术的自动定位进叉位置的方法技术

本发明专利技术涉及物资智能管理领域，特别是涉及包括有大型物资吊装的物资智能管理领域，更为具体的说是涉及基于机器视觉识别技术的自动定位进叉位置的方法，利用装卸叉孔位置精准识别以及货叉位置二次校准技术，可自动根据不同物资尺寸调整进叉距离，解决人工叉车作业方式需手动控制叉车对孔以实现物资搬运造成物资损坏问题，降低在库物资的非正常损益成本。同时，改变以往带进叉孔的重载型物资装卸依赖人工行吊和叉车作业的方式，实现该类物资的全自动装卸。

A method of automatically locating the fork position based on machine vision recognition technology

【技术实现步骤摘要】
基于机器视觉识别技术的自动定位进叉位置的方法
本专利技术涉及物资智能管理领域，特别是涉及包括有大型物资吊装的物资智能管理领域，更为具体的说是涉及基于机器视觉识别技术的自动定位进叉位置的方法。
技术介绍
机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CMOS或者CCD相机等其它图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。目前，针对带有进叉孔的重载型物资，多应用人工叉车或者行吊进行装卸作业，而受限于物资标准化程度低、规格型号多、装车方式多样化、室外堆场作业环境条件差等因素，装卸作业往往需多人协同配合，人工手动控制叉车完成进叉对孔，或者是通过手动控制的方式在行吊吊具中穿索捆绑。这种操作方式不仅作业效率低、安全性差，而且极易损坏物资，引发安全事故。因此，如何利用现有的视觉识别技术，使其应用在大型物资的仓储领域，从而替代人工，实现进叉孔自动定位是现代智能仓储领域重点研究的问题之一。
技术实现思路
本专利技术所要解决的技术问题是如何应用视觉识别技术，在大型仓储场景下实现进叉位置的自动定位。为了解决上述技术问题，本专利技术公开了基于机器视觉识别技术的自动定位进叉位置的方法，包括以下步骤：步骤1：扫描待进叉的物资，并生成物资的深度图像；步骤2：将深度图像转化为二值图像；步骤3：对二值图像进行消除噪声处理；步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定线缆盘的边界；步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内(线缆盘内)进行连通域的分析，并且将连通域按照从大到小的顺序排序；步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。作为进一步优选的技术方案，步骤3中用于消除噪声的处理方式包括滤波处理和形态学噪声滤除处理，其中滤波处理特别优选为均值滤波或者中值滤波。进一步优选的是，在步骤6中由大到小选取3个连通域。同时，作为一种优选的技术方案，步骤1中利用激光视觉传感器采集深度图像数据。更为优选的是，所述激光视觉传感器固定在叉齿上，并且位于叉齿齿根部。这里所说的齿根，是指叉齿紧挨吊具的一侧。更为优选的是，所述激光视觉传感器包括有两个，分别固定在叉齿的上、下两侧。进一步优选的，在步骤1前还包括有激光视觉传感器定位步骤，在该步骤中，激光视觉传感器边移动边扫描，当其识别到预设在系统中的符合几何形状的目标进叉口时，再对该区域进行扫描获得深度图像。更为优选的是，所述激光视觉传感器定位步骤中，还包括有垂直高度调节和水平位左右调节两个调节步骤。优选的是，先进行垂直高度调节，再进行水平位左右调节。在本专利技术公开的技术方案中利用装卸叉孔位置精准识别以及货叉位置二次校准技术，可自动根据不同物资尺寸调整进叉距离，解决人工叉车作业方式需手动控制叉车对孔以实现物资搬运造成物资损坏问题，降低在库物资的非正常损益成本。同时，改变以往带进叉孔的重载型物资装卸依赖人工行吊和叉车作业的方式，实现该类物资的全自动装卸，解决该类物资装卸工作劳动强度大、作业效率低的问题。并且还可以解决以往人工作业需要多人协同配合，安全监管困难、安全隐患大的问题，极大地提升作业人员的安全。附图说明图1为用于进叉位置识别的机械结构示意图。图2为用于进叉位置识别的二值图像局部示意图。图3为线缆盘实物图。图4为图3中的线缆盘生成的深度图像的示意图。具体实施方式为了更好的理解本专利技术，下面我们结合具体的实施例对本专利技术进行进一步的阐述。下面以线缆盘为例，来进一步说明本专利技术公开的自动定位进叉位置的方法。在本实施例中公开的基于机器视觉识别技术的自动定位进叉位置的方法，包括以下步骤：步骤1：扫描待进叉的物资，并生成物资的深度图像，如图3和图4中所示的那样，图3中为线缆盘的实物图，图4为相机形成的深度图像，深度图像是由相机直接拍摄得到的，可以借助现有的深度图像获取的手段来得到；步骤2：将深度图像转化为二值图像；深度图像转化为二值图像的处理方式可以借助现有的二值图像处理技术手段，得到的二值图像如图2中所示的那样；步骤3：对二值图像进行消除噪声处理；步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定线缆盘的边界；由于获取得到的二值图像中如图4所示，线缆盘边界外侧的空白区域是最大的连通域，因此通过这样的手段可以快速的得到线缆盘的边界。步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内(线缆盘内)进行连通域的分析，并且将连通域按照从大到小的顺序排序；步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；如图2中所示的那样，图面中的坐标系原点位于左上角，向右为X轴，向下为Y轴。步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。具体还是来看图2，在图中我们看到在图面上形成了一个白色的内接圆，这个内接圆就是用于分析的基础。将这个内接圆的半径与叉齿的外径半径进行比对，从而获得满足叉齿叉入的内接圆所在连通域。作为优选，在步骤3中用于消除噪声的处理方式包括滤波处理和形态学噪声滤除处理，其中滤波处理特别优选为均值滤波或者中值滤波。进一步优选的，在步骤6中由大到小选取3个连通域。同时，作为一种优选的技术方案，步骤本文档来自技高网...

【技术保护点】
1.基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于，包括以下步骤：/n步骤1：扫描待进叉的物资，并生成物资的深度图像；/n步骤2：将深度图像转化为二值图像；/n步骤3：对二值图像进行消除噪声处理；/n步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定线缆盘的边界；/n步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内进行连通域的分析，并且将连通域按照从大到小的顺序排序；/n步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；/n步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。/n...

【技术特征摘要】
1.基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于，包括以下步骤：
步骤1：扫描待进叉的物资，并生成物资的深度图像；
步骤2：将深度图像转化为二值图像；
步骤3：对二值图像进行消除噪声处理；
步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定线缆盘的边界；
步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内进行连通域的分析，并且将连通域按照从大到小的顺序排序；
步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；
步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。


2.根据权利要求1所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：步骤3中用于消除噪声的处理方式包括滤波处理和形态学噪声滤除处理，其中滤波处理特别优选为均值滤波...

【专利技术属性】
技术研发人员：周岳，张振华，梁晓毅，王德涛，
申请(专利权)人：周岳，
类型：发明
国别省市：江苏;32