三维视觉引导拆垛系统技术方案

本发明专利技术公开了三维视觉引导拆垛系统，包括车厢、纸箱剖面、AGV小车、激光雷达、三维传感器和彩色相机，AGV小车上的三维激光传感器对集装箱边缘进行三维成像。本发明专利技术针对国际物流中最常见的纸箱包装，研究了一种基于三维视觉引导的拆垛系统，通过三维视觉对目标进行定位，引导卸货机构准确到达目标位置。通过大尺寸吸盘阵列，一次性实现多个纸箱的抓取，兼顾效率的同时保证了抓取的成功率，实现纸箱的自动化拆垛。拆垛。拆垛。

【技术实现步骤摘要】
三维视觉引导拆垛系统


[0001]本专利技术涉物流自动化领域，具体涉及一种基于三维视觉引导的卸车系统。

技术介绍

[0002]我国现代物流从90年代开始发展，经过30年的发展，货物装卸从人力转向半自动化，距离真正的自动化还有很长的距离，自动化装卸技术受货物类型，外形约束，技术的突破需要不断的科技创新。近年来，随着劳动力短缺，特别是粗，笨活劳动力的短缺，物流行业对自动卸车系统的巨大需求与技术发展局限的矛盾越来越严重。
[0003]在现代物流行业内，目前还没有能够完全替代人的自动化拆垛系统，主要有以下几点技术难点；1、箱装产品多样，码放规则复杂；2、货车规格尺寸多变；3、车辆停靠偏差和装卸动态偏差；4、自动化效率往往不如人工。

技术实现思路

[0004]本专利技术的目的在于：为了解决1、箱装产品多样，码放规则复杂；2、货车规格尺寸多变；3、车辆停靠偏差和装卸动态偏差；4、自动化效率往往不如人工。
[0005]本专利技术采用的技术方案如下：
[0006]三维视觉引导拆垛系统，步骤一：当搭载集装箱的卡车到达卸货平台后，AGV小车上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱边缘，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0，y0，z0，rx0，ry0，rz0)；
[0007]步骤二：计算当前AGV小车位姿与集装箱位置偏差，进行偏差矫正，使得AGV小车与集装箱位置对齐，且距离当前工作面距离为distance_w
[0008]步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置；
[0009]步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置；
[0010]步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x，y，z，rx，ry，rz，w，h)，引导吸盘阵列到达相应位置；
[0011]步骤六：完成吸取动作；
[0012]步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有为卸货的纸箱，进行步骤三。
[0013]步骤八：AGV小车向前步进，进行步骤二。
[0014]其中，所述吸盘阵总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为W
max
和H
max
,最小纸箱的长宽分别为W
min
和H
min
,则GW,GH,dx满足以下条件GW>1.1
×
W
max
，GH>0.5
×
H
max
。
[0015]其中，所述卸货为吸取中间的产品，包括以下步骤一，吸取第一排的中间箱体，两边各保留一个箱子；二，计算L1的值，依次吸取L1范围内的完整箱体；三，继续往下，至少L1范围内的完整箱体被吸取完毕。
[0016]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0017]本专利技术针对国际物流中最常见的纸箱包装，研究了一种基于三维视觉引导的拆垛系统，通过三维视觉对目标进行定位，引导卸货机构准确到达目标位置。通过大尺寸吸盘阵列，一次性实现多个纸箱的抓取，兼顾效率的同时保证了抓取的成功率，实现纸箱的自动化拆垛。
附图说明
[0018]图1所示是本发方法的流程示意图；
[0019]图2是本专利技术装置的俯视图；
[0020]图3是本专利技术装置的正视图；
[0021]图4是车厢边缘定位示意图；
[0022]图5是纸箱剖面取料顺序示意图；
[0023]图6吸盘阵列示意图。
[0024]图中标记：1、车厢；11、纸箱剖面；21、AGV小车；22、吸盘阵列；
[0025]23、激光雷达；24、三维传感器；25、彩色相机；26、传送链道。
具体实施方式
[0026]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0027]三维视觉引导拆垛系统，图2是整体方案的俯视图，图3是整体方案的正视图，其中1是集装箱车厢，由货车司机手动驾驶到自动卸货平台，并与AGV小车21进行初步对齐，11是待卸货的第一排纸箱，22是安装在三维移动模组末端的吸盘阵列，激光雷达23是用于探测AGV小车与纸箱剖面11距离的，三维传感器24是用于纸箱定位的三维传感器，彩色相机25是用于纸箱区域分割的彩色相机，26是纸箱传送链道
[0028]如图1所示是整体方案的流程图，包括以下流程
[0029]步骤一：当搭载集装箱1的卡车到达卸货平台后，AGV小车21上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱1边缘。
[0030]所述集装箱边缘如图4所示，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0，y0,z0,rx0,ry0,rz0)
[0031]步骤二：计算当前AGV小车位21姿与集装箱位置偏差，进行偏差矫正，使得AGV小车21与集装箱1位置对齐，且距离当前工作面距离为distance_w
[0032]步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置
[0033]步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置。
[0034]所述吸盘阵列如图6所示，总长为GW,总高为GH，其中吸盘间隔为dx，吸盘错位排列，吸盘阵列的每一列可以单独控制，根据实际应用场景，最大目标纸箱的长宽分别为W
max
和H
max
,最小纸箱的长宽分别为W
min
和H
min
,则GW,GH,dx应该满足以下条件
[0035][0036]GW>1.1
×
W
max
[0037]GH>0.5
×
H
max
[0038]本例中，W
max
＝1000，H
max
＝1000，W
min
＝100，H
min
＝100
[0039]GW＝1200GH＝500，dx＝50
[0040]所述卸货规则如图5所示，通常情况下优先吸取中间的产品，包括以下步骤
[0041]一：吸取第一排的中间箱体，两边各保留一个箱子
[0042]二：计算L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.三维视觉引导拆垛系统，包括步骤一：当搭载集装箱的卡车到达卸货平台后，AGV小车上的三维激光传感器对集装箱边缘进行三维成像，提取出集装箱边缘，三维成像会显示包括一定长度的集装箱内壁的图像，通过对点云拟合立方体，提取距离传感器最近的立方体端面，计算如图中圆圈所示的端面中心位姿(x0,y0,z0,rx0,ry0,rz0)；步骤二：计算当前AGV小车位姿与集装箱位置偏差，进行偏差矫正，使得AGV小车与集装箱位置对齐，且距离当前工作面距离为distance_w步骤三：开始进行卸货，先获取一张彩色图像，通过预先训练好的rcnn权重文件进行彩色图像的实例分割，计算得出每个箱体区域与坐标位置；步骤四：根据吸盘阵列的尺寸和设定的卸货规则，计算当前卸货位置；步骤五：根据提前矫正好的三维传感器与彩色相机的坐标映射关系，计算出每个箱体的6Dof坐标及吸取区域长宽(x,y,z,rx,ry,rz,w,h)，引导吸盘阵列到达相应位置；步骤六：完成吸取动作；步骤七：判断当前视野范围内的纸箱是否已经完成卸货，若完成，进行步骤八，若还有...

【专利技术属性】
技术研发人员：李力，魏国华，黄天成，
申请(专利权)人：深圳市维象智能科技有限公司，
类型：发明
国别省市：