一种基于机器视觉的拣选智能决策系统技术方案

本申请公开了一种基于机器视觉的拣选智能决策系统，涉及机器视觉技术领域，该航空仓储拣选系统包括拣选控制器、取货机器人、拣货机台和送货机器人，拣选控制器在确定待拣选的货物所属的目标类别以及配送目的地后，根据库存信息确定属于目标类别的货物所在的目标货篮，并控制取货机器人从仓储货架中取出目标货篮送至拣货机台。在拣货机台处通过机器视觉系统及深度学习检测算法结合从目标货篮处拣选处目标货物并输送给送货机器人，由送货机器人送至配送目的地。该系统可对仓储货架中的货物进行智能识别和柔性取货，全流程智能化程度高、支持取件范围广、拣选效率高，可满足多类型货物的复杂仓储拣选需求。货物的复杂仓储拣选需求。货物的复杂仓储拣选需求。

【技术实现步骤摘要】
一种基于机器视觉的拣选智能决策系统


[0001]本申请涉及机器视觉
，尤其是一种基于机器视觉的拣选智能决策系统。

技术介绍

[0002]民用航空在生产制造中，存在多类型物料的复杂仓储拣选需求，现有的民用航空仓储拣选模式如下：(1)仓储系统接收到物料请求后，根据库存情况将物料请求下发，生成具体出库分拣任务发送至库房分拣员，引导库房分拣员根据物料请求进行物料分拣。(2)库房分拣员在进行物料分拣时，先扫描货架信息确认是否和目标货架一致，再扫描零件信息确定是否和目标物料一致，最终确认目标物料并取出，完成出库分拣任务。(3)出库分拣任务完成后，库房分拣员触发配送请求至AGV调度系统，指派合适的AGV前往库房提取并运动目标物料。另外，仓储系统按照取出的目标物料将对应货架上对应的物料数进行更新。(4)AGV到达库房指定位置，库房分拣员将目标物料放置在AGV上，AGV将目标物料配送到物料接收工位进行加工组装。
[0003]如上介绍可以看出，目前的民用航空仓储拣选模式中，拣选工序流程较为复杂，且需要大量人工参与，导致拣选效率低，难以满足离散制造过程中的海量实时用料需求。

技术实现思路

[0004]本申请人针对上述问题及技术需求，提出了一种基于机器视觉的拣选智能决策系统，本申请的技术方案如下：
[0005]一种基于机器视觉的拣选智能决策系统，该航空仓储拣选系统包括拣选控制器、取货机器人、拣货机台和送货机器人，拣货机台包括设置在机台主体上的视觉成像模块、深度扫描模块、拾取机构和输送机，拣选控制器连接控制取货机器人、送货机器人、视觉成像模块、深度扫描模块、拾取机构和输送机；
[0006]航空仓储拣选系统实现的航空仓储拣选方法包括：
[0007]拣选控制器确定拣选任务，拣选任务用于指示待拣选的货物所属的目标类别以及配送目的地；
[0008]拣选控制器根据仓储货架的库存信息确定属于目标类别的货物所在的目标货篮，并控制取货机器人从仓储货架中取出目标货篮送至拣货机台；
[0009]拣选控制器通过视觉成像模块垂直向下朝向目标货篮的开口获取原始RGB图像、通过深度扫描模块垂直向下朝向目标货篮的开口获取原始深度矩阵；
[0010]拣选控制器对原始RGB图像和原始深度矩阵进行多维信息融合得到多维信息图像，多维信息图像中的每一个像素具有RGB信息和深度信息；
[0011]拣选控制器基于多维信息图像确定目标货物的拾取位置信息；
[0012]拣选控制器根据目标货物的拾取位置信息控制拾取机构从目标货篮中拾取得到目标货物，通过输送机输送至送货机器人，并根据拾取的目标货物更新库存信息；
[0013]拣选控制器控制送货机器人将目标货物运送至配送目的地。
[0014]本申请的有益技术效果是：
[0015]本申请公开了一种基于机器视觉的拣选智能决策系统，该系统基于机器视觉系统及深度学习检测算法结合，可以实现高效率的拣选方法，可对仓储货架中的货物进行智能识别和柔性取货，全流程智能化程度高、支持取件范围广、使用效率高，可满足民用航空离散制造过程中对无序零件备品的海量实时用料需求，满足多类型货物的复杂仓储拣选需求。
附图说明
[0016]图1是本申请一个实施例中取货机器人和拣货机台的结构示意图。
[0017]图2是本申请一个实施例中取货机器人的提箱模组处的局部结构示意图。
[0018]图3是本申请一个实施例中取货机器人和仓储货架之间的结构示意图。
[0019]图4是本申请一个实施例中拣货机台上的视觉成像模块和深度扫描模块处的局部结构示意图。
[0020]图5是本申请一个实施例中拣选控制器实现的航空仓储拣选方法的流程示意图。
[0021]图6是本申请一个实施例中得到多维信息图像的处理示意图。
[0022]图7是本申请一个实施例中得到多维信息图像的处理流程示意图。
[0023]图8是本申请一个实施例中确定目标货物及其拾取位置信息的流程示意图。
[0024]图9是本申请一个实施例中目标货物与拾取吸盘接触吸附的示意图。
具体实施方式
[0025]下面结合附图对本申请的具体实施方式做进一步说明。
[0026]本申请公开了一种基于机器视觉的拣选智能决策系统，请参考图1
‑
图3，该航空仓储拣选系统包括拣选控制器、取货机器人、拣货机台和送货机器人。
[0027]取货机器人用于从仓储货架中取出货篮并送至拣货机台进行拣选，在一个实施例中，请参考图1，取货机器人包括x轴移动机构210、旋转平台220、z轴升降机构230和提箱模组240。提箱模组240设置在z轴升降机构230上，z轴升降机构230的底部设置在旋转平台220上，旋转平台220设置在x轴移动机构210上。提箱模组240用于固定所需运送的目标货篮100，z轴升降机构230带动提箱模组240沿着z方向运动，从而调整目标货篮100的高度。旋转平台220带动提箱模组240在水平面上旋转，从而调整目标货篮100的朝向方位。x轴移动机构210带动提箱模组240在水平面上沿着x方向运动，从而调整提取的目标货篮100在x方向上的位置。
[0028]在一个实施例中，请参考图2，提箱模组240包括z轴滑块241、识别相机244、测距传感器245、取货电动拉杆242以及货篮托盘246。z轴滑块241固定在z轴升降机构230上。取货电动拉杆242沿着水平方向设置在z轴滑块241上，取货电动拉杆242的末端为吸盘243。取货电动拉杆242可沿着杆长方向相对于z轴滑块241做推拉运动、使得末端的吸盘243靠近或远离z轴滑块241。为了吸取稳定性，提箱模组240一般设置多根结构相同、相互平行且联动的取货电动拉杆242。货篮托盘246固定在z轴滑块241上且位于取货电动拉杆242的推拉范围的下方。识别相机244和测距传感器245均固定在z轴滑块241上且朝向取货电动拉杆242的末端。识别相机244可以用于对提取的目标货篮100进行识别，测距传感器245可以测量与需
要提取的目标货篮100之间的距离，然后通过推出取货电动拉杆242至该距离可以使得末端的吸盘243吸附在目标货篮100上，取货电动拉杆242回收可以将目标货篮100滑动取出并置于货篮托盘246上，保证运送过程中的稳定性，避免掉落。
[0029]如图3和图1所示，x轴移动机构210的两侧设置有仓储货架300，拣货机台设置在x轴移动机构210的一端处，x轴移动机构210、旋转平台220和z轴升降机构230驱动提箱模组240移动至相应的空间位置处并朝向仓储货架300的相应位置，以取出所需的目标货篮100，然后调整目标货篮100的高度和朝向方位，沿着x方向运动送至另一端的拣货机台处进行拣选。
[0030]请参考图1，拣货机台包括设置在机台主体110上的视觉成像模块120、深度扫描模块130、拾取机构140和输送机150。视觉成像模块120和深度扫描模块130均固定在机台主体11本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的拣选智能决策系统，其特征在于，所述航空仓储拣选系统包括拣选控制器、取货机器人、拣货机台和送货机器人，所述拣货机台包括设置在机台主体上的视觉成像模块、深度扫描模块、拾取机构和输送机，所述拣选控制器连接控制所述取货机器人、送货机器人、视觉成像模块、深度扫描模块、拾取机构和输送机；所述航空仓储拣选系统实现的航空仓储拣选方法包括：所述拣选控制器确定拣选任务，所述拣选任务用于指示待拣选的货物所属的目标类别以及配送目的地；所述拣选控制器根据仓储货架的库存信息确定属于所述目标类别的货物所在的目标货篮，并控制所述取货机器人从所述仓储货架中取出所述目标货篮送至所述拣货机台；所述拣选控制器通过所述视觉成像模块垂直向下朝向所述目标货篮的开口获取原始RGB图像、通过所述深度扫描模块垂直向下朝向所述目标货篮的开口获取原始深度矩阵；所述拣选控制器对所述原始RGB图像和所述原始深度矩阵进行多维信息融合得到多维信息图像，所述多维信息图像中的每一个像素具有RGB信息和深度信息；所述拣选控制器基于所述多维信息图像确定目标货物的拾取位置信息；所述拣选控制器根据所述目标货物的拾取位置信息控制所述拾取机构从所述目标货篮中拾取得到所述目标货物，通过所述输送机输送至所述送货机器人，并根据拾取的所述目标货物更新所述库存信息；所述拣选控制器控制所述送货机器人将所述目标货物运送至所述配送目的地。2.根据权利要求1所述的航空仓储拣选系统，其特征在于，所述基于所述多维信息图像确定目标货物的拾取位置信息的方法包括：对所述多维信息图像进行图像分割得到若干个货物候选区域；按照各个货物候选区域的区域面积从大到小的顺序，依次根据各个货物候选区域内的多维信息图像计算各个货物候选区域对应的候选货物的倾斜度；将倾斜度小于倾斜度阈值，且根据所述货物候选区域的中心点的深度信息得到的拾取高度最高的候选货物作为所述目标货物，并输出所述目标货物的货物候选区域的中心点的平面坐标以及拾取高度作为拾取位置信息。3.根据权利要求2所述的航空仓储拣选系统，其特征在于，计算各个货物候选区域对应的候选货物的倾斜度的方法包括对于每个货物候选区域：对所述货物候选区域的区域轮廓进行腐蚀滤波，得到滤波后的区域轮廓；对所述多维信息图像中位于所述滤波后的区域轮廓内的像素点的深度信息进行双边滤波后，得到局部深度矩阵；对所述局部深度矩阵进行最小包围框检测得到包围框边界；根据所述包围框边界对所述局部深度矩阵进行旋转角度校正，得到无旋转局部深度矩阵；根据所述无旋转局部深度矩阵的顶点和中心点处的像素点的深度信息计算得到所述货物候选区域对应的候选货物的倾斜度。4.根据权利要求3所述的航空仓储拣选系统，其特征在于，计算得到所述货物候选区域对应的候选货物的倾斜度的方法包括：计算所述无旋转局部深度矩阵的中心点处的采样区域内的像素点的深度信息的平均
值，得到中心区域深度；分别计算所述无旋转局部深度矩阵的每个顶点处的采样区域内的像素点的深度信息的平均值，得到四个顶点处的顶点区域深度；分别计算中心区域深度与四个顶点区域深度之间的深度差值，以四个深度差值中的最大值作为所述货物候选区域对应的候选货物的倾斜度。5.根据权利要求1所述的航空仓储拣选系统，其特征在于，对所述原始RGB图像和所述原始深度矩阵进行多维信息融合得到多维信息图像的方法包括：对所述原始RGB图像进行图像分割，提取所述目标货篮的篮筐区域内的区域切图以及第一区域坐标；对所述原始深度矩阵进行数据处理，提取所述目标货篮的篮筐区域内的区域深度矩阵以及第二区域坐标；根据所述第一区域坐标、第二区域坐标对所述区域切图和区域深度矩阵配准后进行多维融合，得到所述多维信息图像。6.根据权利要求5所述的航空仓储拣选系统，其特征在于，根据所述第一区域坐标、第二区域坐标对所述区域切图和区域深度矩阵配准后进行多维融合的方法包括：根据所述第一区域坐标确定所述区域切图的中心点以及尺寸，根据所述第二区域坐标确定所述区域深度矩阵的中心点以及尺寸；将所述区域切图的中心点与所述区域深度矩阵的中心点进行中心点对齐后，对所述区域深度矩阵进行插空值扩展至尺寸与所述区域切图的尺寸相同，得到扩充后的稀疏深度矩阵；对所述扩充后的稀疏深度矩阵执行反卷积处理，将点云密度上采样至所述区域切图的尺寸的分辨率，输出点云扩增后的扩增深度矩阵；将所述扩增深度矩阵与所述区域切图进行多维融合，得到所述多维...

【专利技术属性】
技术研发人员：丁发展，王峰，谭杭波，王鹏，
申请(专利权)人：无锡雪浪数制科技有限公司，
类型：发明
国别省市：