用于识别感兴趣区的材料搬运方法、装置和系统制造方法及图纸

所公开的实施方案涉及一种材料搬运方法，该材料搬运方法基于图像捕获单元的视场生成三维(3‑D)点云数据。基于3‑D点云数据的取向数据从多个聚类区域中提取第一组聚类区域。另外，基于3‑D点云数据生成二维深度图。确定与来自第一组聚类区域的聚类区域相对应的候选区。确定聚类区域的横截面积与集装箱的横截面积的比率，该比率超过第一横截面阈值。因此，当所确定的比率超过第一横截面阈值时，确定候选区的分类分数。响应于将候选区分类为感兴趣区，限定集装箱中的防止与感兴趣区的碰撞的导航路径。

【技术实现步骤摘要】
用于识别感兴趣区的材料搬运方法、装置和系统
本公开的示例性实施方案整体涉及材料搬运系统，并且更具体地讲，涉及感兴趣区的识别。
技术介绍
在工作场所(诸如仓库)中，集装箱的装载和卸载是可由工人手动执行和/或由可能以半自主和全自主模式操作的机器辅助的常见操作。机器(诸如传送带、叉车机器、机器人纸箱装载器/卸载器等)可以用于操纵放置在集装箱、卡车或移动式自主车辆中的产品。为了使机器以完全自主模式操作，可以要求机器区分产品并且识别产品的位置以便在集装箱内安全操作。申请人已经识别出与现有方法相关联的许多缺陷和问题。通过所付努力、智慧和创新，根据本公开的实施方案的开发解决方案已经解决了许多这些识别的缺陷和问题，本文详细描述了这些解决方案的许多示例。
技术实现思路
本文的各种实施方案涉及在材料搬运环境中提供增加的安全性的方法、装置和系统。参考所要求保护的方法，一种用于材料搬运的方法可以包括由图像处理单元基于图像捕获单元的视场(FOV)生成三维(3-D)点云数据，并且FOV可以包括集装箱的内部。方法还可以包括由图像处理单元识别集装箱内部的多个聚类区域，以及由图像处理单元基于与3-D点云数据相关联的取向数据而从多个聚类区域中提取第一组聚类区域。方法还可以包括由图像处理单元基于3-D点云数据生成二维(2-D)深度图，以及由图像处理单元确定第一组聚类区域的候选区。候选区可以包括其聚类区域的横截面积与集装箱的横截面积的比率超过第一横截面阈值的聚类区域。方法还可以包括由机器学习单元确定候选区的分类分数，以及由机器学习单元在候选区的分类分数超过第一分类阈值的情况下将候选区分类为感兴趣区。方法还可以包括由处理器基于与感兴趣区相关联的数据集限定集装箱中的导航路径。导航路径可以被配置为防止与感兴趣区的碰撞。在一些情况下，生成3-D点云数据可以包括累积基于由位于材料搬运装置上的图像捕获单元捕获的FOV的点云数据生成的3-D点云数据，以及基于材料搬运装置的物品操纵器在FOV的扫描操作期间的移动而收集的运动学数据。在这种实施方案中，方法还可以包括由图像处理单元将3-D点云数据的第一格式变换为第二格式。第一格式可以对应于光检测和测距帧，并且第二格式可以对应于与图像处理单元兼容的经变换帧。在一些实施方案中，方法还包括由图像处理单元预处理3-D点云数据。预处理可以包括由图像处理单元从以第二格式的3-D点云数据中移除噪声数据点，由图像处理单元分割从中移除噪声数据点的3-D点云数据，以及由图像处理单元基于3-D点云数据的分割来确定多个聚类区域。在一些实施方案中，方法可以包括由图像处理单元至少基于第二组聚类区域相对于材料搬运装置的取向而从多个聚类区域中提取第二组聚类区域，以及由图像处理单元确定集装箱的多个聚类区域中的第二组聚类区域中的每一个的类型。第二组聚类区域中的每一个的类型可以对应于集装箱的侧壁、底板区域、或天花板区域中的一者，并且多个聚类区域中的第一组聚类区域可以对应于已停放的集装箱的后壁和产品壁。在这种实施方案中，方法还可以包括由图像处理单元获得已更新3-D点云数据。已更新3-D点云数据可以包括从中裁剪第二组聚类区域的3-D点云数据。在一些实施方案中，方法还可以包括由图像处理单元分割已更新3-D点云数据，以及由图像处理单元基于已更新3-D点云数据的分割来确定第一组聚类区域。另外，方法可以包括由图像处理单元将候选区识别为第一组聚类区域中的设置在第一组聚类区域与第二组聚类区域之间的相交区域处的聚类区域，其中候选区限定2-D深度图。在一些情况下，方法可以包括由图像处理单元将已更新3-D点云数据转换成范围图像，并且2-D深度图的生成可以基于范围图像。在这种实施方案中，方法还可以包括由处理器基于候选区的定位来生成与感兴趣区相关联的数据集，以及由处理器将与感兴趣区相关联的数据集传输到与材料搬运装置相关联的可编程逻辑控制器。在一些另外的实施方案中，方法可以包括由处理器将所识别的候选区提供给经训练的单输入卷积神经网络模块，以及由卷积神经网络模块确定与所识别的候选区相关联的分数。方法还可以包括由卷积神经网络模块在分类分数超过第二分类阈值的情况下将所识别的候选区分类为感兴趣区，其中感兴趣区是集装箱的后壁。否则，方法可以包括由卷积神经网络模块在分类分数未超过第二分类阈值的情况下将所识别的候选区分类为产品壁。在其他实施方案中，方法可以包括由处理器在分类分数未超过第二分类阈值的情况下基于与已分类感兴趣区相关联的数据集限定集装箱中的导航路径，以及由物品操纵单元控制物品操纵器以跟随导航路径，以便操纵在对应于产品壁的区域中放置在集装箱中的多个物品。在一些情况下，候选区的分类包括由机器学习单元获得候选区中的多个关键兴趣点。在多个关键兴趣点的计数超过第二分类阈值的情况下，候选区可以对应于感兴趣区。在多个关键兴趣点的计数未超过限定值的情况下，候选区可能不对应于感兴趣区。在一些实施方案中，候选区的分类还包括由机器学习单元基于多个关键兴趣点确定多个关键描述符，以及由机器学习单元确定多个关键描述符的分布。方法还可以包括由机器学习单元基于多个关键描述符的分布来生成特征向量。在一些情况下，候选区的分类还包括由机器学习单元训练机器学习模型以提供分类分数，以及由机器学习单元在特征向量的分类分数未超过第一分类阈值的情况下将候选区分类为产品壁。在一些实施方案中，方法包括由物品操纵单元控制物品操纵器以跟随导航路径并且操纵放置在集装箱中的多个物品。在其他实施方案中，方法包括在集装箱的横截面积与聚类区域的横截面积之间的差异未超过第一横截面阈值的情况下，由图像处理单元将候选区定位为感兴趣区。提供上述
技术实现思路
仅出于提供本文描述的一个或多个示例性实施方案的概述的目的，以提供对本公开的一些方面的基本理解。因此，应当理解，上述实施方案仅为示例并且不应理解为以任何方式缩小本公开的范围或实质。应当理解，除了这里总结的那些，本公开的范围还涵盖了很多可能的实施方案，这些实施方案中的一些实施方案将在下面具体实施方式及其附图中进一步解释。附图说明专利或申请文件包含至少一张彩色附图。专利局将根据必要费用的请求和支付而提供具有一张或多张彩色附图的本专利或专利申请公开的副本。可结合附图阅读例示性实施方案的描述。应当理解，为了说明的简单和清晰，图中所示的元件不一定按比例绘制。例如，元件中的一些元件的尺寸相对于其他元件被夸大。结合本公开的教导的实施方案相对于文中给出的附图示出和描述，在附图中：图1示出了用于与一个或多个实施方案使用的工作场所的图像；图2示出了根据一个或多个实施方案的可编程逻辑控制器的框图；图3示出了根据本文所述的一个或多个实施方案的3-D点云数据的图像；图4示出了根据本文所述的一个或多个实施方案的以第二格式的经变换的3-D点云数据的图像；图5示出了根据本文所述的一个或多个实施方案的更新的3-D点云数据的图像；图6A示出了根据本文所述的一个或多个实施方案的候选区的图像；本文档来自技高网...

【技术保护点】
1.一种材料搬运方法，包括：/n由图像处理单元基于图像捕获单元的视场(FOV)生成三维(3-D)点云数据，其中所述FOV包括集装箱的内部；/n由所述图像处理单元识别所述集装箱内部的多个聚类区域；/n由所述图像处理单元基于与所述3-D点云数据相关联的取向数据而从所述多个聚类区域中提取第一组聚类区域；/n由所述图像处理单元确定所述第一组聚类区域的候选区，其中所述候选区包括聚类区域；/n确定所述候选区的横截面积和所述集装箱的横截面积的比率；/n当所确定的比率超过第一横截面阈值时，由机器学习单元确定所述候选区的分类分数；/n由所述机器学习单元在所述候选区的所述分类分数超过第一分类阈值的情况下将所述候选区分类为感兴趣区；以及/n由处理器基于与所述感兴趣区相关联的数据集限定所述集装箱中的导航路径，其中所述导航路径被配置为防止与所述感兴趣区的碰撞。/n

【技术特征摘要】
20190118 US 16/251,9781.一种材料搬运方法，包括：
由图像处理单元基于图像捕获单元的视场(FOV)生成三维(3-D)点云数据，其中所述FOV包括集装箱的内部；
由所述图像处理单元识别所述集装箱内部的多个聚类区域；
由所述图像处理单元基于与所述3-D点云数据相关联的取向数据而从所述多个聚类区域中提取第一组聚类区域；
由所述图像处理单元确定所述第一组聚类区域的候选区，其中所述候选区包括聚类区域；
确定所述候选区的横截面积和所述集装箱的横截面积的比率；
当所确定的比率超过第一横截面阈值时，由机器学习单元确定所述候选区的分类分数；
由所述机器学习单元在所述候选区的所述分类分数超过第一分类阈值的情况下将所述候选区分类为感兴趣区；以及
由处理器基于与所述感兴趣区相关联的数据集限定所述集装箱中的导航路径，其中所述导航路径被配置为防止与所述感兴趣区的碰撞。


2.根据权利要求1所述的方法，其中生成所述3-D点云数据包括：累积：
基于由定位在材料搬运装置上的图像捕获单元捕获的所述FOV的点云数据生成的3-D点云数据，和
基于所述材料搬运装置的物品操纵器在所述FOV的扫描操作期间的移动而收集的运动学数据。


3.根据权利要求2所述的方法，还包括由所述图像处理单元将所述3-D点云数据的第一格式变换为第二格式，其中所述第一格式对应于光检测和测距帧，并且所述第二格式对应于与所述图像处理单元兼容的经变换帧。


4.根据权利要求3所述的方法，还包括由所述图像处理单元预处理所述3-D点云数据，其中所述预处理包括：
由所述图像处理单元从以所述第二格式的所述3-D点云数据中移除噪声数据点；
由所述图像处理单元分割从中移除所述噪声数据点的所述3-D点云数据；以及
由所述图像处理单元基于所述3-D点云数据的所述分割来确定所述多个聚类区域。


5.根据权利要求1所述的方法，还包括：
由所述图像处理单元至少基于第二组聚类区域相...

【专利技术属性】
技术研发人员：卡斯基延·尤瓦拉吉，斯里兰·帕万·坦卡萨拉，
申请(专利权)人：因特利格雷特总部有限责任公司，
类型：发明
国别省市：美国;US