用于在机器人拣选时快速物体检测的系统和方法技术方案

一种用于监测电子商务平台的方法和系统。该系统包括计算设备和视觉传感器。计算设备包括处理器和存储计算机可执行代码的存储设备。计算机可执行代码在处理器处执行时，被配置为：从由视觉传感器捕获的物体的图像中提取图像关键点；取得物体的模板，其中模板包括物体的至少一个模板侧表面的模板关键点；从模板侧表面中挑选两个模板关键点，并确定分别与所挑选的两个模板关键点相匹配的两个图像关键点；基于所确定的两个图像关键点，构建物体的边界框；以及精细化边界框。

System and method of fast object detection in robot picking

【技术实现步骤摘要】
用于在机器人拣选时快速物体检测的系统和方法相关申请的交叉引用在本公开的描述中引用和讨论了可以包括专利、专利申请和各种出版物的一些参考文献。提供这样的参考文献的引用和/或讨论仅是为了阐明本公开的描述，而不是承认任何这样的参考文献是本文描述的公开内容的“现有技术”。本说明书中引用和讨论的所有参考文献均以引用方式整体并入本文中，其程度如同每篇参考文献单独通过引用并入的程度相同。
本公开总体涉及机器人拣选的操作，并且更具体地涉及用于在机器人从机器人货箱(robotbin)拣选物品期间快速物体检测的系统和方法。
技术介绍
本文提供的
技术介绍
描述是为了总体上呈现本公开的背景。在此
技术介绍
部分描述的程度上，当前指定的专利技术人的工作以及描述中的在提交时可以不被描述为现有技术的方面既不明确也不暗示地被认为是针对现有技术的现有技术。机器人货箱拣选(binpicking)是仓库自动化中的重要应用。在机器人货箱拣选系统中，需要计算机视觉系统首先在运输货箱中定位出具有库存量单位(stockkeepingunit)(SKU)的物品，并且然后将每个本文档来自技高网...

【技术保护点】
1.一种用于从多个物体中确定目标物体的姿态的系统，所述系统包括计算设备和与所述计算设备通信的视觉传感器，所述计算设备包括处理器和存储计算机可执行代码的存储设备，其中，所述计算机可执行代码在所述处理器处执行时，被配置为：/n从图像中提取图像关键点，其中，所述图像是通过所述视觉传感器对感兴趣区域捕获得到的，所述感兴趣区域包括所述多个物体，并且所述关键点中的每个关键点用其位置和特征描述符来定义；/n取得所述目标物体的模板，其中，所述模板包括多个模板侧表面，所述模板侧表面中的每个模板侧表面以多个模板关键点来表征，并且所述模板关键点中的每个模板关键点用其位置和特征描述符来定义；/n将所述图像关键点与所述...

【技术特征摘要】
20181120 US 16/197,0211.一种用于从多个物体中确定目标物体的姿态的系统，所述系统包括计算设备和与所述计算设备通信的视觉传感器，所述计算设备包括处理器和存储计算机可执行代码的存储设备，其中，所述计算机可执行代码在所述处理器处执行时，被配置为：
从图像中提取图像关键点，其中，所述图像是通过所述视觉传感器对感兴趣区域捕获得到的，所述感兴趣区域包括所述多个物体，并且所述关键点中的每个关键点用其位置和特征描述符来定义；
取得所述目标物体的模板，其中，所述模板包括多个模板侧表面，所述模板侧表面中的每个模板侧表面以多个模板关键点来表征，并且所述模板关键点中的每个模板关键点用其位置和特征描述符来定义；
将所述图像关键点与所述模板侧表面中的每个模板侧表面中的所述模板关键点进行匹配；
基于所述图像关键点与所述模板侧表面中的一个模板侧表面中的所述模板关键点之间的匹配的数量，来选择所述模板侧表面中的所述一个模板侧表面；
从所选择的模板侧表面中挑选两个模板关键点，并且确定分别与所挑选的两个模板关键点匹配的两个图像关键点；
基于所确定的两个图像关键点来构建边界框，其中，所述边界框表示与所述模板的所选择的模板侧表面相对应的图像侧表面；
确定内点关键点，其中所述内点关键点位于所述边界框内部，并且在所选择的模板侧表面中具有匹配的模板关键点；
使用所述内点关键点来精细化所述边界框，
其中，基于精细化后的边界框来确定所述目标物体的姿态。


2.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为在提取图像关键点之前定义针对所述图像中的物体的掩模。


3.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为执行以下步骤：选择所述模板侧表面中具有大量匹配的一个模板侧表面，并且以预定次数迭代地从所选择的模板侧表面中挑选两个模板关键点。


4.根据权利要求3所述的系统，其中，所述模板侧表面中的每个模板侧表面被选择了占所述预定次数的百分比的次数，并且所述百分比是通过将所选择的模板侧表面中的匹配的关键点的数量除以所有所述模板侧表面中的匹配的关键点的总数量来确定的。


5.根据权利要求1所述的系统，其中，所挑选的两个模板关键点相距至少5个像素，并且所挑选的两个模板关键点中的每个模板关键点与所述图像关键点之一相匹配。


6.根据权利要求1所述的系统，
其中，所述两个模板关键点是随机地从所选择的模板侧表面中选择的；
其中，所述计算机可执行代码被配置为执行以下步骤：挑选两个模板关键点，确定两个匹配的图像关键点，构建所述边界框，确定内点关键点，以及迭代地精细化所述边界框；并且
其中，每次迭代产生精细化后的边界框，所述精细化后的边界框中的每个边界框以基于内点关键点的数量和所述精细化之前与之后的差异的置信度值来表征，并且具有最高置信度值的所述边界框用于确定所述目标物体的姿态。


7.根据权利要求6所述的系统，其中，当所述差异被定义为所述边界框和所述模板的侧表面之间的尺度变化时，在所述边界框的每个侧边缘的长度除以所述模板的所述侧表面的对应侧边缘的长度在0.8至1.25的范围之外的情况下，将所述精细化之前的所述边界框保留为所述精细化后的边界...

【专利技术属性】
技术研发人员：李想，常鹏，程辉，刘正茂，
申请(专利权)人：北京京东尚科信息技术有限公司，京东美国科技公司，
类型：发明
国别省市：北京;11