物品定位方法和装置、机器人及计算机可读存储介质制造方法及图纸

本公开提供了一种物品定位方法、一种物品定位装置、一种机器人以及一种计算机可读存储介质。该物品定位方法包括：获取与物品表面相关的二维图像和与物品表面相关的三维位置信息；从二维图像中提取边缘图像；从边缘图像中提取角点数据；处理并分析所提取的角点数据，得到表征物品表面的边缘的目标多边形；从与物品表面相关的三维位置信息中确定出目标多边形的三维位置信息；以及利用目标多边形的三维位置信息确定出物品表面的位置。

【技术实现步骤摘要】
物品定位方法和装置、机器人及计算机可读存储介质
本公开涉及计算机
，更具体地，涉及一种物品定位方法、一种物品定位装置、一种机器人以及一种计算机可读存储介质。
技术介绍
随着科技的进步，机械化程度不断提高，在生产和物流过程中经常需要利用机器人抓取物品以及搬运物品。例如，在商品出库过程中，工作人员根据购物订单从货架上挑选出商品，并将商品集中到托盘上而形成商品堆垛。之后，托盘被运送到规定位置，并由机器人在视觉辅助的基础上，从商品堆垛逐一拣选商品。此时的商品处于初步包装状态，即外部包装有纸箱，形成为大小不一的物品。在实现本公开构思的过程中，专利技术人发现在利用机器人进行物品的拆垛的场景下，由于堆垛中的物品的种类和尺寸信息一般是未知的，因此现有的视觉辅助系统无法利用尺寸和模板进行辅助定位，从而给物品的精确定位带来很大难度。如果无法实现较为精确的定位，在接下来的物品抓取以及物品搬运的过程中，可能会发生无法拾取物品或出现物品掉落等情况。
技术实现思路
有鉴于此，本公开提供了一种物品定位方法、一种物品定位装置、一种机器人以及一种计算机可读存储介质。本公开的一个方面提供了一种物品定位方法，包括：获取与物品表面相关的二维图像和与上述物品表面相关的三维位置信息；从上述二维图像中提取边缘图像；从上述边缘图像中提取角点数据；处理并分析所提取的角点数据，得到表征上述物品表面的边缘的目标多边形；从上述与上述物品表面相关的三维位置信息中确定出上述目标多边形的三维位置信息；以及利用上述目标多边形的三维位置信息确定出上述物品表面的位置。根据本公开的实施例，上述物品为多个物品紧密排列而成的堆垛中的一个物品，该堆垛的至少一个方向上的多个物品的表面为具有相同边数的多边形表面。根据本公开的实施例，上述物品为长方体物品，上述处理并分析所提取的角点数据，得到表征上述物品表面的边缘的目标多边形包括：对上述角点数据进行聚类，以减少角点个数；提取由角点连接而成的多个四边形；以及从上述多个四边形中筛选得到目标矩形。根据本公开的实施例，从上述多个四边形中筛选得到目标矩形包括：从上述多个四边形中筛选出尺寸大小处于目标尺寸范围内的四边形；根据上述尺寸大小处于目标尺寸范围内的四边形之间的重合度筛选出一个或多个候选四边形；针对上述一个或多个候选四边形中的每一个候选四边形，生成与候选四边形的尺寸对应的卷积核，上述卷积核具有环带状矩形边框区域；以及利用每个候选四边形的对应的卷积核的环带状矩形边框区域对相应的候选四边形进行匹配，以得到上述目标矩形。根据本公开的实施例，利用每个候选四边形的对应的卷积核的环带状矩形边框区域对相应的候选四边形进行匹配，以得到上述目标矩形包括：对上述环带状矩形边框区域赋值1且对上述环带状矩形边框区域以外的区域赋值0；利用上述卷积核对相应的上述候选四边形进行卷积而得到卷积值；利用上述卷积值判断上述候选四边形与上述环带状矩形边框区域的匹配度是否大于规定值；以及若上述匹配度大于规定值，则将上述候选四边形确定为上述目标矩形。根据本公开的实施例，若存在多个与相应的上述环带状矩形边框区域的匹配度大于规定值的上述候选四边形，则将上述匹配度最高的候选四边形确定为上述目标矩形。根据本公开的实施例，在提取由角点连接而成的多个四边形时，提取的四边形的四个角的角度均处于80°至100°的范围内。根据本公开的实施例，在确定出上述物品表面的位置后，还包括：根据上述物品表面的位置的信息计算出用于拣选上述物品的目标拣选位姿；以及将上述目标拣选位姿发送给机器人，以使得上述机器人根据上述目标拣选位姿对上述物品进行拣选。本公开的另一方面提供了一种物品定位装置，包括：获取模块，用于获取与物品表面相关的二维图像和与上述物品表面相关的三维位置信息；边缘图像提取模块，用于从上述二维图像中提取边缘图像；角点数据提取模块，用于从上述边缘图像中提取角点数据；处理分析模块，用于处理并分析所提取的角点数据，得到表征上述物品表面的边缘的目标多边形；目标多边形位置确定模块，用于从上述与上述物品表面相关的三维位置信息中确定出上述目标多边形的三维位置信息；以及物品表面位置确定模块，用于利用上述目标多边形的三维位置信息确定出上述物品表面的位置。根据本公开的实施例，上述物品为多个物品紧密排列而成的堆垛中的一个物品，该堆垛的至少一个方向上的多个物品的表面为具有相同边数的多边形表面。根据本公开的实施例，上述物品为长方体物品，上述处理分析模块包括：角点聚类子模块，用于对上述角点数据进行聚类，以减少角点个数；四边形提取子模块，用于提取由角点连接而成的多个四边形；以及目标矩形筛选子模块，用于从上述多个四边形中筛选得到目标矩形。根据本公开的实施例，上述目标矩形筛选子模块包括：四边形初选单元，用于从上述多个四边形中筛选出尺寸大小处于目标尺寸范围内的四边形；候选四边形筛选单元，用于根据上述尺寸大小处于目标尺寸范围内的四边形之间的重合度筛选出一个或多个候选四边形；卷积核生成单元，用于针对上述一个或多个候选四边形中的每一个候选四边形，生成与候选四边形的尺寸对应的卷积核，上述卷积核具有环带状矩形边框区域；以及卷积核匹配单元，用于利用每个候选四边形的对应的卷积核的环带状矩形边框区域对相应的候选四边形进行匹配，以得到上述目标矩形。根据本公开的实施例，上述卷积核匹配单元包括：赋值子单元，用于对上述环带状矩形边框区域赋值1且对上述环带状矩形边框区域以外的区域赋值0；卷积子单元，用于利用上述卷积核对相应的上述候选四边形进行卷积而得到卷积值；判断子单元，用于利用上述卷积值判断上述候选四边形与上述环带状矩形边框区域的匹配度是否大于规定值；以及确定子单元，用于若上述匹配度大于规定值，则将上述候选四边形确定为上述目标矩形。根据本公开的实施例，若存在多个与相应的上述环带状矩形边框区域的匹配度大于规定值的上述候选四边形，则上述确定子单元将上述匹配度最高的候选四边形确定为上述目标矩形。根据本公开的实施例，上述四边形提取子模块提取的四边形的四个角的角度均处于80°至100°的范围内。根据本公开的实施例，物品定位装置还包括：目标拣选位姿计算模块，用于根据上述物品表面的位置的信息计算出用于拣选上述物品的目标拣选位姿；以及发送模块，用于将上述目标拣选位姿发送给机器人，以使得上述机器人根据上述目标拣选位姿对上述物品进行拣选。本公开的另一方面提供了一种机器人，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现上述的方法。本公开的另一方面提供了一种计算机可读存储介质，存储有可执行指令，该指令被处理器执行时使处理器实现上述的方法。根据本公开的实施例，根据获取到的与物品表面相关的二维图像和与上述物品表面相关的三维位置信息，无需使用特别的设备，就能够通过对与物品表面相关的二维图像进行一系列处理而实现物品的较为精确的定位，至少一定程度上解决了现有的视觉辅助系统本文档来自技高网...

【技术保护点】
1.一种物品定位方法，包括：/n获取与物品表面相关的二维图像和与所述物品表面相关的三维位置信息；/n从所述二维图像中提取边缘图像；/n从所述边缘图像中提取角点数据；/n处理并分析所提取的角点数据，得到表征所述物品表面的边缘的目标多边形；/n从与所述物品表面相关的三维位置信息中确定出所述目标多边形的三维位置信息；以及/n利用所述目标多边形的三维位置信息确定出所述物品表面的位置。/n

【技术特征摘要】
1.一种物品定位方法，包括：
获取与物品表面相关的二维图像和与所述物品表面相关的三维位置信息；
从所述二维图像中提取边缘图像；
从所述边缘图像中提取角点数据；
处理并分析所提取的角点数据，得到表征所述物品表面的边缘的目标多边形；
从与所述物品表面相关的三维位置信息中确定出所述目标多边形的三维位置信息；以及
利用所述目标多边形的三维位置信息确定出所述物品表面的位置。


2.根据权利要求1所述的方法，其中，所述物品为多个物品紧密排列而成的堆垛中的一个物品，该堆垛的至少一个方向上的多个物品的表面为具有相同边数的多边形表面。


3.根据权利要求2所述的方法，其中，所述物品为长方体物品，
所述处理并分析所提取的角点数据，得到表征所述物品表面的边缘的目标多边形包括：
对所述角点数据进行聚类，以减少角点个数；
提取由角点连接而成的多个四边形；以及
从所述多个四边形中筛选得到目标矩形。


4.根据权利要求3所述的方法，其中，从所述多个四边形中筛选得到目标矩形包括：
从所述多个四边形中筛选出尺寸大小处于目标尺寸范围内的四边形；
根据所述尺寸大小处于目标尺寸范围内的四边形之间的重合度筛选出一个或多个候选四边形；
针对所述一个或多个候选四边形中的每一个候选四边形，生成与候选四边形的尺寸对应的卷积核，所述卷积核具有环带状矩形边框区域；以及
利用每个候选四边形的对应的卷积核的环带状矩形边框区域对相应的候选四边形进行匹配，以得到所述目标矩形。


5.根据权利要求4所述的方法，其中，利用每个候选四边形的对应的卷积核的环带状矩形边框区域对相应的候选四边形进行匹配，以得到所述目标矩形包括：
对所述环带状矩形边框区域赋值1且对所述环带状矩形边框区域以外的区域赋值0；
利用所述卷积核对相应的所述候选四边形进行卷积而得到卷积值；
利用所...

【专利技术属性】
技术研发人员：刘伟峰，万保成，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：北京;11