基于TOF相机的货架检测定位系统及方法技术方案

本发明专利技术的基于TOF相机的货架检测定位系统及方法，其中本发明专利技术的系统包括：TOF相机；用于图像采集控制和图像数据处理的主控制器；用于连接TOF相机和主控制器的连接装置。本发明专利技术的定位方法包括：步骤A、对货架进行深度图像采集；步骤B、检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，并通过空间几何关系计算出货架中心的空间位置和姿态信息。本发明专利技术的技术方案可以为搬运机器人提供可靠准确的货架检测定位数据，从而有效避免了因单一机器人定位不准或者货架偏移而造成货物无法放入货架甚至撞损货架，很好的填补了这一技术领域的空白。一技术领域的空白。一技术领域的空白。

【技术实现步骤摘要】
基于TOF相机的货架检测定位系统及方法


[0001]本专利技术涉及工业机器人，尤其涉及一种基于TOF相机的货架检测定位系统及方法。

技术介绍

[0002]近年来物流行业以及自动驾驶行业发展迅猛。目前自动驾驶叉车,AGV小车、自动驾驶转运车已经广泛应用于物流运输，工业生产等领域。由搬运机器人将货物从货架取出或存放到货架上的场景十分普遍。但由于对货架的检测定位仍然缺乏相应的研究和可靠的检测系统。多数自主搬运机器人仍然采取依靠单一机器人定位盲放的方式进行货物到货架的放置工作，一旦机器人定位误差出现较大波动或者货架发生偏移就极易出现货物无法准确放入的状况，甚至发生撞损货架的生产事故。

技术实现思路

[0003]本专利技术的目的是提供一种可以得到货架中心的空间位置和姿态信息的基于TOF相机的货架检测定位系统及方法。
[0004]本专利技术的基于TOF相机的货架检测定位系统，包括：用于深度图像采集的TOF相机；用于图像采集控制和图像数据处理的主控制器；用于连接TOF相机和主控制器的连接装置，所述TOF相机将采集到的货架的深度图像传回主控制器；所述主控制器用于检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，再对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息。
[0005]本专利技术的基于TOF相机的货架检测定位系统，其中，所述主控制器还包括：预处理装置，用于对所述TOF相机获取的深度图像进行图像预处理。
[0006]本专利技术的基于TOF相机的货架检测定位方法,包括：步骤A、对货架进行深度图像采集；步骤B、检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，再对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息。
[0007]本专利技术的基于TOF相机的货架检测定位方法，其中，步骤A与步骤B之间还包括：对所述TOF相机获取的深度图像进行图像预处理。
[0008]本专利技术的基于TOF相机的货架检测定位方法，其中，对深度图像进行灰度值转换得到目标提取灰度图包括：根据货架区域计算出的参考深度值，将16位深度图转换成８位目标提取灰度图，各像素点灰度值计算公式如下:
表示待求取的8位目标提取灰度图单点像素值；表示16位深度图像对应的单点像素值;表示目标区域参考深度值；a表示转换因子，转换因子数值范围在0.5至1.5之间。
[0009]本专利技术的基于TOF相机的货架检测定位方法，其中，并从目标提取灰度图中检测出货架左右立柱区域包括：对目标提取灰度图进行处理，并采用进行基于增强sobel算子的边缘检测算法检测出左右立柱区域。
[0010]本专利技术的基于TOF相机的货架检测定位方法，其中，对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息包括：计算左右立柱区域对应的3D点云数据，分别对左右立柱区域内的点云数据进行双边滤波，再求点云数据均值即可分别得出左右立柱的3D坐标数据，根据空间几何关系即可得出货架中心的空间位置和姿态信息，其中3D点云数据的计算公式如下：可得出货架中心的空间位置和姿态信息，其中3D点云数据的计算公式如下：表示当前点三维空间坐标；表示当前点的像素坐标；d为当前点的深度值；表示相机的内参矩阵。
[0011]本专利技术的技术方案可以为搬运机器人提供可靠准确的货架检测定位数据，从而有效避免了因单一机器人定位不准或者货架偏移而造成货物无法放入货架甚至撞损货架，很好的填补了这一
的空白。
附图说明
[0012]图1是本专利技术的基于TOF相机的货架检测定位系统的结构示意图；图2是本专利技术的基于TOF相机的货架检测定位系统及方法的实施场景示意图；图3是本专利技术的基于TOF相机的货架检测定位系统的系统框架图；图4是本专利技术的基于TOF相机的货架检测定位方法的流程图。
具体实施方式
[0013]TOF（Time of flight）直译为“飞行时间”。其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度（距离）信息。
[0014]本专利技术的基于TOF相机的货架检测定位系统，包括：用于深度图像采集的TOF相机；用于图像采集控制和图像数据处理的主控制器；用于连接TOF相机和主控制器的连接装置，所述TOF相机将采集到的货架的深度图
像传回主控制器；所述主控制器用于检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，再对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息。
[0015]本专利技术的基于TOF相机的货架检测定位系统，其中，所述主控制器还包括：预处理装置，用于对所述TOF相机获取的深度图像进行图像预处理。
[0016]所述预处理对从TOF相机中获取的深度信息，进行包括但限于去噪声、模糊化、插值等图像预处理操作。此操作能大大提高最后判断的准确度。
[0017]本专利技术的基于TOF相机的货架检测定位方法,包括：步骤A、对货架进行深度图像采集；步骤B、检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，再对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息。
[0018]本专利技术的基于TOF相机的货架检测定位方法，其中，步骤A与步骤B之间还包括：对所述TOF相机获取的深度图像进行图像预处理。
[0019]本专利技术的基于TOF相机的货架检测定位方法，其中，对深度图像进行灰度值转换得到目标提取灰度图包括：根据货架区域计算出的参考深度值，将16位深度图转换成８位目标提取灰度图，各像素点灰度值计算公式如下:
ꢀꢀ
表示待求取的8位目标提取灰度图单点像素值；表示16位深度图像对应的单点像素值;表示目标区域参考深度值；a表示转换因子，转换因子数值范围在0.5至1.5之间。
[0020]本专利技术的基于TOF相机的货架检测定位方法，其中，并从目标提取灰度图中检测出货架左右立柱区域包括：对目标提取灰度图进行处理，并采用进行基于增强sobel算子的边缘检测算法检测出左右立柱区域。
[0021]本专利技术的基于TOF相机的货架检测定位方法，其中，对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息包括：计算左右立柱区域对应的3D点云数据，分别对左右立柱区域内的点云数据进行双边滤波，再求点云数据均值即可分别得出左右立柱的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TOF相机的货架检测定位系统，其特征在于，包括：用于深度图像采集的TOF相机；用于图像采集控制和图像数据处理的主控制器；用于连接TOF相机和主控制器的连接装置，所述TOF相机将采集到的货架的深度图像传回主控制器；所述主控制器用于检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，再对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息。2.根据权利要求1所述的基于TOF相机的货架检测定位系统，其特征在于，所述主控制器还包括：预处理装置，用于对所述TOF相机获取的深度图像进行图像预处理。3.一种基于TOF相机的货架检测定位方法,其特征在于，包括：步骤A、对货架进行深度图像采集；步骤B、检测定位出货架区域，对深度图像进行灰度值转换得到目标提取灰度图，并从目标提取灰度图中检测出货架左右立柱区域，再对货架左右立柱区域对应的点云数据进行求取和边缘信息提取，并通过空间几何关系计算出货架中心的空间位置和姿态信息。4.根据权利要求3所述的基于TOF相机的货架检测定位方法，其特征在于，步骤A与步骤B之间还包括：对所述TOF相机获取的深度图像进行图像预处理。5.根据权利要求4所述的基于T...

【专利技术属性】
技术研发人员：刘健，张琦，徐大众，黄达健，李磊，
申请(专利权)人：深圳鹏鲲智科技术有限公司，
类型：发明
国别省市：