一种基于激光雷达及相机融合的仓库物资管控方法技术

本发明专利技术公开一种基于激光雷达及相机融合的仓库物资管控方法，旨在解决目前仓库监控采用相机监控导致出现目标检测假阳性的问题，包括：获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；在图像上划定禁止乱堆放物资区域，得到基于设备坐标系的三维电子围栏闭合区域；分别进行检测得到相机检测结果和激光雷达初步检测结果；将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果；激光雷达和相机联合管控，对物资进行检测判断。本发明专利技术的方法解决了目标检测假阳性的问题，大大提升了检测的准确性。的准确性。的准确性。

【技术实现步骤摘要】
一种基于激光雷达及相机融合的仓库物资管控方法


[0001]本专利技术涉及物资管控
，具体涉及一种基于激光雷达及相机融合的仓库物资管控方法。

技术介绍

[0002]目前的仓库监控技术仅仅依赖于监控枪机的画面检测，并根据现场人员判断是否存在物资乱堆放和违规操作的问题。对于仓库管控，人员违规行为、物资物料乱堆放的问题仅依赖于监控摄像头完全不能判断，通过监控枪机对仓库过道或者规定区域进行物资检测不能达到完全准确的效果，甚至可能由于光线等问题出现目标检测假阳性的问题；导致检测结果不精确，甚至定位失败。
[0003]相比较于相机监控，激光雷达不受外部光照影响，能够在弱光等环境下稳定工作，并能够获得物体的形状大小和深度，但不能够扫描出物体的具体纹理、颜色、类别等信息，缺乏捕捉具体信息的能力。当基于图像目标检测物资出现假阳性、错误检测的问题时，仅仅依赖于相机不能解决是否存在假阳性的问题。
[0004]在中国专利文献上公开的“一种基于计算机视觉的新能源备品备件仓库智能管理方法”，其公开号为CN114971483A，公开了一种基于计算机视觉的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，包括以下步骤：S1，获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；S2，在图像上划定禁止乱堆放物资区域，经过矩阵转换至设备坐标系下，得到基于设备坐标系的三维电子围栏闭合区域；S3，采用改进后的YOLOv5检测网络进行目标检测，得到相机检测结果；采用改进后的PointNet检测模型进行点云检测，得到激光雷达初步检测结果；S4，将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；S5，将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果；S6，激光雷达和相机联合管控，对物资进行检测判断。2.根据权利要求1所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S1具体为：获取时间同步的激光雷达点云和相机图像，通过标定工具获得相机内参矩阵和激光雷达到相机坐标系的外参矩阵，雷达坐标系和相机坐标系之间通过旋转平移矩阵进行转换，雷达坐标系和像素坐标系之间的转换由相机内部参数和外部参数决定。3.根据权利要求2所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S2包括以下步骤：S21，定义设备坐标系，计算设备坐标系分别与像素坐标系和雷达坐标系之间的转换矩阵；S22，在图像上手动划定区域，获取所划定区域的像素坐标值，转换至设备坐标系下得到设备坐标系下电子围栏所有坐标信息；S23，激光雷达监测到物资存在后，获取所有基于雷达坐标系的物资坐标值，经矩阵转换至设备坐标系后得到设备坐标系下的物资三维坐标特征信息。4.根据权利要求1或2或3所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述改进后的YOLOv5检测网络包括：将主干网络中的SPP网络替换成PANet特征金字塔网络；引入CBAM注意力机制模块选择聚焦位置，CBAM注意力机制模块包括通道注意力机制模块和空间注意力模块。5.根据权利要求1或2或3所述的一种基于激光雷达及相机融合的仓库物资管...

【专利技术属性】
技术研发人员：朱伟，王刘俊，单宝旭，郑林英，杨秀彬，卢迪，张成威，
申请(专利权)人：嘉兴恒创电力集团有限公司博创物资分公司，
类型：发明
国别省市：