基于雷达和相机融合的卸货方法、检测装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于雷达和相机融合的卸货方法、检测装置及存储介质，包括获取激光雷达采集的各个点云帧对应的点云数据以及相机采集的图像帧的图像数据，点云帧由激光雷达依次在各个预设采集点对货车进行扫描获取，图像帧由相机依次在各个预设采集点对货车进行拍摄获取，各个点云帧与各个图像帧相匹配；根据图像数据以及点云数据确定每个点云帧对应的货物点云数据；根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；根据目标点云数据确定各个货物的位姿信息；根据各个货物的位姿信息控制卸货装置执行卸货操作。通过货物点云数据对货物进行重建，从而确定货物位姿，提高了卸货的准确性。提高了卸货的准确性。提高了卸货的准确性。

【技术实现步骤摘要】
基于雷达和相机融合的卸货方法、检测装置及存储介质


[0001]本专利技术涉及自动化
，尤其涉及基于雷达和相机融合的卸货方法、检测装置及存储介质。

技术介绍

[0002]自动装车搬运是AGV自动化的最后一道工序，而目前AGV搬运货物时，需要事先知道货物所在的预设位置，从而基于预设位置控制AGV将货物从货车中卸下，但因为货车停靠位置不准确时，容易导致实际货物位置和货物预设位置偏差较大，进而导致货车装卸失败。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于雷达和相机融合的卸货方法、检测装置及存储介质，旨在解决货物位置检测不准确的问题。
[0005]为实现上述目的，本专利技术提供一种基于雷达和相机融合的卸货方法，应用于检测装置，包括激光雷达、相机以及运动单元，所述运动单元用于带动所述激光雷达以及相机运动，所述方法包括：
[0006]获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的图像数据，所述点云帧由所述激光雷达依次在各个预设采集点对货车进行扫描获取，所述图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取，各个所述点云帧与各个所述图像帧相匹配；
[0007]根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据；
[0008]根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；
[0009]根据所述目标点云数据确定各个货物的位姿信息；
[0010]根据各个货物的位姿信息控制卸货装置执行卸货操作。
[0011]可选地，所述根据每个点云帧对应的货物点云数据执行货物重建操作，以生成货车内的目标点云数据的步骤包括：
[0012]获取相邻的点云帧之间的位姿关系；
[0013]根据所述位姿关系将除第一点云帧以外的其他点云帧与第一点云帧进行拼接融合；
[0014]根据融合后的第一点云帧生成货车内的所述目标点云数据。
[0015]可选地，所述根据所述目标点云数据确定各个货物的位姿信息的步骤包括：
[0016]根据所述目标点云数据执行点云分割操作，以获取各个货物对应的目标点云数据；
[0017]根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐
标；
[0018]根据所述地图坐标确定所述位姿信息。
[0019]可选地，所述根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标的步骤包括：
[0020]获取激光雷达坐标系与地图坐标系的映射关系；
[0021]根据所述映射关系将所述目标点云数据映射到所述地图坐标系中，以获取所述货物在所述地图坐标系下的地图坐标。
[0022]可选地，所述根据所述图像数据以及所述点云数据获取每个点云帧对应的货物点云数据的步骤之前，还包括：
[0023]对各个所述点云帧进行点云校正，包括：
[0024]获取所述点云帧中各个激光点的采集时刻；
[0025]根据所述采集时刻对各个所述激光点进行运动量补偿，以完成对所述点云帧的校正，所述运动量补偿包括旋转补偿以及平移补偿。
[0026]可选地，所述根据所述图像数据以及所述点云数据获取每个点云帧对应的货物点云数据的步骤包括：
[0027]根据所述图像数据获取货物在图像坐标系下的货物图像坐标；
[0028]获取相机坐标系与激光雷达坐标系的相对位姿关系，根据所述相对位姿关系将所述点云数据映射到所述图像坐标系中，以获取所述货物图像坐标对应的各个像素点分别对应的货物点云数据。
[0029]可选地，所述获取相机坐标系与激光雷达坐标系的相对位姿关系的步骤包括：
[0030]获取所述激光雷达扫描标定板得到的历史点云数据，以及所述相机拍摄所述标定板得到的历史图像数据；
[0031]从所述历史点云数据中提取标定板中各个角点的目标历史点云数据，并根据所述目标历史点云数据确定在激光雷达坐标系下所述标定板的角点的第一坐标信息；
[0032]根据所述历史图像数据确定在图像坐标系下所述标定板的角点的第二坐标信息；
[0033]根据所述第一坐标信息和所述第二坐标信息确定所述相机坐标系以及所述激光雷达坐标系的相对位姿关系。
[0034]可选地，所述激光雷达包括多线激光雷达和/或固态激光雷达。
[0035]此外，为实现上述目的，本专利技术还提供一种检测装置，对所述检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于雷达和相机融合的货物位置程序，所述基于雷达和相机融合的卸货程序被所述处理器执行时实现如上所述的基于雷达和相机融合的卸货方法的步骤。
[0036]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于雷达和相机融合的卸货程序，所述基于雷达和相机融合的卸货程序被处理器执行时实现如上所述的基于雷达和相机融合的卸货方法的步骤。
[0037]本专利技术实施例提出的一种基于雷达和相机融合的卸货方法、检测装置及存储介质，所述基于雷达和相机融合的卸货方法应用于检测装置，所述检测装置包括激光雷达、相机以及运动单元，所述运动单元用于带动所述激光雷达以及相机运动，通过运动单元控制激光雷达依次在各个预设采集点对货车进行扫描获取各个点云帧以及控制所述相机依次
在各个所述预设采集点对货车分别拍摄获取的各个图像帧，所述点云帧与所述图像帧相匹配，进而根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据，根据所述货物点云数据执行货物点云重建操作，以生成货车内的目标点云数据，进而根据所述目标点云数据确定各个货物的位置信息，本申请通过设置运动单元控制激光雷达和相机围绕货车分别采集点云数据以及图像数据即可准确获取货物的准确位姿信息，不仅解决了传统的视觉系统获取位置信息的实现成本较高的技术问题，还提高了位姿检测的准确性。
附图说明
[0038]图1是本专利技术实施例方案涉及的硬件运行环境的检测装置结构示意图；
[0039]图2为本专利技术基于雷达和相机融合的卸货方法第一实施例的流程示意图；
[0040]图3为本专利技术基于雷达和相机融合的卸货方法第一实施例步骤S20的细化流程示意图；
[0041]图4为本专利技术基于雷达和相机融合的卸货方法第一实施例步骤S30的细化流程示意图；
[0042]图5为本专利技术基于雷达和相机融合的卸货方法第一实施例步骤S40的细化流程示意图；
[0043]图6为本专利技术基于雷达和相机融合的卸货方法第一实施例步骤S42的细化流程示意图。
[0044]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0045]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0046本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷达和相机融合的卸货方法，其特征在于，应用于检测装置，包括激光雷达、相机以及运动单元，所述运动单元用于带动所述激光雷达以及相机运动，所述方法包括：获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的图像数据，所述点云帧由所述激光雷达依次在各个预设采集点对货车进行扫描获取，所述图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取，各个所述点云帧与各个所述图像帧相匹配；根据所述图像数据以及所述点云数据确定每个点云帧对应的货物点云数据；根据每个点云帧对应的货物点云数据执行货物点云重建操作，生成货车内的目标点云数据；根据所述目标点云数据确定各个货物的位姿信息；根据各个货物的位姿信息控制卸货装置执行卸货操作。2.如权利要求1所述的基于雷达和相机融合的卸货方法，其特征在于，所述根据每个点云帧对应的货物点云数据执行货物重建操作，以生成货车内的目标点云数据的步骤包括：获取相邻的点云帧之间的位姿关系；根据所述位姿关系将除第一点云帧以外的其他点云帧与第一点云帧进行拼接融合；根据融合后的第一点云帧生成货车内的所述目标点云数据。3.如权利要求1所述的基于雷达和相机融合的卸货方法，其特征在于，所述根据所述目标点云数据确定各个货物的位姿信息的步骤包括：根据所述目标点云数据执行点云分割操作，以获取各个货物对应的目标点云数据；根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标；根据所述地图坐标确定所述位姿信息。4.如权利要求1所述的基于雷达和相机融合的卸货方法，其特征在于，所述根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标的步骤包括：获取激光雷达坐标系与地图坐标系的映射关系；根据所述映射关系将所述目标点云数据映射到所述地图坐标系中，以获取所述货物在所述地图坐标系下的地图坐标。5.如权利要求1所述的基于雷达和相机融合的卸货方法，其特征在于，所述根据所述图像数据以及所述点云数据获取每个点云帧对应的货物点云数据的步骤之前，还包...

【专利技术属性】
技术研发人员：董邓伟，黄金勇，
申请(专利权)人：劢微机器人深圳有限公司，
类型：发明
国别省市：