一种障碍物检测方法、装置及电子设备制造方法及图纸

本申请提供了一种障碍物检测方法、装置及电子设备。在本申请中当装载有激光雷达和摄像机的移动机器人需要检测障碍物时，利用摄像机确定目标场景下存在的目标物体，进而结合激光雷达基于该场景下的点云信息确定出的候选物体，将与候选物体对应的物理位置相同的目标物体标记为障碍物，从而能够准确识别出目标场景下的障碍物，实现了移动机器人的立体持续避障效果。以上方案中基于摄像机和激光雷达相配合的障碍物检测方式相较于传统的单独使用摄像机或激光雷达的检测方式，具备对于传感器性能要求更低、检测效率更高的优势。检测效率更高的优势。检测效率更高的优势。

【技术实现步骤摘要】
一种障碍物检测方法、装置及电子设备


[0001]本申请涉及传感器检测技术，特别涉及一种障碍物检测方法、装置及电子设备。

技术介绍

[0002]障碍物检测是移动机器人中的关键技术，为避免移动机器人行驶过程中与人或物体相撞，需要对移动机器人前进方向或其四周进行立体、持续的障碍物检测，从而根据检测到的障碍物位置进行避障；且随着现有移动机器人车体的不断增大，避障需求也在随之不断增高。
[0003]目前，移动机器人领域已有多种避障方案，但各有局限性，例如：安装能够独立识别障碍物的3D激光雷达成本较高；通过立体相机进行障碍物检测则存在视场受限的问题，实现立体防护需要安装多个机位的立体相机，成本较高；而成本相对更优的2D激光雷达则只能检测安装方向上的平面障碍物，无法检测低矮或悬空障碍物，检测盲区较大。

技术实现思路

[0004]本申请实施例提供了一种障碍物检测方法、装置及电子设备，通过激光雷达和摄像机相配合进行障碍物检测，以实现移动机器人的立体持续避障。
[0005]第一方面，本申请实施例提供了一种障碍物检测方法，应用于包括激光雷达和摄像机的移动机器人，上述激光雷达用于获取目标场景的点云信息，上述摄像机用于获取上述目标场景的图像信息，上述方法包括：
[0006]获取同一时刻下的点云信息和图像信息；
[0007]若基于上述图像信息确定上述目标场景存在目标物体，则判断上述目标物体是否已被标记为障碍物类型；
[0008]如果是，则将上述目标物体识别为障碍物；
[0009]如果否，则基于上述点云信息确定上述目标场景是否存在候选物体；
[0010]若存在候选物体，且上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，则将上述目标物体识别为障碍物，并将上述目标物体标记为障碍物类型。
[0011]在一可能的实现方式中，上述基于上述点云信息确定上述目标场景是否存在候选物体后，上述方法还包括：
[0012]若不存在候选物体，或，存在的候选物体对应的物理位置与上述目标物体对应的物理位置不同，则将上述目标物体识别为非障碍物。
[0013]在一可能的实现方式中，上述将上述目标物体识别为障碍物后，上述方法还包括：
[0014]针对上述目标物体执行避障操作。
[0015]在一可能的实现方式中，通过以下方式判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同：
[0016]基于上述摄像机和上述激光雷达之间的外参，确定转换矩阵；其中，上述转换矩阵用于表示上述摄像机的相机坐标系和上述激光雷达的雷达坐标系间的坐标转换关系；
[0017]基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同。
[0018]在一可能的实现方式中，上述基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同，包括：
[0019]基于上述图像信息确定上述目标物体在上述相机坐标系下的第一坐标位置；
[0020]基于上述转换矩阵将上述第一坐标位置转换为雷达坐标系下的第二坐标位置；
[0021]基于上述点云信息确定上述候选物体在雷达坐标系下的第三坐标位置；
[0022]若上述第二坐标位置与上述第三坐标位置匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同；
[0023]若上述第二坐标位置与上述第三坐标位置不匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同。
[0024]在一可能的实现方式中，上述激光雷达为2D激光雷达，上述摄像机为单目相机；
[0025]上述2D激光雷达倾斜向下安装于上述移动机器人，上述2D激光雷达的探测区域与上述单目相机的探测区域存在重叠部分；
[0026]上述外参基于上述2D激光雷达与上述单目相机的相对安装位置确定。
[0027]第二方面，本申请实施例提供了一种障碍物检测装置，应用于包括激光雷达和摄像机的移动机器人，上述激光雷达用于获取目标场景的点云信息，上述摄像机用于获取上述目标场景的图像信息，上述装置包括：
[0028]信息获取单元，用于获取同一时刻下的点云信息和图像信息；
[0029]标记检测单元，用于若基于上述图像信息确定上述目标场景存在目标物体，则判断上述目标物体是否已被标记为障碍物类型；
[0030]标记确认单元，用于若上述目标物体已被标记为障碍物类型，则将上述目标物体识别为障碍物；
[0031]障碍识别单元，用于若上述目标物体未被标记为障碍物类型，则基于上述点云信息确定上述目标场景是否存在候选物体；
[0032]上述障碍识别单元，还用于若存在候选物体，且上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，则将上述目标物体识别为障碍物，并将上述目标物体标记为障碍物类型。
[0033]在一可能的实现方式中，上述障碍识别单元基于上述点云信息确定上述目标场景是否存在候选物体后，上述障碍识别单元还用于：若不存在候选物体，或，存在的候选物体的物理位置与上述目标物体对应的物理位置不同，则将上述目标物体识别为非障碍物。
[0034]在一可能的实现方式中，上述障碍识别单元将上述目标物体识别为障碍物后，还用于：针对上述目标物体执行避障操作。
[0035]在一可能的实现方式中，上述障碍识别单元具体通过以下方式判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同：基于上述摄像机和上述激光雷达之间的外参，确定转换矩阵；其中，上述转换矩阵用于表示上述摄像机的相机坐标系和上述激光雷达的雷达坐标系间的坐标转换关系；基于上述目标物体在相机坐标系中的坐标位
置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体与上述目标物体对应的物理位置是否相同。
[0036]在一可能的实现方式中，上述障碍识别单元基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同时具体用于：基于上述图像信息确定上述目标物体在上述相机坐标系下的第一坐标位置；基于上述转换矩阵将上述第一坐标位置转换为雷达坐标系下的第二坐标位置；基于上述点云信息确定上述候选物体在雷达坐标系下的第三坐标位置；若上述第二坐标位置与上述第三坐标位置匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同；若上述第二坐标位置与上述第三坐标位置不匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同。
[0037]在一可能的实现方式中，上述激光雷达为2D激光雷达，上述摄像机为单目相机；上述2D激光雷达倾斜向下安装于上述移动机器人，上述2D激光雷达的探测区域与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种障碍物检测方法，其特征在于，应用于包括激光雷达和摄像机的移动机器人，所述激光雷达用于获取目标场景的点云信息，所述摄像机用于获取所述目标场景的图像信息，所述方法包括：获取同一时刻下的点云信息和图像信息；若基于所述图像信息确定所述目标场景存在目标物体，则判断所述目标物体是否已被标记为障碍物类型；如果是，则将所述目标物体识别为障碍物；如果否，则基于所述点云信息确定所述目标场景是否存在候选物体；若存在候选物体，且所述候选物体对应的物理位置与所述目标物体对应的物理位置相同，则将所述目标物体识别为障碍物，并将所述目标物体标记为障碍物类型。2.根据权利要求1所述的方法，其特征在于，所述基于所述点云信息确定所述目标场景是否存在候选物体后，所述方法还包括：若不存在候选物体，或，存在的候选物体对应的物理位置与所述目标物体对应的物理位置不同，则将所述目标物体识别为非障碍物。3.根据权利要求1所述的方法，其特征在于，所述将所述目标物体识别为障碍物后，所述方法还包括：针对所述目标物体执行避障操作。4.根据权利要求1或2所述的方法，其特征在于，通过以下方式判断所述候选物体对应的物理位置与所述目标物体对应的物理位置是否相同：基于所述摄像机和所述激光雷达之间的外参，确定转换矩阵；其中，所述转换矩阵用于表示所述摄像机的相机坐标系和所述激光雷达的雷达坐标系间的坐标转换关系；基于所述目标物体在相机坐标系中的坐标位置、所述候选物体在雷达坐标系中的坐标位置、所述转换矩阵，判断所述候选物体对应的物理位置与所述目标物体对应的物理位置是否相同。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标物体在相机坐标系中的坐标位置、所述候选物体在雷达坐标系中的坐标位置、所述转换矩阵，判断所述候选物体对应的物理位置与所述目标物体对应的物理位置是否相同，包括：基于所述图像信息确定所述目标物体在所述相机坐标系下的第一坐标位置；基于所述转换矩阵将所述第一坐标位置转换为雷达坐标系下的第二坐标位置；基于所述点云信息确定所述候选物体在雷达坐标系下的第三坐标位置；若所述第二坐标位置与所述第三坐标位置匹配，则确定所述候选物体对应的物理位置与所述目标物体对应的物理位置相同；若所述第二坐标位置与所述第三坐标位置不匹配，则确定所述候选物体对应的物理位置与所述目标物体对应的物理位置不同。6.根据权利要求4所述的方法，其特征在于，所述激光雷达为2D激光雷达，所述摄像机为单目相机；所述2D激光雷达倾斜向下安装于所述移动机器人，所述2D激光雷达的探测区域与所述单目相机的探测区域存在重叠部分；所述外参基于所述2D激光雷达与所述单目相机的相对安装位置确定。
7.一种障碍物检测装置，其特征在于，应用于包括激光雷达和摄像机的移动机器人，所述激光雷达用于获取目标场景的点云信息，所述摄像机用于获取所述目标场景的图像信息，所述装置包括：信息获取单元，用于获取同一时刻下的点云信息和图像信息；标记检测单元，用于若基于所述图像信息确定所述...

【专利技术属性】
技术研发人员：陈元吉，
申请(专利权)人：杭州海康机器人技术有限公司，
类型：发明
国别省市：