一种泊车机器人及其车轮定位方法技术

本发明专利技术涉及一种车轮定位方法及其泊车机器人。该泊车机器人适用于车轮定位，包括：机器人本体；鱼眼相机，设置于所述机器人本体上，用于采集所述车轮的图像；激光雷达，设置于所述机器人本体上，用于采集所述车轮的点云数据；控制器，设置于所述机器人本体上，接收并根据所述鱼眼相机和激光雷达的图像和点云数据来获得所述车轮的位置信息，所述控制器依据所述位置信息驱动所述机器人本体动作。本发明专利技术提出了一种车轮定位方法及其泊车机器人，能提高车轮的检测精度和鲁棒性，使轮胎抓取任务更加高效、可靠，对目标车辆的搬运更加安全。对目标车辆的搬运更加安全。对目标车辆的搬运更加安全。

【技术实现步骤摘要】
一种泊车机器人及其车轮定位方法


[0001]本专利技术涉及计算机视觉和人工智能
，尤其涉及一种泊车机器人及其车轮定位方法。

技术介绍

[0002]随着人们生活水平的提高，汽车的数量也与日俱增，停车正在成为普遍问题。采用智能停车场方案能更好地确保泊车效率和安全，提高城市空间利用率，解决“停车难”问题。实现这一高质量发展转变方式，需推广运用智能泊车技术，实现自动化、无人化的高效运行方式，将实施大范围AGV投放及周边设备、场站设施的升级改造等。
[0003]智能泊车机器人项目面向安全、高效、无人值守的汽车泊车需求，打造智能引导泊车系统。其中机器人为成功抓取汽车轮胎以便搬运，需要首先进行环境感知，近距离检测车轮位姿，该技术是实现智能泊车系统的关键技术应用。

技术实现思路

[0004]针对现有技术的上述问题，本专利技术提出了一种泊车机器人及其车轮定位方法，能提高车轮的检测精度和鲁棒性，使轮胎抓取任务更加高效、可靠，对目标车辆的搬运更加安全。
[0005]具体地，本专利技术提出了一种泊车机器人，适用于车轮定位，所述泊车机器人包括：
[0006]机器人本体；
[0007]鱼眼相机，设置于所述机器人本体上，用于采集所述车轮的图像；
[0008]激光雷达，设置于所述机器人本体上，用于采集所述车轮的点云数据；
[0009]控制器，设置于所述机器人本体上，接收并根据所述鱼眼相机和激光雷达的图像和点云数据来获得所述车轮的位置信息，所述控制器依据所述位置信息驱动所述机器人本体动作。
[0010]根据本专利技术的一个实施例，所述鱼眼相机安装在所述机器人本体的长度方向上的一侧，所述鱼眼相机的安装高度比所述车轮的上沿高10～20cm。
[0011]根据本专利技术的一个实施例，所述激光雷达安装在所述鱼眼相机的同侧，所述激光雷达的安装高度比所述鱼眼相机高30～50cm。
[0012]根据本专利技术的一个实施例，还包括设置于所述机器人本体的安装支架，所述激光雷达装设于所述安装支架上。
[0013]根据本专利技术的一个实施例，所述鱼眼相机的输出视频格式为H.264，视场角为150
°
。
[0014]根据本专利技术的一个实施例，所述激光雷达为半球面多线补盲激光雷达，视场角为90
°×
360
°
，其测量半径超过20m。
[0015]本专利技术还提供了一种车轮定位方法，利用前述的泊车机器人，所述车轮定位方法包括以下步骤：
[0016]S1、通过所述鱼眼相机和激光雷达分别采集所述车轮的图像和点云数据，标注所述车轮的真实边界框；
[0017]S2、根据所述车轮的图像，通过两阶段图像目标检测网络对车轮目标进行检测；根据所述车轮的点云数据，通过点云三维目标检测网络PointNet对车轮目标进行检测；
[0018]S3、融合所述两阶段图像目标检测网络和点云三维目标检测网络PointNet的检测结果，获得所述车轮的位置信息；
[0019]S4、根据所述车轮的位置信息，判断所述泊车机器人是否正对所述车轮的中心，若是，执行步骤S5；若否，驱动所述机器人本体朝所述车轮的中心移动，执行步骤S1；
[0020]S5、结束。
[0021]根据本专利技术的一个实施例，在步骤S1之前，在所述机器人本体上安装所述鱼眼相机和激光雷达，并对所述鱼眼相机的内部参数和所述激光雷达的外部参数进行标定。
[0022]根据本专利技术的一个实施例，所述真实边界框由过所述车轮的轮眉最高点的水平线、过所述轮眉的最左点的竖直线、过所述轮眉最右点的竖直线和过所述车轮接地点的水平线围成。
[0023]根据本专利技术的一个实施例，在步骤S2中，通过所述两阶段图像目标检测网络对车轮目标进行检测包括以下步骤：
[0024]S201、将整张图像输入预训练好的深度卷积网络，提取相应特征图；
[0025]S202、将所述特征图输入区域生成网络，所述特征图上每个位置在原图上对应有9个锚点，通过所述区域生成网络对每个锚点分类，确定其是目标还是背景，并对筛选出的目标初步回归边界框位置，生成目标候选框；
[0026]S203、将所述区域生成网络生成的目标候选框投影到所述特征图上获得相应的特征矩阵；
[0027]S204、将每个所述特征矩阵通过感兴趣区域池化层统一缩放到7*7大小；
[0028]S205、将7*7大小的所述特征矩阵展平，输入一系列全连接层，得到候选区域分类结果，并对车轮的目标边界框进行定位。
[0029]根据本专利技术的一个实施例，在步骤S201中，所述深度卷积网络的训练过程采用所述区域生成网络多任务损失函数和全连接层多任务损失函数联合训练方法，同时训练得到整个所述两阶段图像目标检测网络架构的权重参数。
[0030]根据本专利技术的一个实施例，在步骤S2中，通过所述点云三维目标检测网络PointNet对车轮目标进行检测包括以下步骤：
[0031]S211、对于每一个N*3的点云输入，所述点云三维目标检测网络先通过一个T
‑
Net学习点云的旋转，将其在空间上对齐，再通过多层感知机将其映射到64维的空间上，再通过T
‑
Net进行对齐，最后通过多层感知机映射到1024维的空间上；
[0032]S212、对于步骤S211得到的N*1024维向量表征，引入最大池化操作，将1024维所有通道上都只保留最大的一个数，得到1*1024维向量的全局特征；
[0033]S213、将所述全局特征拼接在步骤211中点云64维的逐点特征上，得到N*1088维向量表征，最后通过多层感知机，输出逐点的分类概率，完成车轮目标的点云分割检测。
[0034]根据本专利技术的一个实施例，在步骤S3中，根据标定好的所述鱼眼相机的内部参数及所述激光雷达的外部参数，将步骤S1中获得的所述车轮的真实边界框由图像坐标系映射
到激光雷达坐标系,再由步骤S2中获得的点云分割检测结果来验证图像检测结果，并进一步融合图像和激光点云的检测结果，最终输出所述车轮的位置信息。
[0035]根据本专利技术的一个实施例，所述车轮的位置信息包括所述车轮的中心三维坐标、车轮大小以及车轮偏角。
[0036]本专利技术提供的一种泊车机器人及其车轮定位方法，基于鱼眼相机和激光雷达融合检测的方法，能提高车轮的检测精度和鲁棒性，使轮胎抓取任务更加高效、可靠，对目标车辆的搬运更加安全，该研究具有重要实际应用价值。
[0037]应当理解，本专利技术以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为所述的本专利技术提供进一步的解释。
附图说明
[0038]包括附图是为提供对本专利技术进一步的理解，它们被收录并构成本申请的一部分，附图示出了本专利技术的实施例，并与本说明书一起起到解释本专利技术原理的作用。附图中：
[0039]图1示出了本专利技术一个实施例的泊车机器人的结构示意图。
[0040]图2是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种泊车机器人，适用于车轮定位，所述泊车机器人包括：机器人本体；鱼眼相机，设置于所述机器人本体上，用于采集所述车轮的图像；激光雷达，设置于所述机器人本体上，用于采集所述车轮的点云数据；控制器，设置于所述机器人本体上，接收并根据所述鱼眼相机和激光雷达的图像和点云数据来获得所述车轮的位置信息，所述控制器依据所述位置信息驱动所述机器人本体动作。2.如权利要求1所述的泊车机器人，其特征在于，所述鱼眼相机安装在所述机器人本体的长度方向上的一侧，所述鱼眼相机的安装高度比所述车轮的上沿高10～20cm。3.如权利要求2所述的泊车机器人，其特征在于，所述激光雷达安装在所述鱼眼相机的同侧，所述激光雷达的安装高度比所述鱼眼相机高30～50cm。4.如权利要求3所述的泊车机器人，其特征在于，还包括设置于所述机器人本体的安装支架，所述激光雷达装设于所述安装支架上。5.如权利要求1所述的泊车机器人，其特征在于，所述鱼眼相机的输出视频格式为H.264，视场角为150
°
。6.如权利要求1所述的泊车机器人，其特征在于，所述激光雷达为半球面多线补盲激光雷达，视场角为90
°×
360
°
，其测量半径超过20m。7.一种车轮定位方法，利用权利要求1至6任一所述的泊车机器人，所述车轮定位方法包括以下步骤：S1、通过所述鱼眼相机和激光雷达分别采集所述车轮的图像和点云数据，标注所述车轮的真实边界框；S2、根据所述车轮的图像，通过两阶段图像目标检测网络对车轮目标进行检测；根据所述车轮的点云数据，通过点云三维目标检测网络对车轮目标进行检测；S3、融合所述两阶段图像目标检测网络和点云三维目标检测网络的检测结果，获得所述车轮的位置信息；S4、根据所述车轮的位置信息，判断所述泊车机器人是否正对所述车轮的中心，若是，执行步骤S5；若否，驱动所述机器人本体朝所述车轮的中心移动，执行步骤S1；S5、结束。8.如权利要求7所述的车轮定位方法，其特征在于，在步骤S1之前，在所述机器人本体上安装所述鱼眼相机和激光雷达，并对所述鱼眼相机的内部参数和所述激光雷达的外部参数进行标定。9.如权利要求8所述的车轮定位方法，其特征在于，所述真实边界框由过所述车轮的轮眉最高点的水平线、过所述轮眉的最左点的竖直线、过所述轮眉最右点的竖直线和过所述车轮接地点的水平线围成。10.如权利要求9所述的车轮定...

【专利技术属性】
技术研发人员：田炜，邓清，余卓平，曹宏斌，张培志，
申请(专利权)人：上海智能新能源汽车科创功能平台有限公司，
类型：发明
国别省市：