【技术实现步骤摘要】
本专利技术涉及目标协同探测与标识，尤其涉及一种基于机器人固有传感器的协同探测与目标标识方法。
技术介绍
1、近年来，随着人工智能的兴起，机器人的自主导航成为研究的热点。实时定位与地图构建(simultaneous localization and mapping，slam)是实现自主导航的核心技术之一，通用的方法是利用机器人底盘上的激光雷达实现。激光雷达具有精度高，测距范围大，以及不受光线影响等特点，给激光slam带来巨大的发展机遇。但激光slam构建的地图缺少语义信息，而语义信息可以使机器人更好的理解环境，为机器人导航提供信息。语义信息通常通过相机采集的图像信息中获得，激光雷达点云无法得到语义信息，如何结合激光雷达与视觉相机信息得到语义地图成为研究重点。
2、当前常见的解决上述问题方法为在机器人底盘上增加视觉传感器，以实现在基于激光雷达的实时定位与语义地图构建中，增加视觉的目标识别的语义结果，将丰富的视觉图像与激光slam结果通过视觉与激光雷达的转换关系融合到激光点云地图上。但对于特种机器人而言，常见的方法仍存在以下不足：
3、1、一般的视觉传感器感知范围最大为100米，视场角为110度，对远处的目标无法进行识别，不足以满足特种机器人的使用需求；
4、2、特种机器人为实现目标识别、追踪与打击，常常装配高性能的视觉感知载荷，且利用视觉进行目标识别常用的方法是基于学习的方法。对于有视觉感知载荷的特种机器人而言，若在车辆底盘增加相机等视觉传感器进行目标识别，不仅不能充分利用已有感知载荷中的视觉信息
技术实现思路
1、鉴于上述的分析，本专利技术实施例旨在提供一种基于机器人固有传感器的协同探测与目标标识方法，用以解决现有视觉传感器感知范围小、特种机器人上已搭载视觉感知载荷的情况下额外增加视觉传感器导致增加算力的问题。
2、本专利技术的目的主要是通过以下技术方案实现的：
3、本专利技术提供了一种基于机器人固有传感器的协同探测与目标标识方法，其特征在于，所述传感器包括安装在机器人上的激光雷达、imu测量模块和载荷探测设备，所述方法包括以下步骤：
4、基于激光雷达点云数据和imu测量数据进行点云预处理得到预处理后的点云信息；
5、基于所述预处理后的点云信息使用激光slam得到所述机器人的实时定位信息并构建地图；
6、基于所述预处理后的点云信息和所述机器人的实时定位信息使用所述载荷探测设备识别所述点云信息得到目标类型和目标位置；
7、基于所述地图、所述目标类型和所述目标位置融合得到语义地图。
8、进一步的，所述载荷探测设备包括激光测距仪、感知相机、转位机构和处理器，通过转位机构的姿态调整与感知相机的焦距调整，对指定区域目标进行清晰拍摄并使用处理器识别目标类型；使用激光测距仪精确测量所述指定区域的目标位置。
9、进一步的，所述基于所述预处理后的点云信息和所述机器人的定位信息使用所述载荷探测设备识别所述点云信息得到目标类型和目标位置，包括：
10、基于所述预处理后的点云信息，所述载荷探测设备自动调整所述转位机构姿态和所述感知相机焦距获得所述点云信息处的清晰图像，使用所述激光测距仪测量所述机器人与所述点云所在位置的距离得到所述目标与所述感知载荷探测设备初始位姿的旋转矩阵；
11、基于所述清晰图像使用所述处理器中的目标识别模型进行目标识别得到所述图像的目标类型。
12、进一步的，所述目标与所述感知载荷探测设备初始位姿的旋转矩阵表示为：
13、
14、其中，为所述目标与所述感知载荷探测设备初始位姿的旋转矩阵；为所述转位机构姿态旋转矩阵；d0为所述机器人与所述点云所在位置的距离。
15、进一步的，所述基于所述清晰图像使用目标识别模型进行目标识别得到所述图像的目标类型，包括：
16、对所述清晰图像进行预处理以适应目标识别模型的输入格式；
17、将预处理后的图像输入训练好的目标识别模型得到图像中目标检测结果；其中，所述目标识别模型为使用yolov5神经网络的模型。
18、进一步的，所述基于所述地图信息、所述目标类型和所述目标位置融合得到语义地图，包括：
19、当所述载荷探测设备识别到目标信息时，对所述载荷探测设备与所述激光雷达做联合标定；
20、基于所述标定结果将激光雷达点云投影到所述载荷探测设备的图像中，从激光雷达点云中选出投影位于所述目标位置的激光雷达点云；
21、将所述目标类型更新到所述激光雷达点云的地图上得到语义地图。
22、进一步的，所述对所述载荷探测设备与所述激光雷达做联合标定，包括：
23、对所述载荷探测设备的所述感知相机内参进行标定，得到所述感知相机内参矩阵：
24、
25、其中，(u,v)为图像坐标；(x,y,z)为所述载荷相机坐标系坐标；f/dx为使用像素来描述x轴方向焦距的长度；f/dy为使用像素来描述y轴方向焦距的长度；f为相机中关于像素点坐标的函数关系；(u0,v0)为像素偏移量；
26、建立所述感知相机与所述激光雷达的外参：
27、
28、其中，r为所述激光雷达坐标系的坐标轴相对于所述载荷相机坐标轴的方向；t为在所述载荷相机坐标系下所述激光雷达的坐标原点位置。
29、进一步的，基于所述标定结果使用下式将激光雷达点云投影到所述载荷探测设备的图像中：
30、
31、其中，(xl,yl,zl)为激光雷达坐标系下点云坐标；(u,v)为投影到感知相机成像平面的像素坐标；为所述目标与所述感知载荷探测设备初始位姿的旋转矩阵。
32、进一步的，所述从激光雷达点云中选出投影位于所述目标位置的激光雷达点云，包括：
33、对所述投影后激光雷达点云进行滤波降采样；
34、对所述降采样后的激光雷达点云进行点云聚类，选取点云数量最多的类作为目标点云。
35、进一步的，所述点云预处理包括：
36、对所述激光雷达点云数据去除离散雷达点，并进行滤波降采样；
37、对所述滤波后点云进行点云聚类后使用imu预积分的估计完成点云去畸变，得到处理后的点云信息。
38、与现有技术相比，本专利技术至少可实现如下有益效果之一：
39、1、本专利技术利用激光雷达的宽视场、高频扫描等特点，为机器人视觉感知载荷提供初始探测方位，利用已搭载视觉感知载荷的高准确率、远距离探测实现机器人在建图过程中对远距离目标的识别与标注。
40、2、本专利技术利用特种机器人自配高性能的视觉感知载荷，无需增加其他视觉传感器，即能够进行高精度目标识别，减轻机器人负重，节约成本。
41、本专利技术中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本专利技术的其他特征和本文档来自技高网...
【技术保护点】
1.基于机器人固有传感器的协同探测与目标标识方法，其特征在于，所述传感器包括安装在机器人上的激光雷达、IMU测量模块和载荷探测设备，所述方法包括以下步骤：
2.根据权利要求1所述方法，其特征在于，所述载荷探测设备包括激光测距仪、感知相机、转位机构和处理器，通过转位机构的姿态调整与感知相机的焦距调整，对指定区域目标进行清晰拍摄并使用处理器识别目标类型；使用激光测距仪精确测量所述指定区域的目标位置。
3.根据权利要求2所述方法，其特征在于，所述基于所述预处理后的点云信息和所述机器人的定位信息使用所述载荷探测设备识别所述点云信息得到目标类型和目标位置，包括：
4.根据权利要求3所述方法，其特征在于，所述目标与所述感知载荷探测设备初始位姿的旋转矩阵表示为：
5.根据权利要求3所述方法，其特征在于，所述基于所述清晰图像使用目标识别模型进行目标识别得到所述图像的目标类型，包括：
6.根据权利要求2所述方法，其特征在于，所述基于所述地图信息、所述目标类型和所述目标位置融合得到语义地图，包括：
7.根据权利要求6所述方法，其
8.根据权利要求7所述方法，其特征在于，基于所述标定结果使用下式将激光雷达点云投影到所述载荷探测设备的图像中：
9.根据权利要求8所述方法，其特征在于，所述从激光雷达点云中选出投影位于所述目标位置的激光雷达点云，包括：
10.根据权利要求1所述方法，其特征在于，所述点云预处理包括：
...【技术特征摘要】
1.基于机器人固有传感器的协同探测与目标标识方法，其特征在于，所述传感器包括安装在机器人上的激光雷达、imu测量模块和载荷探测设备，所述方法包括以下步骤：
2.根据权利要求1所述方法，其特征在于，所述载荷探测设备包括激光测距仪、感知相机、转位机构和处理器，通过转位机构的姿态调整与感知相机的焦距调整，对指定区域目标进行清晰拍摄并使用处理器识别目标类型；使用激光测距仪精确测量所述指定区域的目标位置。
3.根据权利要求2所述方法，其特征在于，所述基于所述预处理后的点云信息和所述机器人的定位信息使用所述载荷探测设备识别所述点云信息得到目标类型和目标位置，包括：
4.根据权利要求3所述方法，其特征在于，所述目标与所述感知载荷探测设备初始位姿的旋转矩阵表示为...
【专利技术属性】
技术研发人员：卢彩霞，赵熙俊，于华超，崔星，刘雪妍，王旭，光星星，刘萌，程文，梁震烁，陈佳琪，李兆冬，杨雨，王一全，
申请(专利权)人：中兵智能创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。