融合激光与相机的目标物体识别与定位方法技术

本发明专利技术公开一种融合激光与相机的目标物体识别与定位方法，包括：S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；S2、将采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；S3、将目标物体中心的图像坐标转换为空间坐标P

【技术实现步骤摘要】
融合激光与相机的目标物体识别与定位方法
本专利技术属于图像处理
，更具体地，本专利技术涉及一种融合激光与相机的目标物体识别与定位方法。
技术介绍
随着自主移动抓取机器人在服务和仓储物流领域有着越来越广泛的应用，其定位导航技术也越发重要。自主移动抓取机器人主要分为移动平台和机械臂，移动平台的定位导航主要使用激光或视觉SLAM，地图的分辨率比较低，定位精度不高，因此在机械臂对目标物体进行一系列操作之前，必须对目标物体进行识别和精定位。现有基于双目视觉和激光雷达的机器人目标定位和抓取方法，进行了双目视觉和激光雷达的机器人目标定位，该方案也只是采用激光和相机进行目标物体的定位识别，并没有对样本和计算结果进行评估，精确性有待进一步提高。
技术实现思路
本专利技术提供了一种融合激光与相机的目标物体识别与定位，旨在改善上述问题。本专利技术是这样实现的，一种融合激光与相机的目标物体识别与定位方法，所述方法具体包括如下步骤：S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；S2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；S3、将目标物体中心的图像坐标转换为世界坐标系下的空间坐标Pcam及目标物体中心距雷达及相机所在平面的距离dcam；S4、激光雷达通过点云图像获取目标物体中心的空间坐标Plas，及该目标物体中心距激光及相机所在平面的距离dlas；S5、计算距离偏差ddis＝|dlas-dcam|，若距离偏差大于或等于阈值dp，则认定目标物体识别定位失败，执行步骤S1，若距离偏差小于阈值dp，则认定目标物体识别定位成功，返回目标物体的中心坐标。进一步的，目标物体的中心坐标为：其中，α为权重调整因子，Plas为雷达获取的目标物体中心的空间坐标，Pcam为双目相机获取的目标空间中心的空间坐标。进一步的，神经网络模型为YOLOV3模型。进一步的，YOLOV3模型是通过含有目标物体图像作为训练集，进行训练形成，训练集中含有目标物体图像的获取方法具体如下：S21、自动获取目标物体在各方位上各拍摄角度的图像；S22、去除步骤S21中各图像的背景，将目标物体进行不同透明度的处理；S23、拍摄目标环境的目标环境图像，将步骤S22获得的图像复制至形成目标环境图像中；S24、对步骤S23获得图像进行增强处理，形成目标物体在不同环境中的训练本集，其中，增强处理包括如下处理中的至少一种，即锐化处理、雾化处理、背景虚化处理、目标物体复制粘贴处理。进一步的，所述步骤S21中的图像获取方法具体如下：控制采样平台围绕目标物体以设定的步长移动，在移动至下一位置点后，控制机械臂末端的相机以不同的角度拍摄该位置点的目标物体图像，该位置点的角度图像拍摄完毕后，控制采样平台移动设定步长，移动至下一位置点，不断重读上述操作，直至采样平台完成所有位置点的图像拍摄。本专利技术提供的融合激光与相机的目标物体识别与定位方法具有如下有益技术效果：1)实现一键自动采集和样本生成，从而实现目标物体的识别训练的便利性提升、宽容性提升；2)实现一键自动样本增强，从而实现目标物体的识别训练的样本数量提升和小目标检测模型精确度提升；3)对相机定位与雷达定位结果进行相互校准，通过这种方式来提高识别准确度和定位精度。附图说明图1为本专利技术实施例提供的种融合激光与相机的目标物体识别与定位方法流程图；图2为本专利技术实施例提供的双目视差法原理示意图。具体实施方式下面对照附图，通过对实施例的描述，对本专利技术的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本专利技术的专利技术构思、技术方案有更完整、准确和深入的理解。图1为本专利技术实施例提供的种融合激光与相机的目标物体识别与定位方法流程图，该方法具体包括如下步骤：S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；在进行目标物体定位和识别过程前，需要对相机进行标定，获取相机内参和畸变等。还需要对相机和雷达进行联合配准，建立相机坐标系和雷达坐标系之间的坐标转换关系。S2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；在本专利技术实施例中，神经网络模型为YOLOV3模型，适合工业应用，但物体定位不够准确，利用激光雷达来进行弥补在进行物体识别之前，需要采集各种物体的图像数据集，然后采用神经网络对数据集进行训练，构造目标检测模型。为了实际工业应用的轻便性和准确性，如果人为拍摄去获取数据集，这样不仅耗时，样本多样性和训练精度很难保证。我们设计一种样本采集与处理方法，实现自动采集和增强样本一键标注，从而实现后期的物体识别训练，在本专利技术实施例中，YOLOV3模型是通过含有目标物体图像作为训练集，进行训练形成，在本专利技术实施例中，训练集中含有目标物体图像的获取方法具体如下：S21、自动获取目标物体在各方位上各拍摄角度的图像；其获取方法具体如下：控制采样平台围绕目标物体以设定的步长移动，在移动至下一位置点后，控制机械臂末端的相机以不同的角度拍摄该位置点的目标物体图像，该位置点的角度图像拍摄完毕后，控制采样平台移动设定步长，移动至下一位置点，不断重读上述操作，直至采样平台完成所有位置点的图像拍摄。S22、去除步骤S21中各图像的背景，将目标物体进行不同透明度的处理；S23、拍摄目标环境的目标环境图像，将步骤S22获得的图像复制至形成目标环境图像中；S24、对步骤S23获得图像进行增强处理，形成目标物体在不同环境中的训练本集，其中，增强处理包括如下处理中的至少一种，即锐化处理、雾化处理、背景虚化处理、目标物体复制粘贴处理。考虑工业应用场景的实际情况，很多场景可能环境很大，比如几千平的厂房，在相机获取的图片中，很多目标可能在图片中是很小的，而通用的Yolov3模型对小目标的检测精确性有待进一步提高。设计不同于yolov3的更丰富的数据增强和数据集扩充与生成技术，来对小目标检测的精度进行提高。其中，由于在实际场景中很难采集大量样本，为了扩大样本数量及样本采集便利性，样本的采集我们设计样本采集平台，在滑台上安装有机械臂，机械臂的末端设置有相机(可以为单目相机或双目相机)，滑台上有三自由度机械臂，基座转轴实现竖直方向上的转动，中间转轴实现水平方向的转动，最上面的转轴同样实现竖直方向转动。并且滑台可以呈矩形排布，以实现样本的四个方位，10个角度采集(角度数量可以通过编程控制更改)。为了扩大样本的数量和样本的适用性，我们设计了一种样本扩充和生成技术，我们只需获取大量厂房等工业应用场景、实际生活目标物体存在场景的照片，将这些场景等照片作为背景图片，将采集的物体照片进行原背景去除处理并进行目标物体不同透明度处理后复制到这些场景中，生成模拟对应环境的目标物体图片，从而减少了去不同场本文档来自技高网...

【技术保护点】
1.一种融合激光与相机的目标物体识别与定位方法，其特征在于，所述方法具体包括如下步骤：/nS1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；/nS2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；/nS3、将目标物体中心的图像坐标转换为世界坐标系下的空间坐标P

【技术特征摘要】
1.一种融合激光与相机的目标物体识别与定位方法，其特征在于，所述方法具体包括如下步骤：
S1、启动激光雷达获取扫描点云，同时启动双目相机采集图像；
S2、将双目相机采集到的两帧图像输入神经网络模型，依次输出两帧带区域框的目标物体图像，计算目标物体中心的图像坐标；
S3、将目标物体中心的图像坐标转换为世界坐标系下的空间坐标Pcam、并计算目标物体中心距雷达及相机所在平面的距离dcam；
S4、激光雷达通过点云图像获取目标物体中心的空间坐标Plas，及该目标物体中心距激光及相机所在平面的距离dlas；
S5、计算距离偏差ddis＝|dlas-dcam|，若距离偏差大于或等于阈值dp，则执行步骤S1，若距离偏差小于阈值dp，则返回目标物体的中心坐标。


2.如权利要求1所述融合激光与相机的目标物体识别与定位方法，其特征在于，目标物体的中心坐标为：(λcamPcam+λlasPlas)，其中，α为权重调整因子，Plas为雷达获取的目标物体中心的空间坐标，Pcam为双目相机获取的目标空间中心的空间坐标。


3.如权利要求1所述融合激光与相机的目标物体识别与定位方法，其特征在于...

【专利技术属性】
技术研发人员：徐印赟，郑亮，
申请(专利权)人：哈尔滨工业大学芜湖机器人产业技术研究院，
类型：发明
国别省市：安徽;34