一种多相机环视拼接单目测距方法技术

本发明专利技术公开了一种多相机环视拼接单目测距方法，包括：S1、搭建激光雷达和单目相机数据采集系统，激光雷达用于采集目标物体三维点云信息，单目相机用于采集目标物体二维图像信息，两类信息处理标注后用于模型训练；S2、根据目标检测区域确定单目相机数量，将相邻两相机得到的图像进行两两拼接，并最终得到多个相机环视拼接图像；S3、调用步骤S1中训练的深度学习模型，对最终拼接图像中的目标物体进行检测及测距。本发明专利技术采用基于多相机的图像拼接技术，结合深度学习算法实现对指定区域的目标检测及测距，能够提高检测效率及准确率，能够适用于不同场景，而且能够节约传感器硬件成本，减少过程复杂度。减少过程复杂度。减少过程复杂度。

【技术实现步骤摘要】
一种多相机环视拼接单目测距方法


[0001]本专利技术涉及计算机
，具体涉及一种多相机环视拼接单目测距方法。

技术介绍

[0002]深度距离估计是计算机视觉领域的一个基础性问题，可应用在机器人导航、增强现实、三维重建、自动驾驶等领域。目前大部分深度估计都是基于二维RGB图像到RGB
‑
D图像的转换估计，包括从图像明暗、不同视角、光度、纹理等信息获取场景深度。
[0003]目前有很多设备可以直接获取深度距离信息，如激光雷达，能够精准刻画三维目标的立体几何结构和深度信息，但其造价昂贵；双目相机也可用于深度估计，但其需要利用立体匹配进行像素点对应和视差计算，计算复杂度高，且对于低纹理场景的匹配效果差。单目相机深度估计则相对成本更低，对计算资源要求相对较少，使得它在许多场景中越来越收到关注。单目相机深度估计，即通过唯一视角下的RGB图像，估计图像中每个像素相对拍摄源的距离，但单个相机由于视场角(Filed OfView，FOV)限制，存在视野盲区。

技术实现思路

[0004]针对上述问题中的至少之一，本专利技术提供一种多相机环视拼接单目测距方法，采用基于SuperGlue特征点匹配的环视图像拼接技术，使用多个相机对同一场景下不同角度下拍摄的图像进行校正、去噪、匹配、融合、拼接，最终构建更宽视场甚至360
°
全景图像。采用基于RTM3D模型对拼接后图像进行目标检测及深度估计，以一种低成本方式实现对目标物体距离估计。。
[0005]为实现上述目的，本专利技术采用以下技术方案实现：
[0006]一种多相机环视拼接单目测距方法，包括：
[0007]S1、搭建激光雷达和单目相机数据采集系统，激光雷达用于采集目标物体三维点云信息，单目相机用于采集目标物体二维图像信息，两类信息处理标注后用于模型训练；
[0008]S2、根据目标检测区域确定单目相机数量，将相邻两相机得到的图像进行两两拼接，并最终得到多个相机环视拼接图像；
[0009]S3、调用步骤S1中训练的深度学习模型，对最终拼接图像中的目标物体进行检测及测距。
[0010]作为上述方案的优选，步骤S1中，激光雷达和单目相机数据采集系统具体包括激光雷达、单目相机、数据采集处理器及数据存储模块；
[0011]激光雷达通过以太网与数据采集处理器连接，用于采集目标物体三维空间坐标信息，激光雷达仅在数据采集阶段使用，其采集的点云信息用于模型训练，作为先验知识使得模型能够预测图像空间中三维坐标信息；
[0012]单目相机通过USB与数据采集处理器连接，用于采集目标物体图像信息；
[0013]数据存储模块与数据采集处理器连接，用于保存采集的点云和图像数据。
[0014]作为上述方案的优选，步骤S2中，图像拼接方法具体包括：
[0015]根据待检测区域视场范围以及单目相机视场重叠区域确定单目相机数量，调用SuperGlue算法进行相邻两相机图像匹配，得到关键点和描述子，计算得到相邻两图像的单应性矩阵；利用图像透视变换进行图像拼接以及图像融合，最终得到广视场的环视拼接图像。
[0016]作为上述方案的优选，步骤S3中，深度学习模型检测及测距算法具体包括：
[0017]目标检测及测距算法在深度学习Pytorch框架下采用RTM3D网络模型，是一个实时高效和准确的单目图像三维检测框架，将拼接后的图像以ROS Topic发布，该模型订阅该话题后进行处理，输出三维目标类别、包围框、距离、置信度等信息。
[0018]由于具有上述结构，本专利技术的有益效果在于：
[0019]基于环视拼接后的图像进行检测，相较于分别对多幅图像检测，多幅图像检测可能会出现对同一物体重复检测，需后处理统一为同一目标物体，拼接后图像检测可免于该后处理过程，提高检测效率及准确率；拼接图像的待检测视场范围可调，基于单目相机数量及两相邻相机重叠视场确定，可适用于不同场景；利用深度学习算法RTM3D对图像拼接中物体进行检测及深度估计，以单目相机作为传感器实现低成本目标检测及测距，节约传感器硬件成本，减少过程复杂度。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
[0021]图1为本专利技术一种多相机环视拼接单目测距系统的结构示意图；
[0022]图2为本专利技术一种多相机环视拼接单目测距系统的软件流程示意图。
具体实施方式
[0023]下面将结合本专利技术的附图，对本专利技术的技术方案进行清楚、完整地描述。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]如图1至图2所示，本实施例提供一种多相机环视拼接单目测距方法，包括：步骤S1：搭建激光雷达和单目相机数据采集系统，激光雷达用于获取目标物体点云数据，单目相机用于获取目标物体图像数据，两类数据标注后用于模型训练；步骤S2：根据目标检测区域确定单目相机数量，将相邻两相机得到的图像进行两两拼接，并最终得到多个相机环视拼接图像；步骤S3：调用步骤S1中训练的深度学习模型，对最终拼接图像中的目标物体进行检测及测距。
[0025]在本实施例中，如图1所示，数据采集系统由激光雷达、单目相机、、数据采集处理器及数据采集存储模块组成。单目相机用于采集目标物体图像信息，相机选择采样频率为25HZ，相机视场重叠区域为20
°
，通过USB3.0与数据存储模块进行数据传输交互。激光雷达通过以太网与数据采集处理器连接，用于采集目标物体三维空间坐标信息，激光雷达仅在数据采集阶段使用，其采集的点云信息用于模型训练，作为先验知识使得模型能够预测图像空间中三维坐标信息，激光雷达选用机械旋转式，得到广阔视场范围的点云数据，采样频率为10HZ，通过以太网与数据存储模块进行数据传输交互。数据采集存储模块与数据采集
处理器连接，用于保存采集的点云和图像数据，选用NvidiajetsonAGX模块，作为快速高效的嵌入式AI计算设备使用，实现激光雷达和相机数据采集和存储。
[0026]在本实施例中，如图2所示，图像拼接方法具体包括：根据待检测区域视场范围以及单目相机视场重叠区域确定单目相机数量，通过深度学习算法SuperGlue对相邻两相机得到的图像进行图像匹配，得到两幅图像间的关键点和描述子，计算相邻两图像间的单应性矩阵，再利用透视变换进行图像间拼接、融合。依次对相邻两图像进行上述处理，最终得到环视拼接图像。图像拼接后用于目标检测及测距，其优势在于：首先，A、B两相机拼接后图像视场与C单个相机图像视场相同情况下，C相机焦距小于A、B相机，A、B相机拼接后图像有效成像距离远于C相机；其次，多幅图像检测可能会出现对同一物体重复检测，需后处理统一为同一目标物体，拼接后图像检测可免于该后处理过程。
[0027]在本施例中，如图2所示，深度学习模型检测及测距算法具体包括：目标检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机环视拼接单目测距方法，其特征在于，包括：S1、搭建激光雷达和单目相机数据采集系统，激光雷达用于采集目标物体三维点云信息，单目相机用于采集目标物体二维图像信息，两类信息处理标注后用于模型训练；S2、根据目标检测区域确定单目相机数量，将相邻两相机得到的图像进行两两拼接，并最终得到多个相机环视拼接图像；S3、调用步骤S1中训练的深度学习模型，对最终拼接图像中的目标物体进行检测及测距。2.根据权利要求1所述的一种多相机环视拼接单目测距方法，其特征在于，步骤S1中，激光雷达和单目相机数据采集系统具体包括激光雷达、单目相机、数据采集处理器及数据存储模块；激光雷达通过以太网与数据采集处理器连接，用于采集目标物体三维空间坐标信息，激光雷达仅在数据采集阶段使用，其采集的点云信息用于模型训练，作为先验知识使得模型能够预测图像空间中三维坐标信息；单目相机通过US...

【专利技术属性】
技术研发人员：陈龙，朱怀武，侯鹏程，
申请(专利权)人：湖北三江航天红峰控制有限公司，
类型：发明
国别省市：