一种基于多类型相机的SLAM融合方法及其系统技术方案

本发明专利技术公开了一种基于多类型相机的SLAM融合方法及其系统，包括以下步骤，在车身前侧分别安装多类型的摄像机模块；对所述摄像机模块进行相机标定；所述摄像机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；所述硬件同步模块将所述摄像机模块采集的不同类型图像信息在时间戳上同步；SLAM融合模块将所述摄像机模块采集的不同类型图像进行图像融合进行车载显示。本发明专利技术的有益效果：将辅助用的相机的信息投射到主用的相机中，从而能提高整个系统的鲁棒性，解决单种类相机的使用瓶颈方案硬件成本低。

A slam fusion method and system based on multi camera

The invention discloses a slam fusion method and system based on a multi type camera, including the following steps: installing a multi type camera module on the front side of the vehicle body, calibrating the camera module, collecting image information and correcting the collected image, extracting the orb feature points, calculating the depth map and collecting the color map Align with the depth map; the hardware synchronization module synchronizes the different types of image information collected by the camera module on the time stamp; the slam fusion module performs image fusion of different types of images collected by the camera module for vehicle display. The invention has the advantages that the information of the auxiliary camera is projected into the main camera, so as to improve the robustness of the whole system, and the hardware cost of solving the use bottleneck scheme of the single type camera is low.

【技术实现步骤摘要】
一种基于多类型相机的SLAM融合方法及其系统
本专利技术涉及以视觉为主图像采集融合
，尤其涉及一种基于多类型相机的SLAM融合方法及其系统。
技术介绍
在车辆高级驾驶辅助系统中，定位和建图是不可缺少的技术，比如在弱GPS或者无GPS时车辆需要依赖SLAM技术导航和路径规划。高级驾驶辅助系统是利用安装在车上的各式各样传感器，如毫米波雷达、激光雷达、单\双目摄像头以及卫星导航，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。目前普遍采集视觉+激光雷达的方式，但是激光雷达价格昂贵，成本比较高，而视觉传感器利用相机感知周围环境，能够提供距离和丰富的外观信息。基于以视觉为主的方式，单目SLAM无法直接测量距离，双目SLAM需要大量的计算单元去计算深度，RGB-DSLAM使用场景有限，目前仅适用于室内近距离的感知。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的技术问题是：解决单种类相机的应用限制，以及提高整个系统的鲁棒性。为解决上述技术问题，本专利技术提供如下技术方案：一种基于多类型相机的SLAM融合方法，包括以下步骤，在车身前侧分别安装多类型的摄像机模块；对所述摄像机模块进行相机标定；所述摄像机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；所述硬件同步模块将所述摄像机模块采集的不同类型图像信息在时间戳上同步；SLAM融合模块将所述摄像机模块采集的不同类型图像进行图像融合进行车载显示。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述摄像机模块还包括单目相机模块、双目相机模块、RGB-D相机模块。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述单目相机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取，同时所述双目相机模块对其采集的图像进行深度图的计算，同时所述RGB-D相机模块将其采集的彩色图与深度图对齐。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述相机相对于车载坐标系的变换矩阵获取包括如下步骤，标定摄像机模块并将所述摄像机模块设置于车身的预设目标位置上；在预设拍摄位置上放置原始标定图案；利用所述摄像机模块拍摄所述原始标定图案得到所述拍摄图像；对所述拍摄图像进行预处理，获取所述拍摄图像的像素坐标与参照坐标系间的坐标变换关系。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：定义所述参照坐标系包括以下步骤，选取所述车身上的任一位置为原点O；根据所述原点O定义车身坐标系O1为所述参照坐标系。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述变换矩阵推算包括以下步骤，标定所述摄像机模块并获取其标定数据；所述拍摄图像根据所述标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E1；利用所述消除畸变图像中标定图案的特征点获取像素坐标；利用所述像素坐标和所述原始标定图案的位置坐标求出透视变换矩阵E2，且所述位置坐标相对于所述车身坐标系O1；定义所述拍摄图像的像素坐标与所述车身坐标系O1的变换关系为E＝E2·E1。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述硬件同步模块包括单片机模块、GPS时间接收机和RTC芯片；所述单片机模块时间信息接收模块接收所述GPS时间接收机的时间信息和时间脉冲；所述RTC芯片与所述单片机模块内的RTC模块连接；相机反馈信号连接所述单片机模块的反馈信号检测模块。作为本专利技术所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述SLAM融合包括以下步骤，根据实时所处的场景的环境因数，决策单元选择合适的相机作为当前场景下的主使用相机；将其它相机的特征点通过变换矩阵计算出在当前主使用相机的图像坐标点，并以所述图像坐标点为坐标原点；固定半径范围内搜索得出距离最短的特征点，滤出超出一定距离阈值的外点，输出更加可靠的特征点。本专利技术解决的另一个技术问题是：提供一种基于多类型相机的SLAM融合系统，上述方法依托于本系统实现，能够解决单种类相机的应用限制，以及提高整个系统的鲁棒性。为解决上述技术问题，本专利技术提供如下技术方案：一种基于多类型相机的SLAM融合系统，其特征在于：包括摄像机模块、硬件同步模块和SLAM融合模块；所述摄像机模块设置于车身且与水平面平行的多类型相机，还包括单目相机模块、双目相机模块、RGB-D相机模块；所述硬件同步模块用于所述单目相机模块、所述双目相机模块和所述RGB-D相机模块在时间戳上的同步；所述SLAM融合模块将所述摄像机模块采集的多类型图像信息进行融合并与车载显示器进行显示。本专利技术的有益效果：利用SLAM融合算法模块决策在当前的场景中使用哪个或者多个相机，并决策以哪个相机为主或者为辅，将辅助用的相机的信息投射到主用的相机中，从而能提高整个系统的鲁棒性，解决单种类相机的使用瓶颈方案硬件成本低；并且只需要三组相机，即可满足多场景的要求，解决单种类相机的应用限制，满足车辆高级驾驶辅助系统的要求。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一个实施例所述基于多类型相机的SLAM融合方法的整体流程结构示意图；图2为本专利技术第一个实施例所述世界坐标系、相机坐标系和图像坐标系的示意图；图3为本专利技术第一个实施例所述坐标系的示意图；图4为本专利技术第一个实施例所述相机成像原理的示意图；图5为本专利技术第一个实施例所述相机成像畸变原理的示意图；图6为本专利技术第一个实施例所述相机成像径向畸变原理的示意图；图7为本专利技术第二个实施例所述硬件同步模块的硬件电路连接示意图；图8为本专利技术第二个实施例所述相机同步曝光的流程示意图；图9为本专利技术第二个实施例所述时间校正流程的示意图；图10为本专利技术第三个实施例所述基于多类型相机的SLAM融合系统应用于车身的示意图；图11为本专利技术第三个实施例本文档来自技高网...

【技术保护点】
1.一种基于多类型相机的SLAM融合方法，其特征在于：包括以下步骤，/n在车身前侧分别安装多类型的摄像机模块(100)；/n对所述摄像机模块(100)进行相机标定；/n所述摄像机模块(100)采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；/n所述硬件同步模块(200)将所述摄像机模块(100)采集的不同类型图像信息在时间戳上同步；/nSLAM融合模块(300)将所述摄像机模块(100)采集的不同类型图像进行图像融合进行车载显示。/n

【技术特征摘要】
1.一种基于多类型相机的SLAM融合方法，其特征在于：包括以下步骤，
在车身前侧分别安装多类型的摄像机模块(100)；
对所述摄像机模块(100)进行相机标定；
所述摄像机模块(100)采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；
所述硬件同步模块(200)将所述摄像机模块(100)采集的不同类型图像信息在时间戳上同步；
SLAM融合模块(300)将所述摄像机模块(100)采集的不同类型图像进行图像融合进行车载显示。


2.如权利要求1所述的基于多类型相机的SLAM融合方法，其特征在于：所述摄像机模块(100)还包括单目相机模块(101)、双目相机模块(102)、RGB-D相机模块(103)。


3.如权利要求2所述的基于多类型相机的SLAM融合方法，其特征在于：所述单目相机模块(101)采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取，同时所述双目相机模块(102)对其采集的图像进行深度图的计算，同时所述RGB-D相机模块(103)将其采集的彩色图与深度图对齐。


4.如权利要求1～3任一所述的基于多类型相机的SLAM融合方法，其特征在于：所述相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出。


5.如权利要求4所述的基于多类型相机的SLAM融合方法，其特征在于：所述相机相对于车载坐标系的变换矩阵获取包括如下步骤，
标定摄像机模块(100)并将所述摄像机模块(100)设置于车身(400)的预设目标位置上；
在预设拍摄位置上放置原始标定图案(500)；
利用所述摄像机模块(100)拍摄所述原始标定图案(500)得到所述拍摄图像(600)；
对所述拍摄图像(600)进行预处理，获取所述拍摄图像(600)的像素坐标与参照坐标系间的坐标变换关系。


6.如权利要求5所述的基于多类型相机的SLAM融合方法，其特征在于：定义所述参照坐标系包括以下步骤，
选取所述车身(400)上的任一位置为原点O；
根据所述原点O定义车身坐标系O1为所述参照坐标系...

【专利技术属性】
技术研发人员：马鑫军，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32