栅格地图与光学图像匹配方法和装置制造方法及图纸

本申请涉及栅格地图与光学图像匹配方法和装置，包括：获取针对目标范围的雷达点云数据和光学图像数据及与雷达点云数据对应的栅格地图；分别获取雷达点云数据中第一部分数据点在栅格地图中的位置坐标及在光学图像中的位置坐标；基于第一部分数据点及其在栅格地图中的位置坐标得到雷达点云坐标系和栅格地图坐标系的第一映射关系；基于第一部分数据点及其在光学图像中的位置坐标得到雷达点云坐标系和光学图像坐标系的第二映射关系；基于第一映射关系和第二映射关系得到栅格地图坐标系和光学图像坐标系的第三映射关系；基于第三映射关系实现雷达点云数据中第二部分数据点在栅格地图与光学图像之间的匹配。本申请能将栅格地图与光学图像进行匹配。格地图与光学图像进行匹配。格地图与光学图像进行匹配。

Grid map and optical image matching method and device

【技术实现步骤摘要】
栅格地图与光学图像匹配方法和装置


[0001]本申请涉及多传感器信息融合标定
，特别是涉及一种栅格地图与光学图像匹配方法和装置。

技术介绍

[0002]SLAM(Simultaneous Localization and Mapping，同时定位与构图)技术广泛应用于自动驾驶、机器人以及测绘等多个领域，此技术可以依靠单个传感器实现对环境的感知，进行构建地图和实现定位。常用的传感器有激光雷达、毫米波雷达、双目相机、单目相机等。不同传感器具有不同的工作机制，因此具有不同的工作性能。光学相机价格便宜、具有丰富的语义信息，但是容易受恶劣天气、光照的影响，不能做到全天时全天候。相反，毫米波雷达是利用发射毫米波波段的电磁波来工作的，不受天气的影响，但是语义信息少，不直观，因此使用毫米波雷达构建的栅格地图缺少语义信息。将栅格地图与相机获得的图像进行匹配可以增加栅格地图的语义信息，有利于目标检测、分类以及虚假目标的识别等研究。
[0003]基于坐标转换的传统传感器标定方法需要多种参数进行标定，例如光学相机的内参、毫米波雷达自身以及传感器间的旋转参数等，除此之外还需要设计大量的标定物，进行多次标定实验。这种方法复杂而且不容易实现。
[0004]申请内容
[0005]基于此，本申请提供了一种栅格地图与光学图像匹配方法、装置、设备和存储介质，以克服现有技术中栅格地图与光学图像匹配的复杂性，解决毫米波雷达SLAM地图可视性差的问题。
[0006]第一方面，提供一种栅格地图与光学图像匹配方法，该方法包括：
[0007]获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图；
[0008]分别获取所述雷达点云数据中第一部分数据点在所述栅格地图中的位置坐标以及在所述光学图像中的位置坐标；
[0009]基于所述第一部分数据点及其在所述栅格地图中的位置坐标得到雷达点云坐标系和栅格地图坐标系的第一映射关系；基于所述第一部分数据点及其在所述光学图像中的位置坐标得到雷达点云坐标系和光学图像坐标系的第二映射关系；
[0010]基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系；
[0011]基于所述第三映射关系实现所述雷达点云数据中第二部分数据点在所述栅格地图与所述光学图像之间的匹配。
[0012]根据本申请实施例中一种可实现的方式，所述获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图，包括：
[0013]通过固定于移动承载平台上的毫米波雷达与光学摄像头，分别获取雷达点云数据和光学图像数据，将所述雷达点云数据进行SLAM算法处理得到栅格地图；
[0014]其中，所述毫米波雷达与所述光学摄像头的几何位置固定。
[0015]根据本申请实施例中一种可实现的方式，所述第一映射关系和所述第二映射关系基于单应性变换得到。
[0016]根据本申请实施例中一种可实现的方式，所述基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系包括：
[0017]利用所述第一映射关系中的第一常数、第一单应性矩阵以及所述第二映射关系中的第二常数、第二单应性矩阵，确定所述第三映射关系中的第三常数和转换矩阵；
[0018]利用所述第三映射关系中的第三常数和转换矩阵，得到基于单应性变换的所述第三映射关系。
[0019]根据本申请实施例中一种可实现的方式，所述第一映射关系为：
[0020][0021]所述第二映射关系为：
[0022][0023]所述第三映射关系为：
[0024][0025]其中，(x
r
,y
r
)为数据点在雷达点云坐标系的位置坐标；(x
m
,y
m
)为数据点在栅格地图坐标系的位置坐标；(u,v)为数据点在光学图像坐标系的位置坐标；P
i
为第i帧雷达点云数据在雷达点云坐标系和栅格地图坐标系之间的第一单应性矩阵；H为一帧雷达点云数据在雷达点云坐标系和光学图像坐标系之间的第二单应性矩阵；P
i
H
‑1为栅格地图坐标系与光学图像坐标系之间的转换矩阵；S1为第一常数；S2为第二常数；S为第三常数。
[0026]根据本申请实施例中一种可实现的方式，所述第一部分数据点基于光学图像中的目标对象获取。
[0027]根据本申请实施例中一种可实现的方式，所述基于所述第三映射关系实现所述雷达点云数据中第二部分数据点在所述栅格地图与所述光学图像之间的匹配包括：
[0028]确定所述雷达点云数据中第二部分数据点在所述栅格地图中的位置坐标；
[0029]基于所述第二部分数据点在所述栅格地图中的位置坐标和所述第三坐标映射关系，确定所述第二部分数据点在所述光学图像中的位置坐标。
[0030]第二方面，提供了一种栅格地图与光学图像匹配装置，该装置包括：
[0031]获取单元：用于获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图；分别获取所述雷达点云数据中第一部分数据点在所述栅格地图中的位置坐标以及在所述光学图像中的位置坐标；
[0032]变换单元：用于基于所述第一部分数据点及其在所述栅格地图中的位置坐标得到
雷达点云坐标系和栅格地图坐标系的第一映射关系；基于所述第一部分数据点及其在所述光学图像中的位置坐标得到雷达点云坐标系和光学图像坐标系的第二映射关系；基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系；
[0033]匹配单元：用于基于所述第三映射关系实现所述雷达点云数据中第二部分数据点在所述栅格地图与所述光学图像之间的匹配。
[0034]第三方面，提供了一种计算机设备，包括：
[0035]至少一个处理器；以及
[0036]与所述至少一个处理器通信连接的存储器；其中，
[0037]所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中涉及的方法。
[0038]第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令用于使计算机执行上述第一方面中涉及的方法。
[0039]根据本申请实施例所提供的
技术实现思路
，本申请通过雷达点云坐标系和栅格地图坐标系之间的映射关系以及雷达点云坐标系和光学图像坐标系之间的映射关系，进而计算出栅格地图坐标系和所述光学图像坐标系之间的转换关系，从而实现SLAM栅格地图与光学图像之间的匹配，提升匹配的效率，解决了原有的匹配方法标定复杂、不易实现的问题，将SLAM栅格地图与光学图像进行匹配，解决了SLAM栅格地图语义信息不丰富的问题，提高直观性。
附图说明
[0040]图1为一个实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种栅格地图与光学图像匹配方法，其特征在于，包括：获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图；分别获取所述雷达点云数据中第一部分数据点在所述栅格地图中的位置坐标以及在所述光学图像中的位置坐标；基于所述第一部分数据点及其在所述栅格地图中的位置坐标得到雷达点云坐标系和栅格地图坐标系的第一映射关系；基于所述第一部分数据点及其在所述光学图像中的位置坐标得到雷达点云坐标系和光学图像坐标系的第二映射关系；基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系；基于所述第三映射关系实现所述雷达点云数据中第二部分数据点在所述栅格地图与所述光学图像之间的匹配。2.根据权利要求1所述的栅格地图与光学图像匹配方法，其特征在于，所述获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图，包括：通过固定于移动承载平台上的毫米波雷达与光学摄像头，分别获取雷达点云数据和光学图像数据，将所述雷达点云数据进行SLAM算法处理得到栅格地图；其中，所述毫米波雷达与所述光学摄像头的几何位置固定。3.根据权利要求1所述的栅格地图与光学图像匹配方法，其特征在于，所述第一映射关系和所述第二映射关系基于单应性变换得到。4.根据权利要求3所述的栅格地图与光学图像匹配方法，其特征在于，所述基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系包括：利用所述第一映射关系中的第一常数、第一单应性矩阵以及所述第二映射关系中的第二常数、第二单应性矩阵，确定所述第三映射关系中的第三常数和转换矩阵；利用所述第三映射关系中的第三常数和转换矩阵，得到基于单应性变换的所述第三映射关系。5.根据权利要求4所述的栅格地图与光学图像匹配方法，其特征在于，所述第一映射关系为：所述第二映射关系为：所述第三映射关系为：
其中，(x
r
,y
r
)为数据点在雷达点云坐标系的位置坐标；(x
m
,y
m
)为数据点在栅格地图坐标系的位置坐标；(u,v)为数据点在光学图像坐标系的位置坐标...

【专利技术属性】
技术研发人员：李洋，魏永辉，王彦平，申文杰，林赟，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：