本发明专利技术涉及一种点云和图像融合的多要素感知方法及装置，其方法包括：获取基于多传感器采集的道路的点云及其对应图像；基于神经网络对所述图像进行语义分割，得到所述图像中每种要素的语义信息；基于激光雷达的标定参数，对所述点云进行运动补偿；将运动补偿后的点云与所述图像进行融合，得到融合语义点云；基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图；通过点云定位匹配方法，将未融合区域的点云与所述精细化的点云语义地图进行融合。本发明专利技术通过点云与图像的语义信息融合，降低了激光雷达和相机通过坐标转换的难度，同时提高了融合后点云的精度。提高了融合后点云的精度。提高了融合后点云的精度。
【技术实现步骤摘要】
一种点云和图像融合的多要素感知方法及装置
[0001]本专利技术属于高精度地图制作
，具体涉及一种点云和图像融合的多要素感知方法及装置。
技术介绍
[0002]在无人驾驶过程中，高精度的地图是必不可少的部分，高精度地图的制作离不开点云数据的采集和感知。高精度地图采集一般采用安装了激光雷达、相机和组合导航等设备的移动测量系统。在保证移动测量系统的时间同步和空间同步前提下，进行多传感数据融合感知是当前高精度地图制作的主流。具体方法是将点云投影图像，跟图像的像素生成对应关系，然后对图像进行感知处理，再将图像分割结果赋值点云，实现点云的分割感知。但是受限于激光雷达视场角度和相机视场角度的融合区域小、相机和激光雷达标定参数的误差、组合导航轨迹的误差累积、相机的畸变校正误差和激光雷达的噪声等因素的影响。
技术实现思路
[0003]为提高高精度地图制作过程中的多传感器数据融合的精度和减少误差，在本专利技术的第一方面提供了一种点云和图像融合的多要素感知方法，包括：获取基于多传感器采集的道路的点云及其对应图像，所述多传感器包括激光雷达和视觉传感器；基于神经网络对所述图像进行语义分割，得到所述图像中每种要素的语义信息；基于激光雷达的标定参数，对所述点云进行运动补偿；将运动补偿后的点云与所述图像进行融合，得到融合语义点云；基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图；通过点云定位匹配方法，将未融合区域的点云与所述精细化的点云语义地图进行融合。
[0004]在本专利技术的一些实施例中，所述基于激光雷达的标定参数，对所述点云进行运动补偿包括：基于激光雷达通过ToF原理采集的空间信息，根据激光雷达的内参和组合导航的运动变换，将点云的极坐标转换到雷达直角坐标系中，并进行运动补偿。
[0005]进一步的，所述将运动补偿后的点云与所述图像进行融合，得到融合语义点云包括：使用激光雷达和相机的标定参数，将激光雷达坐标系下的单帧点云，通过坐标转换计算，转换到相机坐标系下，再通过相机内参和畸变参数将相机坐标系下的点云转换到图片坐标系；基于激光雷达和相机的标定参数，将激光雷达坐标系下的单帧点云转换到相机坐标系中；根据相机内参和畸变参数，将相机坐标系下的单帧点云转换到图像坐标系中；将单帧点云对应的图像语义信息赋值给单帧点云，得到单帧融合语义点云。
[0006]在本专利技术的一些实施例中，所述基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图包括：根据每种要素的语义信息，对点云中一个或多种要素进行分离；计算每种要素的属性信息，并对每种单一要素的点云进行聚类分割；根据每种单一要素的属性特征，对分割后的每种单一要素的点云进行过滤；通过绝对坐标系，对多帧过滤后的单一要素的点云进行合并，得到精细化的点云语义地
图。
[0007]进一步的，所述根据每种单一要素的属性特征，对分割后的每种单一要素的点云进行过滤包括：依次选取单一要素的点云，进行最近邻搜索的聚类分割；根据每种单一要素的属性特征，对聚类的点云进行PCA分析、法向量计算得到所述单一要素的相关要素属性；根据所述单一要素的相关要素属性，去除不满足属性分类的要素点云。
[0008]在上述的实施例中，还包括：将融合后的点云语义地图按照预设尺寸进行裁剪，并对裁剪的点云进行栅格下采样，得到最终的点云地图。
[0009]本专利技术的第二方面，提供了一种点云和图像融合的多要素感知装置，包括：获取模块，用于获取基于多传感器采集的道路的点云及其对应图像，所述多传感器包括激光雷达和视觉传感器；补偿模块，用于基于神经网络对所述图像进行语义分割，得到所述图像中每种要素的语义信息；基于激光雷达的标定参数，对所述点云进行运动补偿；第一融合模块，用于将运动补偿后的点云与所述图像进行融合，得到融合语义点云；基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图；第二融合模块，用于通过点云定位匹配方法，将未融合区域的点云与所述精细化的点云语义地图进行融合。
[0010]本专利技术的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术在第一方面提供的云和图像融合的多要素感知方法。
[0011]本专利技术的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本专利技术在第一方面提供的云和图像融合的多要素感知方法。
[0012]本专利技术的有益效果是：
[0013]激光雷达视场角度和相机视场角度的融合区域小，融合提取方案需要剔除大量的点云的问题；组合导航轨迹的误差累积，会传递给绝对坐标系下的点云，导致点云和图像融合精度丢失的问题；相机的畸变校正误差，导致图像边缘区域的点云图像融合精度偏差变大；激光雷达的测距误差导致点云，存在大量的边缘噪声；点云稀疏导致图像大量的像素点对应点云投影的像素。本专利技术通过激光雷达与导航轨迹的结合，解决了上述问题，即提高了精度，降低了误差。
附图说明
[0014]图1为本专利技术的一些实施例中的点云和图像融合的多要素感知方法的基本流程示意图；
[0015]图2为本专利技术的一些实施例中的点云和图像融合的多要素感知方法的具体流程示意图之一；
[0016]图3为本专利技术的一些实施例中的点云和图像融合的多要素感知方法的具体流程示意图之二；
[0017]图4本专利技术的一些实施例中的精细化的点云语义地图具体融合过程示意图；
[0018]图5为本专利技术的一些实施例中的点云和图像融合的多要素感知方法装置的结构示意图；
[0019]图6为本专利技术的一些实施例中的电子设备的结构示意图。
具体实施方式
[0020]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0021]参考图1至图3，在本专利技术的第一方面，提供了一种点云和图像融合的多要素感知方法，包括：S100.获取基于多传感器采集的道路的点云及其对应图像，所述多传感器包括激光雷达和视觉传感器；S200.基于神经网络对所述图像进行语义分割，得到所述图像中每种要素的语义信息；基于激光雷达的标定参数，对所述点云进行运动补偿；S300.将运动补偿后的点云与所述图像进行融合，得到融合语义点云；基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图；S400.通过点云定位匹配方法，将未融合区域的点云与所述精细化的点云语义地图进行融合。
[0022]在本专利技术的一些实施例的步骤S100中，获取基于多传感器采集的道路的点云及其对应图像，所述多传感器包括激光雷达和视觉传感器；具体地，通过装置了激光雷达、相机、组合导航、车轮编码器等设备的移动采集车，采集城市道路的点云和图像等数据。
[0023]在本专利技术的一些实施例的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种点云和图像融合的多要素感知方法，其特征在于，包括：获取基于多传感器采集的道路的点云及其对应图像，所述多传感器包括激光雷达和视觉传感器；基于神经网络对所述图像进行语义分割，得到所述图像中每种要素的语义信息；基于激光雷达的标定参数，对所述点云进行运动补偿；将运动补偿后的点云与所述图像进行融合，得到融合语义点云；基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图；通过点云定位匹配方法，将未融合区域的点云与所述精细化的点云语义地图进行融合。2.根据权利要求1所述的点云和图像融合的多要素感知方法，其特征在于，所述基于激光雷达的标定参数，对所述点云进行运动补偿包括：基于激光雷达通过ToF原理采集的空间信息，根据激光雷达的内参和组合导航的运动变换，将点云的极坐标转换到雷达直角坐标系中，并进行运动补偿。3.根据权利要求2所述的点云和图像融合的多要素感知方法，其特征在于，所述将运动补偿后的点云与所述图像进行融合，得到融合语义点云包括：使用激光雷达和相机的标定参数，将激光雷达坐标系下的单帧点云，通过坐标转换计算，转换到相机坐标系下，再通过相机内参和畸变参数将相机坐标系下的点云转换到图片坐标系；基于激光雷达和相机的标定参数，将激光雷达坐标系下的单帧点云转换到相机坐标系中；根据相机内参和畸变参数，将相机坐标系下的单帧点云转换到图像坐标系中；将单帧点云对应的图像语义信息赋值给单帧点云，得到单帧融合语义点云。4.根据权利要求1所述的点云和图像融合的多要素感知方法，其特征在于，所述基于每种要素的属性和语义信息，对多个单一要素的点云进行聚类、过滤和合并，得到精细化的点云语义地图包括：根据每种要素的语义信息，对点云中一个或多种要素进行分离；计算每种要素的属性信息，并对每种单一要素的点云进行聚类分割；根据每种单一要素的属性特征，对分割后的每种单一要素的点云进行过滤；通过绝对坐标系，对多帧过滤后的单一要素的点云进行合并，得到精细化的点云语义地图。5.根据权利要求4所述的点云和图像融合的多要素感知方法，其特征在于，所述根据每种单一要素的属性特...
【专利技术属性】
技术研发人员：王强，刘奋，尹玉成，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。