一种基于3D点云数据和2D图像数据融合匹配语义分割方法技术

本发明专利技术涉及一种基于3D点云数据和2D图像数据融合匹配语义分割方法，属于图像处理技术领域。本方法包括以下步骤：利用融合多尺度融合的注意力机制的2D图像网络和3D点云网络分别对2D图片和3D点云提取特征图，利用特征融合模块得到3D对2D特征图的投影得到的稀疏

【技术实现步骤摘要】
一种基于3D点云数据和2D图像数据融合匹配语义分割方法


[0001]本专利技术涉及一种基于3D点云数据和2D图像数据融合匹配语义分割方法，属于图像处理


技术介绍

[0002]目前随着自动驾驶技术的快速发展和智能机器人的研究，对周围环境的深入理解成为不可或缺的一个条件，因此精确的语义分割就变得越来越重要。对一个图像进行整体的理解关键在于将这个图像进行拆分，分成一些单独的部分。目前对于场景的理解已经进展到了像素级别的精细程度，通过对像素的处理来对图片中的每一个实体进行检测并且进而能够标记清晰的边界。
[0003]目前随着计算机视觉的不断发展，许多研究者对于语义分割的问题也越来越感兴趣，应用于静态图像的语义分割得到了非常深入的研究，并已经提出了许多很深入且成熟的算法。但是由于2D图像的语义分割存在了一些无法忽视的缺陷，如对光照条件的依赖大，对小物体边缘的分割不清晰，以及遮挡物体的分割混淆等问题，都令学者们十分困扰。而3D点云数据的出现就让这些问题得以被有效解决，由于近年来LiDAR设备的发展，3D点云数据的采集也不再成为问题，而如何本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D点云数据和2D图像数据融合匹配语义分割方法，其特征在于，具体包括以下步骤：步骤1：利用Deeplabv3模型对2D图片提取特征图，得到2D特征图，具体为：步骤1.1：构建块状结构，其中每一个块状结构中包含卷积层、批标准化函数和线性整流激活函数，原始的图片经过卷积层、批标准化函数、线性整流激活函数、卷积层、批标准化函数得到的结果与原始输入拼接得的结果再经过批标准化函数、线性整流激活函数作为块状结构的输出,并将原始的2D图像输入到该块状结构中，并且设置该块状结构的步长为n,得到输出图片；步骤1.2：根据步骤1.1的方式构建块状结构，并将步骤1.1得到的输出图片输入到本步骤构建的块状结构中，并且设置该块状结构的步长为m，得到输出图片；步骤1.3：根据步骤1.1的方式构建块状结构，并将步骤1.2得到的输出图片输入到本步骤构建的块状结构中，并且设置该块状结构的步长为q，得到输出图片；步骤1.4：根据步骤1.1的方式构建块状结构,设置其空洞率为t1，并将步骤1.3得到的输出图片输入到本步骤构建的块状结构中，并且设置该块状结构的步长为q，得到输出图片；步骤1.5：构建空洞空间卷积池化金字塔对步骤1.4得到的输出图片进行处理，具体包括如下子步骤：步骤1.5.1：构建一个a*a大小的卷积层以及多个b*b大小的空洞卷积对步骤1.4获得的输出图片进行处理，获得若干个不同尺度的图片特征；步骤1.5.2：构建一个全局平均池化层对步骤1.4获得的输出图片进行处理得到其图像级别的特征；步骤2：基于SparseConVNet模型实现3D点云数据的特征图的提取，得到3D特征图；步骤3.使用步骤1中得到的2D特征图经过多尺度特征融合的自注意力机制，获得具有全局依赖关系的2D依赖特征图，具体为：步骤3.1：计算步骤1.5.1得到的若干个不同尺度的图片特征以及步骤1.5.2得到的图像级别的特征中两两之间的相似度；步骤3.2：使用归一化指数函数对步骤3.1得到的相似度进行归一化，并以此作为键值加权求和，得到2D依赖特征图；步骤4.将步骤3.2得到的2D依赖特征图和步骤2得到的3D特征图输入可形变卷积、池化层以及特征融合模块得到3D对2D特征图的投影以及其稀疏
‑
密集的特征采样的结果；具体为：步骤4.1：使用步骤3.2得到的局依赖关系的2D依赖特征图经过处理得到相关的偏移图；步骤4.2：构建可形变卷积层，将步骤3.2得到的局依赖关系的2D依赖特征图和步骤4.1得到的偏移的2D依赖特征图输入所构建的可形变卷积层，在经过最大、最小和平均池化的过程，得到三种2D特征图；步骤4.3：构建2D
‑
3D投影模型，对步骤4.2得到的三种2D特征图进行采样，完成了二者的特征匹配过程之后...

【专利技术属性】
技术研发人员：项超，李雪松，姚宇翔，贾雨涵，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：