【技术实现步骤摘要】
本专利技术涉及自动驾驶感知的，具体涉及一种激光点云多任务模型结构、构建方法、处理方法及应用。
技术介绍
1、当前，主流的自动驾驶传感器有相机、毫米波雷达和激光雷达，与相机、毫米波雷达不同，激光雷达可通过扫描获取被量测目标的点云数据，每一个点云数据包含了三维坐标信息(x，y，z)，点云数据可确定精确的几何形状和目标物体的精确位置。激光雷达凭借其在深度信息方面的高精度优势，被广泛应用于自动驾驶对动态目标的检测、静态障碍物的检测及道路结构的建立中。
2、在实际应用中，激光雷达直接扫描获取的点云数据信息中，可能存在众多噪声等干扰信息，需要对激光雷达获取的激光点云数据进一步处理，以进行准确点云数据信息的提取，从而用于具体的任务操作。鸟瞰图(bird’s eye view，bev)可实现这一过程，bev的方案可以分为两类：基于体素的方案和基于柱状的方案。其中，基于体素的方案首先将空间中的点划分为均匀分布的体素，并使用三维的卷积层进行特征提取，最后投影在鸟瞰图上进行目标的检测、点云的语义分割等具体任务操作。基于柱状的方案是将三维的点云数据直接投影到二维俯视图上，直接使用二维卷积进行基于单帧点云的算法开发，对点云特征进行提取。
3、在实际基于单帧点云的算法开发过程中，若没有垂直轴上的特征压缩的情况下，基于体素的方案生产的算法的性能更高，而基于柱状的方案在计算中更高效，在实时性上更能满足工程化的需求。
4、在对激光雷达获取的点云数据进行处理的过程中，针对上述提到的特征提取方面，目前，传统独立开发的单任务网络模型
5、此外，激光雷达获取的点云在靠近激光雷达传感器的区域比较密集，在远离激光雷达传感器的区域比较稀疏，在点云稀疏的区域上，基于单帧点云的算法的性能则会降低，因此，使用连续帧的点云进行算法开发能够很大程度上提高算法的性能，实现时序点云融合。传统的方案是使用多个激光雷达扫描(帧)进行点云数据的叠加，从而将点云进行稠密化，稠密的点云能提供更丰富的点云信息，消除由于点的稀疏性而引起的不确定性，便于进行更高性能点云算法的开发，从而进行点云特征提取及融合。然而，由于点云的数量级通常为数十万数量级别，在点云遍历过程中需要消耗很大计算资源的同时占用大量内存，点云拼接的过程也会产生拼接误差以及点云时序上的帧与帧之间投影的误差，效率较低，且对点云算法开发精度的提升不明显，不利于点云特征提取及特征融合。目前，已有多帧点云特征融合的研究来克服上述缺陷，在多帧的点云特征融合研究方面，如使用基于transformer的方案对时序上的点云特征进行融合，但这种方案的大规模使用无法满足嵌入式端上的实时性需求，而且在时序上的点云特征图融合过程中，会同时碰到时间和空间上特征对齐的问题，而目前现有方案未考虑如何解决这种问题。
技术实现思路
1、本专利技术的目的之一在于提供一种激光点云多任务模型结构，以解决传统独立开发的单任务网络模型在嵌入式端上浪费计算资源的问题；目的之二在于提供一种激光点云多任务模型结构的构建方法，构建基础激光点云多任务模型结构的同时，解决传统多任务模型不支持不同任务非同源的数据集训练的问题；目的之三在于提供一种激光点云处理方法，解决传统采用点云数据叠加拼接将点云稠密化的方式需消耗大量计算资源，且点云拼接的过程会产生拼接误差及点云时序上的帧与帧之间投影的误差，效率较低，且对点云算法开发精度的提升不明显，不利于点云特征提取及特征融合的问题，还解决在时序上的特征图融合过程中，时间和空间上特征对齐的问题，目的之四在于提供一激光点云处理方法的应用，实现车辆自动驾驶感知中的激光点云处理。
2、为了实现上述目的，本专利技术采用的技术方案如下：
3、一种激光点云多任务模型结构，包括：
4、共享主干模型、与共享主干模型并列且各自互相独立的若干个单任务主干模型，所述共享主干模型及每一个所述单任务主干模型均以待处理的原始激光点云数据作为输入；其中，每一个所述单任务主干模型拥有各自的单任务主干编码器，所述共享主干模型拥有共享编码器，且所述共享编码器为若干个单任务主干模型所公共拥有，所述共享编码器和每一个单任务主干模型拥有的单任务主干编码器拼接后，连接每一个所述单任务主干模型对应的单任务头，所述单任务头用于单任务操作。
5、根据上述技术手段，在激光点云多任务模型中，每一个单任务主干模型拥有各自的单任务主干编码器的同时，拥有公共的共享编码器，而不同单任务主干模型仍可实现独立开发，开发效率高，节省嵌入式端的计算资源。
6、进一步，每一个所述单任务主干模型在激光点云多任务模型结构中为可插拔式接入。
7、根据上述技术手段，在多任务中增加新的单任务时，不会增加共享主干模型的大小，也不会影响到共享编码器，可插拔式接入便于新增单任务主干模型的开发。
8、进一步，所述共享主干模型采用基于三维稀疏卷积的网络模型，每一个所述单任务主干模型采用基于柱状的二维卷积网络模型。
9、第二方面，本专利技术提出一种激光点云多任务模型结构的构建方法，包括如下步骤：
10、构建共享主干模型、与共享主干模型并列且各自互相独立的若干个单任务主干模型，其中，每一个所述单任务主干模型拥有各自的单任务主干编码器，所述共享主干模型拥有共享编码器，且所述共享编码器为若干个单任务主干模型所公共拥有，所述共享编码器和每一个单任务主干模型拥有的单任务主干编码器拼接后，连接每一个所述单任务主干模型对应的单任务头，所述单任务头用于单任务操作；
11、以待处理的原始激光点云数据分别作为所述共享主干模型的输入及每一个所述单任务主干模型的输入，训练所述共享主干模型及每一个所述单任务主干模型；
12、训练完成，得到最终的激光点云本文档来自技高网...
【技术保护点】
1.一种激光点云多任务模型结构，其特征在于，包括：
2.根据权利要求1所述的激光点云多任务模型结构，其特征在于，每一个所述单任务主干模型在激光点云多任务模型结构中为可插拔式接入。
3.根据权利要求1所述的激光点云多任务模型结构，其特征在于，所述共享主干模型采用基于三维稀疏卷积的网络模型，每一个所述单任务主干模型采用基于柱状的二维卷积网络模型。
4.一种权利要求1至3任一项所述激光点云多任务模型结构的构建方法，其特征在于，包括如下步骤：
5.根据权利要求4所述的激光点云多任务模型结构的构建方法，其特征在于，所述待处理的原始激光点云数据包括若干个单任务分别对应的激光点云数据，设多任务组成表示为：{单任务1，单任务2，...，单任务n}，多任务中若干个单任务对应的待处理的原始激光点云数据组成表示为：{(单任务1，激光点云数据1)，(单任务2，激光点云数据2)，...，(单任务n，激光点云数据n)}，n为正整数；在所述待处理的原始激光点云数据输入至所述共享主干模型及每一个所述单任务主干模型之前，对所述待处理的原始激光点云数据进行体素化预处理
6.根据权利要求5所述的激光点云多任务模型结构的构建方法，其特征在于，在训练所述共享主干模型及每一个所述单任务主干模型时，首先进行所述共享主干模型的训练，然后训练每一个所述单任务主干模型，在训练过程中，预设激光点云任务模型的目标损失函数，根据激光点云任务模型中目标损失函数的值，更新所述单任务主干模型的模型参数和所述共享主干模型的模型参数，在目标损失函数收敛时，训练完成。
7.根据权利要求6所述的激光点云多任务模型结构的构建方法，其特征在于，采用前向-反向传递方式进行激光点云多任务模型的训练，其中，在前向传递过程中，若干个单任务分别对应的待处理的原始激光点云数据生成一个列表，列表中的不同点云帧对应不同的单任务，将点云帧按序次合并，将合并后的点云帧输入至共享主干模型中进行推理，由共享主干模型输出特征图，将特征图拆分为不同的单任务特征图，不同的单任务特征图按序次分配至对应的每个单任务头上，然后进行每个单任务的目标损失函数的计算，获得前向传递过程中每个单任务的目标损失函数的值，根据前向传递过程中每个单任务的目标损失函数的值，更新单任务主干模型的模型参数；
8.根据权利要求4所述的激光点云多任务模型结构的构建方法，其特征在于，所述多任务包括：车辆行驶目标检测任务、点云语义分割任务和路沿识别任务中的至少两个。
9.一种激光点云处理方法，其特征在于，包括：
10.根据权利要求9所述的激光点云处理方法，其特征在于，将原始激光点云数据输入至最终的激光点云多任务模型中进行特征提取前，对原始激光点云数据进行体素化处理；
11.根据权利要求10所述的激光点云处理方法，其特征在于，所述共享主干模型采用基于三维稀疏卷积的网络模型，每一个所述单任务主干模型采用基于柱状的二维卷积网络模型；原始激光点云数据经体素化处理后，在基于三维稀疏卷积的网络模型上进行所有单任务共享特征的特征提取，提取到三维特征，将三维特征压缩投影转换为二维特征后，再采用基于柱状的二维卷积网络模型进行特征提取；原始激光点云数据经体素化处理后，在基于柱状的二维卷积网络模型上进行各自单任务特征的提取。
12.根据权利要求11所述的激光点云处理方法，其特征在于，将特征提取的中间过程中得到的特征保存为历史帧特征，设当前帧点云对应的时刻为t时刻，历史帧点云对应的时刻分别为t-k、t-k+1、t-k+2、...、t-1时刻，k为大于0的整数，第t-k时刻得到的历史帧特征与第t-k+1时刻的历史帧点云数据融合后，再经过所述共享主干模型与每一个所述单任务主干模型进行特征提取，得到第t-k+1时刻的历史帧特征，所述历史帧特征的特征尺度不同，所述当前帧特征的特征尺度也不同，从而得到激光点云数据不同尺度大小的当前帧特征和历史帧特征。
13.根据权利要求12所述的激光点云处理方法，其特征在于，所述进行特征尺度预处理的过程为：将不同尺度的历史帧特征和当前帧特征分别进行双线性差值处理，以将不同尺度的特征对齐至相同尺度上，最后将相同尺度的特征合并。
14.根据权利要求13所述的激光点云处理方法，其特征在于，将特征尺度预处理后的当前帧特征和历史帧特征，在不同的融合模块上进行融合的过程为：
15.根据权利要求14所述的激光点云处理方法，其特征在于，所述CNN卷积融合模块采用基于注意力机制的卷积融合模块，包括最大池化层、平均池化层、卷积层及激活层，所述当前帧特征分别至输入最大池化层和平均池化层进行处理，经最大池化层和平均池...
【技术特征摘要】
1.一种激光点云多任务模型结构，其特征在于，包括：
2.根据权利要求1所述的激光点云多任务模型结构，其特征在于，每一个所述单任务主干模型在激光点云多任务模型结构中为可插拔式接入。
3.根据权利要求1所述的激光点云多任务模型结构，其特征在于，所述共享主干模型采用基于三维稀疏卷积的网络模型，每一个所述单任务主干模型采用基于柱状的二维卷积网络模型。
4.一种权利要求1至3任一项所述激光点云多任务模型结构的构建方法，其特征在于，包括如下步骤：
5.根据权利要求4所述的激光点云多任务模型结构的构建方法，其特征在于，所述待处理的原始激光点云数据包括若干个单任务分别对应的激光点云数据，设多任务组成表示为：{单任务1，单任务2，...，单任务n}，多任务中若干个单任务对应的待处理的原始激光点云数据组成表示为：{(单任务1，激光点云数据1)，(单任务2，激光点云数据2)，...，(单任务n，激光点云数据n)}，n为正整数；在所述待处理的原始激光点云数据输入至所述共享主干模型及每一个所述单任务主干模型之前，对所述待处理的原始激光点云数据进行体素化预处理。
6.根据权利要求5所述的激光点云多任务模型结构的构建方法，其特征在于，在训练所述共享主干模型及每一个所述单任务主干模型时，首先进行所述共享主干模型的训练，然后训练每一个所述单任务主干模型，在训练过程中，预设激光点云任务模型的目标损失函数，根据激光点云任务模型中目标损失函数的值，更新所述单任务主干模型的模型参数和所述共享主干模型的模型参数，在目标损失函数收敛时，训练完成。
7.根据权利要求6所述的激光点云多任务模型结构的构建方法，其特征在于，采用前向-反向传递方式进行激光点云多任务模型的训练，其中，在前向传递过程中，若干个单任务分别对应的待处理的原始激光点云数据生成一个列表，列表中的不同点云帧对应不同的单任务，将点云帧按序次合并，将合并后的点云帧输入至共享主干模型中进行推理，由共享主干模型输出特征图，将特征图拆分为不同的单任务特征图，不同的单任务特征图按序次分配至对应的每个单任务头上，然后进行每个单任务的目标损失函数的计算，获得前向传递过程中每个单任务的目标损失函数的值，根据前向传递过程中每个单任务的目标损失函数的值，更新单任务主干模型的模型参数；
8.根据权利要求4所述的激光点云多任务模型结构的构建方法，其特征在于，所述多任务包括：车辆行驶目标检测任务、点云语义分割任务和路沿识别任务中的至少两个。
9.一种激光点云处理方法，其特征在于，包括：
【专利技术属性】
技术研发人员：钱少华，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。