【技术实现步骤摘要】
本专利技术涉及数据增强，尤其涉及一种基于实例级序列混合的动态点云数据增强方法及装置。
技术介绍
1、激光雷达传感器具有精确的距离传感能力，能够捕捉环境的三维几何信息，因此被广泛应用于许多领域，尤其是自动驾驶领域。激光雷达作为高等级的自动驾驶传感器，在性能、防干扰和信息量优势明显。相比于摄像头，激光雷达的探测距离更远，距离测量精度更高，并且可以区分缓慢移动和其它静止的物体。随着高等级自动驾驶对于传感器要求的不断提升，激光雷达将作为传统传感器的重要补充，支撑自动驾驶的信息获取。
2、作为由激光雷达传感器扫描获得的数据，激光雷达点云，提供了对周围环境准确和强大的三维感知，对许多自主探测和导航任务至关重要。目前，处理激光雷达数据最有希望的方法是在完全监督的情况下训练神经网络，但是训练可靠的神经网络模型需要大量注释良好的训练数据，然而，创建具有详细标签的大型数据集是极其困难的，手工标注费时费力，由于点云数据本身的稀疏性，对其进行标注变得尤为困难，没有足够的注释数据来训练大型神经网络，并且跨任务和领域的可拓展性很差，这已成为激光雷达点云分析和理解的一个主要制约因素。
3、为解决需要大量注释良好的训练数据这一问题，已经有了两种主流方法：其一是模拟器生成合成数据的方法，其二是数据增强的方法；数据增强是一种通过计算数据的变化来丰富训练集，从而有效地减少对更多带注释数据的需求的方法。传统的全局数据的增强通常是通过几何变换来实现的，例如平移、旋转和对已经标记的样本进行缩放，该方法旨在通过修改和创建新的训练样本来扩大训练的分布，
4、(一)基于“复制-粘贴”的数据增强
5、为解决激光雷达学习问题, yan等人在2018年的论文second(稀疏嵌入卷积检测)中提出了一种新的数据增强方法，大大提高了收敛速度和性能。此外，该方法通过最大限度地利用点云数据中存在的丰富三维信息来解决基于三维卷积检测中的挑战，通过对现有卷积网络架构进行若干改进，将空间稀疏卷积网络引入到基于激光雷达的检测中，用于提取信息，second基于此功能集成了一种新的数据增强形式，生成一个包含对象属性和相关ground truth点云数据的数据库。然后在训练期间将从该数据库中采样的对象引入点云。所提出的second检测器由三个部分组成：（1）体素特征提取器；（2）稀疏卷积中间层；（3）rpn。
6、second检测器以原始点云作为输入，将其转换为体素特征和坐标，并应用两个vfe(体素特征编码)层和一个线性层，然后，应用稀疏卷积神经网络，最后，rpn生成检测。该方法通过遵循中所描述的简单过程来获得点云数据的体素表示，使用体素特征编码(vfe)层来提取体素特征，通过稀疏卷积算法和规则生成算法构建稀疏卷积中间提取器。
7、在进行数据增强时，首先，从训练数据集中生成了一个包含所有ground truth标签及其相关点云数据(ground truth三维包围框内的点)的数据库。然后，在训练过程中，从这个数据库中随机选择几个ground truth对象，通过插入的方式将它们引入到当前的训练点云中。使用这种方法，可以大大增加每个点云ground truth对象的数量，并模拟存在于不同场景中的对象。使用这种“复制-粘贴”的方法可以很有效地增加数据集。
8、(二)polarmix框架
9、xiao等人在2022年提出了polarmix模型用以沿着激光雷达对点进行裁剪、编辑和混合, 它可以有效地缓解不同感知任务和场景下的数据约束。polarmix丰富了点云分布，并通过两种交叉扫描增强策略，沿着扫描方向切割、编辑和混合点云，保持了点云的保真度。第一种是场景级交换，交换沿方位轴切割的两个激光雷达扫描的点云区域。第二个是实例级的旋转和粘贴，从一个激光雷达扫描中裁剪点对象实例，旋转多个角度(创建多个副本)，并将旋转的点对象实例粘贴到其他扫描中，polarmix的目标是通过剪切和混合两个训练样本来生成新的训练样本，生成的训练样本用于具有原有损失函数的网络训练。
10、(三)基于渲染的增强框架
11、fang等人于2021年提出了一个基于渲染的雷达增强框架(即lidar- aug)来丰富训练数据，提高基于雷达的三维目标检测器的性能。在该框架中解决了最重要的问题:在哪里以及如何将障碍物插入到真实的背景框架中。
12、该方法使用轻量级方法“validmap”来生成增强对象的姿势，同时避免碰撞，以实现更合理的障碍物放置。最后，利用渲染技术将增强的对象组合到真实的背景帧中，从而自动执行遮挡约束。
13、输入的原始雷达点云后，首先点云被发送到“位姿生成”模块。然后将障碍物模型插入到采样位姿下的场景中，通过“渲染模块”将插入的模型渲染到原始背景上，生成增强的雷达点云。然后，利用增强的激光雷达数据并验证其在三维目标检测任务中的有效性。
14、lidar-aug主要由两个模块组成，位姿生成模块和渲染模块。位姿生成模块为了保证增强对象与背景场景的一致性，还需要考虑前景对象与背景场景之间的碰撞检测。这意味着当前帧中被占用的雷达点将被移除。然而，由于增强的对象是直接从其他场景复制的，因此会产生不适合现实生活的增强场景，例如灌木丛中的人，穿过墙壁的汽车或建筑物内的自行车手。
15、渲染模块：首先，将激光束与物体表面相交，受新插入的障碍物的影响，需要更新交点。将插入的障碍物投影到当前帧上，生成物体图和深度图。对象图决定对象是否存在，深度图存储对象的深度值。所有的激光都能在映射矩阵中找到相应的像素点。如果物体贴图中对应的像素值无效，光线将不会更新。否则，它将直接通过查找深度图中的深度值进行更新。激光可以从地图中找到相应的像素。从对象性映射中，决定每条射线是否更新范围，根据深度图更新每条射线的距离值。
16、由此可知，现有技术的数据增强方法存在仅局限于静态数据，并且未考虑位置的合理性的技术问题。
技术实现思路
1、本专利技术提供了一种基于实例级序列混合的动态点云数据增强方法及装置，用以解决或者至少部分解决现有技术中的数据增强方法存在的仅局限于静态数据，并且未考虑位置的合理性的技术问题。
2、为了解决上述技术问题，本专利技术第一方面提供了一种基于实例级序列混合的动态点云数据增强方法，包括：
3、根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
4、采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集。
5、在一种实施方式中，根据激光点云中本文档来自技高网...
【技术保护点】
1.一种基于实例级序列混合的动态点云数据增强方法，其特征在于，包括：
2.如权利要求1所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，包括：
3.如权利要求2所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态，采用的策略包括：
4.如权利要求3所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录，包括：
5.如权利要求1所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，包括：
6.如权利要求5所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，将选取出的动态点云数据进行实例级裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，包括：
7.
8.一种基于实例级序列混合的动态点云数据增强装置，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项权利要求所述的方法。
...【技术特征摘要】
1.一种基于实例级序列混合的动态点云数据增强方法，其特征在于，包括：
2.如权利要求1所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，包括：
3.如权利要求2所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态，采用的策略包括：
4.如权利要求3所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录，包括：
5.如权利要求1所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待...
【专利技术属性】
技术研发人员：赵家兴，马锐，王庆林，常贵东，张黄瑞鑫，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。