【技术实现步骤摘要】
本专利技术属于自动驾驶，尤其涉及一种针对反射率扰动的弹性解耦点云模型训练方法。
技术介绍
1、在自动驾驶技术的快速发展和普及的背景下，自动驾驶感知成为了关键的
激光雷达作为自动驾驶车辆的一种感知系统，采集到点云的反射率、点云几何等信息后，借助感知算法实现对道路、障碍物、行人和交通标志等的准确感知和理解。尽管基于点云的深度学习感知算法取得了令人瞩目的成就，但是点云模型对反射率、点云几何等信息存在着脆弱性问题，这些脆弱性对点云处理和应用构成了挑战。首先，点云图很容易受到噪声和不完整数据的影响，这种模型无关的误差会导致点云图信息丢失，造成后续如点云图处理和分析困难。此外，点云图还容易受到对抗性攻击的影响。对抗性攻击是指针对算法模型的梯度、目标函数等结构，有意地设计修改点云数据欺骗点云模型，导致点云处理算法的错误输出。
2、尽管有许多工作被提出来解决深度学习中的敏感度问题，但是大量的工作还是主要集中在图像的健壮性和脆弱性。相比于图像数据，对点云数据的研究还处于初级阶段，现有解决方案针对点云图脆弱性取得了一些进展，但仍存在一些挑战和不足。一些技术通过提出各种点云去噪算法，利用点云的几何结构和局部一致性，去除噪声点和异常点，提高点云图质量。然而，点云去噪算法对于复杂噪声模型和大规模点云数据处理都存在一些局限性；还有一些研究人员提出了鲁棒点云处理算法，对点云图进行全局建模，结合统计学习方法，提高点云图对噪声和异常数据的鲁棒性。然而，由于点云图的复杂性和多样性，很难设计出通用的鲁棒点云处理算法；还有一些技术基于对抗性攻击、输
3、尽管已经取得了一些进展，但目前针对点云图脆弱性的解决方案仍然存在一些不足之处：1)缺乏统一的标准和评估指标，使得不同的研究成果难以进行比较和验证，这导致了在点云图脆弱性研究中的一些结果难以复现或不具有可比性；2)鲁棒性与性能的平衡，提高点云图处理算法的鲁棒性往往会导致性能的下降，或者增加计算和存储的复杂性。在实际应用中，如何在保持高性能的同时提高点云图处理算法的鲁棒性仍然是一个挑战；3)对抗性攻击的不断演化，对抗性攻击方法不断演化，攻击者可能利用新的技术和策略来绕过当前的防御方法。因此，防御对抗性攻击需要不断更新和改进，以应对新的攻击方式。
技术实现思路
1、本专利技术目的在于提供一种针对反射率扰动的弹性解耦点云模型训练方法，以解决上述的技术问题。
2、为解决上述技术问题，本专利技术的一种针对反射率扰动的弹性解耦点云模型训练方法的具体技术方案如下：
3、一种针对反射率扰动的弹性解耦点云模型训练方法，包括如下步骤：
4、步骤1：证明反射率的重要性和模型脆弱性；
5、步骤1.1：计算反射率的信息量；
6、步骤1.2：证明反射率扰动的脆弱性；
7、步骤1.3：证明反射率对抗性攻击的脆弱性；
8、步骤2：基于解耦的训练；
9、首先在模型中将反射率信息和几何信息解耦，再对模型进行训练。
10、进一步的，所述步骤1采用基于投影的点云分割技术，数据集中每个样本点都是一个点云帧f＝{p1,p2,…,pn}，下标n代表帧f的点数，p代表一个五维向量(x,y,z,r,l)，其中x、y、z代表点云几何坐标，l代表真实标签，r代表点p反射率，通过一个从3d欧几里得空间坐标(x,y,z)到归一化离散化图像坐标(u,v)的映射将帧f中的n个点转换，点通过图像坐标进行对齐，对于每个点，x、y、z、r被分别存储于矩阵中，创建一个5×h×w的张量t＝[x,y,z,d,r]，作为点云模型输入。进一步的，所述步骤1采用iou作为模型性能指标，对于特征提取器g和分割模块s组pd成的模型m，给定从帧f转换而来的张量t，关注性能恶化程度pd：
11、
12、
13、l是标签矩阵，o(.)表示扰动或攻击操作，pd展示了模型在遭受不同类型o(.)时性能的恶化程度，但是点云的几何信息没有发生变化，pd展示了模型在遭受不同类型的扰动或对抗性攻击时性能的恶化程度，而几何信息没有发生变化。
14、进一步的，步骤1.1在训练点云分割模型时，将5通道的输入张量t替换为只有反射率通道r，在映射到图像坐标之后，只使用反射率信息来预测每个点的类别标签，证明仅通过反射率通道就可以区分不同类别的边界。
15、进一步的，步骤1.2将每个点的反射率乘以一个随机因子，范围为0.5到1.5，作为经过良好训练的模型的输入，即：
16、o(r)＝rοn，(2)
17、1.5>nij>0.5,
18、其中o表示hadamard乘积；
19、性能比较结果显示所有类别的iou显著降低，模型容易受到对于与模型无关的反射率扰动的影响，而且在推断过程中模型对反射率信息依赖大。进一步的，步骤1.3：对反射率通道进行对抗性攻击，而不对几何信息进行任何修改，这种设置是模型感知的，通过预定义的分割损失函数ls，通过以下方式优化矩阵δ：
20、
21、
22、o(r)＝r+δ
23、对于每一帧，对其进行多步优化，性能比较结果显示模型对反射率非常依赖，因此容易受到反射率扰动的影响，与对模型无关的随机扰动的例子相比，模型感知的敌对攻击导致性能恶化更大。
24、进一步的，所述步骤2提出基于解耦的敌对训练方法，使模型能够弹性地在性能和鲁棒性之间取得平衡，
25、首先收集一组不包含反射率信息的点云帧，通过设置o(r)＝0来实现，对应的输入记为在提取去除反射率的点云帧和正常帧的特征之后，引入一个判别器d来区分它们与提取的特征和g(tnormal)，使用二元交叉熵损失函数ld对判别器d进行优化：
26、
27、其中，如果反射率通道r被设置为0，则1(t)＝1，否则1(t)＝0，判别器d的目标是在g提取的特征中检测到反射率信息，然后，以敌对的方式训练g，使用以下损失函数lg：
28、
29、最终，模型通过以下方式进行训练:
30、
31、λ是权重系数，通过调整λ，使模型在性能和脆弱性之间更灵活地依赖于反射率信息，较大的λ值使模型更注重欺骗判别器，从而减弱反射率通道的影响，缩小和g(tnormal)之间的差异，如果λ较小，模型将更专注于分割任务，并尽可能提取几何和反射率信息。
32、本专利技术的一种针对反射率扰动的弹性解耦点云模型训练方法具有以下优点：
33、本专利技术研究了深度学习模型反射率扰动的脆弱性这个主题，并且第一次展示了反射率的信息量，以及点云深度模型针对反射率扰动的敏感性。本专利技术进行了一系列实验去展示和分析在面临随机模型不相关的反射率扰动和基于梯度的感知模型对抗性攻击。本专利技术以点云分割为例子，本文档来自技高网...
【技术保护点】
1.一种针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，所述步骤1采用基于投影的点云分割技术，数据集中每个样本点都是一个点云帧F＝{P1,P2,…,Pn}，下标n代表帧F的点数，P代表一个五维向量(x,y,z,r,l)，其中x、y、z代表点云几何坐标，l代表真实标签，r代表点p反射率，通过一个从3D欧几里得空间坐标(x,y,z)到归一化离散化图像坐标(u,v)的映射将帧F中的n个点转换，点通过图像坐标进行对齐，对于每个点，x、y、z、r被分别存储于矩阵中，创建一个5×h×w的张量T＝[X,Y,Z,D,R]，作为点云模型输入。
3.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，所述步骤1采用IoU作为模型性能指标，对于特征提取器G和分割模块S组PD成的模型M，给定从帧F转换而来的张量T，关注性能恶化程度PD：
4.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，步骤1.1在训练点云分割模型时，将
5.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，步骤1.2将每个点的反射率乘以一个随机因子，范围为0.5到1.5，作为经过良好训练的模型的输入，即：
6.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，步骤1.3：对反射率通道进行对抗性攻击，而不对几何信息进行任何修改，这种设置是模型感知的，通过预定义的分割损失函数Ls，通过以下方式优化矩阵δ：
7.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，所述步骤2提出基于解耦的敌对训练方法，使模型能够弹性地在性能和鲁棒性之间取得平衡，
...【技术特征摘要】
1.一种针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，所述步骤1采用基于投影的点云分割技术，数据集中每个样本点都是一个点云帧f＝{p1,p2,…,pn}，下标n代表帧f的点数，p代表一个五维向量(x,y,z,r,l)，其中x、y、z代表点云几何坐标，l代表真实标签，r代表点p反射率，通过一个从3d欧几里得空间坐标(x,y,z)到归一化离散化图像坐标(u,v)的映射将帧f中的n个点转换，点通过图像坐标进行对齐，对于每个点，x、y、z、r被分别存储于矩阵中，创建一个5×h×w的张量t＝[x,y,z,d,r]，作为点云模型输入。
3.根据权利要求1所述的针对反射率扰动的弹性解耦点云模型训练方法，其特征在于，所述步骤1采用iou作为模型性能指标，对于特征提取器g和分割模块s组pd成的模型m，给定从帧f转换而来的张量t，关注性能恶化程度pd：
【专利技术属性】
技术研发人员：肖凯凯，李睿航，尹哲，潘之杰，李红，吕攀，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。