基于几何特征引导的弱监督大飞机外形点云语义分割方法技术

本发明专利技术公开了基于几何特征引导的弱监督大飞机外形点云语义分割方法，属于三维点云模型检测领域，方法包括：基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据，经过弱标签注释的点云数据作为预训练标签数据，构建弱监督点云语义网络模型，将训练标签数据输入弱监督点云语义网络模型中的编码器模块，对弱监督点云语义网络模型进行预训练得到每个点的伪标签，利用伪标签继续训练，直至交叉熵损失函数收敛，执行语义分割任务分类得到大型飞机外形的分类结果；本发明专利技术在小规模注释情况对大飞机外形进行分析，分析大飞机外形形变；该方法实现了大飞机外形的语义分割，并能够进行外形形变分析，减少人工标注成本，提高飞机服役寿命。飞机服役寿命。飞机服役寿命。

【技术实现步骤摘要】
基于几何特征引导的弱监督大飞机外形点云语义分割方法


[0001]本专利技术涉及三维点云模型检测预测领域，具体而言涉及一种基于几何特征引导的弱监督大飞机外形点云语义分割方法。

技术介绍

[0002]大型飞机的装配是按照设计和技术要求，将百万个飞机零件和连接件进行组合，逐步连接成组合件、部件、大部件以及整机的过程。由于大型飞机壁板的弱刚性和保形工装设计问题，使得在保形工装上加工大尺寸薄壁件时，会导致对接边缘出现形变。过大的形变会导致大型飞机蒙皮表面出现无规律的波纹现象，即机体表面出现起伏。如果过大的形变发生在机头空速管附近，将直接影响静压探头附近的流场，从而导致静压探头测得的高度、压力等数据出现偏差。当波纹现象严重时，将影响数据的准确性，进而可能导致飞行员误判，对飞行安全造成影响。因此，有必要对大型飞机的外形形变进行分析。然而，大型飞机的外形特征复杂，要求扫描和计算精度非常高。传统的几何分析和处理方法主要依赖手工定义的模型特征，只能处理单一对象，并且泛化能力较弱，仅在特定问题或条件下有效。此外，传统方法还受限于内存容量，难以处理大规模的三维数据。
[0003]近年来，随着计算机技术的不断发展，基于大数据和人工智能的新型方法和技术正在应用于飞机外形形变分析。这些方法利用先进的算法和高性能计算平台，能够处理复杂的大规模三维数据，并提供更精确和可靠的分析结果。点云语义分割任务根据给定点云的语义信息将相同类型的点分类为一个子集。与二维语义分割相比，点云语义分割能更仔细地区分空间对象。目前，三维点云的语义分割方法可分为体素化方法、多视图方法和点云方法。基于体素的方法和基于多视图的方法都需要对数据进行预处理，容易造成部分信息丢失，目前，主流的基于点云的方法直接学习点云信息，包括逐点MLP方法、基于点的卷积方法、RNN方法和基于图的方法，根据点云数据是否有标记，将三维点云语义分割方法分为有监督分割方法和弱监督分割方法；因此，基于目前的研究现状，本专利技术提出一种基于几何特征引导的弱监督大飞机外形点云语义分割方法来解决上述问题。

技术实现思路

[0004]为解决上述问题，提出一种基于几何特征引导的弱监督大飞机外形点云语义分割方法，以解决针对现有技术中依赖手工定义的模型特征只能处理单一对象泛化能力较弱以及传统方法还受限于内存容量难以处理大规模的三维数据的问题；本专利技术结合大型飞机外形的多种几何特征以及颜色特征，从单一小尺度到多重尺度提取有效的几何、颜色特征，并设计了边缘优化策略来提升分割效果，在小规模注释情况下实现了一种新型的弱监督飞机外形点云语义分割方法，对大飞机外形进行分析，分析大飞机外形形变。
[0005]为达成上述目的，本专利技术提供如下技术方案：本专利技术提出的一种基于几何特征引导的弱监督大飞机外形点云语义分割方法，包括以下步骤：
[0006]S1、基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据；
[0007]S2、经过弱标签注释的点云数据作为预训练标签数据；
[0008]S3、构建弱监督点云语义网络模型，所述弱监督点云语义网络模型包括编码器模块和语义分割模块；
[0009]S4、将训练标签数据输入弱监督点云语义网络模型中的编码器模块中进行编码，提取到大型飞机外形的几何特征以及RGB颜色特征；
[0010]S5、对弱监督点云语义网络模型进行预训练得到每个点的伪标签；
[0011]S6、利用得到的伪标签继续训练，直至交叉熵损失函数收敛；
[0012]S7、基于所述语义分割模块执行语义分割任务分类得到大型飞机外形的分割结果。
[0013]进一步地，步骤S1中基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据，具体包括以下步骤：
[0014]S101、使用三维激光扫描仪从多个角度采集激光点云数据；
[0015]S102、使用点云拼接技术拼接得到完整的大飞机外形点云数据；
[0016]S103、生成大量具有三维坐标及RGB颜色信息的点云数据。
[0017]进一步地，步骤S2中经过弱标签注释的点云数据作为预训练标签数据，具体包括以下步骤：
[0018]S201、对于点云中的每一个点进行标签注释，标记每一个点所属于大飞机外形的分类信息作为真实标签数据；
[0019]S202、随机删除90％的真实标签数据而获得的点云数据作为训练标签数据。
[0020]进一步地，步骤S3中的编码器模块包含残差几何特征模块、特征值模块以及RGB颜色表示模块。
[0021]进一步地，残差几何特征模块具体包括：通过残差几何特征模块计算获得每个点的相对距离和角度，提取到具有对旋转和平移具有鲁棒性的几何特征，每个点的相对距离的计算公式分别为：
[0022][0023]其中:是笛卡尔坐标系中所选点p
i
的坐标，i表示第i个点，k表示第i个点的第k近邻个点；
[0024]每个点的角度值的计算公式为：
[0025][0026][0027]其中：表示y坐标与x坐标之间夹角的角度值，表示z坐标与斜边之间夹角的角度值。
[0028]进一步地，特征值模块具体包括：
[0029]特征值模块使用LDL
T
分解法，首先对于每一个点云中的点，我们将其K近邻个点与其本身的相对坐标表示为一个正定矩阵C＝MM
T
，其中，其中为每个k近邻点的相对三维坐标，式中，为k近邻点的相对三维坐标，p
i
为选中的点的三维坐标，M为输入网络的三维张量，代表的是一个三维向量；
[0030]通过分解矩阵Cv
i
＝λ
i
v
i
,i∈{1,2,3}，分别获得其特征值,i∈{1,2,3}，分别获得其特征值和特征向量(v1,v2,v3)，无论整个点云如何平移，相对三维坐标及其特征值都不会被转换，保证得到的几何特征是一个对于旋转及平移都较为鲁棒的特征。
[0031]进一步地，RGB颜色表示模块具体包括：RGB颜色表示模块通过设计多尺度RGB颜色特征分析模块，计算点云中每个点的K近邻个点的RGB颜色特征的方差作为每个点的聚集特征，其式如下：
[0032][0033]其中是点p
i
的K近邻个点的RGB颜色特征，而f
i
是p
i
的RGB颜色特征。
[0034]进一步地，步骤S5中具体包括：在预训练阶段，通过多尺度感知网络模块将多个尺度的几何特征和RGB颜色特征进行解码相加，通过卷积操作和softmax激活函数，得到每个点在四个类别：机身、机翼、起落架、水平尾翼及垂直尾翼上的预测概率，并对预测进行平滑，得到每个点的伪标签。
[0035]进一步地，步骤S6中利用得到的伪标签继续训练，直至交叉熵损失函数收敛，具体包括以下步骤：
[0036]S601、利用得到的伪标签，对多尺度感知进行初始化，利用解码器输出真实标签数据10％的有标签点的类别预测分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于几何特征引导的弱监督大飞机外形点云语义分割方法，其特征在于,包括以下步骤：S1、基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据；S2、经过弱标签注释的点云数据作为预训练标签数据；S3、构建弱监督点云语义网络模型，所述弱监督点云语义网络模型包括编码器模块和语义分割模块；S4、将训练标签数据输入弱监督点云语义网络模型的编码器模块中进行编码，提取到大型飞机外形的几何特征以及RGB颜色特征；S5、对弱监督点云语义网络模型进行预训练得到每个点的伪标签；S6、利用得到的伪标签继续训练，直至交叉熵损失函数收敛；S7、基于所述语义分割模块执行语义分割任务分类得到大型飞机外形的分割结果。2.根据权利要求1所述的基于几何特征引导的弱监督大飞机外形点云语义分割方法，其特征在于,步骤S1中基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据，具体包括以下步骤：S101、使用三维激光扫描仪从多个角度采集激光点云数据；S102、使用点云拼接技术拼接得到完整的大飞机外形点云数据；S103、生成大量具有三维坐标及RGB颜色信息的点云数据。3.根据权利要求1所述的基于几何特征引导的弱监督大飞机外形点云语义分割方法，其特征在于,步骤S2中经过弱标签注释的点云数据作为预训练标签数据，具体包括以下步骤：S201、对于点云中的每一个点进行标签注释，标记每一个点所属于大飞机外形的分类信息作为真实标签数据；S202、随机删除90％的真实标签数据而获得的点云数据作为训练标签数据。4.根据权利要求1所述的基于几何特征引导的弱监督大飞机外形点云语义分割方法，其特征在于,所述步骤S3中的编码器模块包含残差几何特征模块、特征值模块以及RGB颜色表示模块。5.根据权利要求4所述的基于几何特征引导的弱监督大飞机外形点云语义分割方法，其特征在于,所述残差几何特征模块具体包括：通过残差几何特征模块计算获得每个点的相对距离和角度，提取到具有对旋转和平移具有鲁棒性的几何特征，每个点的相对距离的计算公式分别为：其中:是笛卡尔坐标系中所选点p
i
的坐标，i表示第i个点，k表示第i个点的第k近邻个点；每个点的角度值的计算公式为：
其中：表示y坐标与x坐标之间夹角的角度值，表示z坐标与斜边之间夹角的角度值。6.根据权利要求5所述的基于几何特征引导的弱监督大飞机外形点云语义分割方法，其特征在于,所述特征值模块具体包括：特征值模块使用LDL
T
分解法，首先对于每一个点云中的点，我们将其k近邻个点与其本身的相对坐标表示为一个正定矩阵C＝M...

【专利技术属性】
技术研发人员：魏明强，陈晨，燕雪峰，
申请(专利权)人：南京航空航天大学深圳研究院，
类型：发明
国别省市：