注意力融合全局和局部深度特征的建筑立面语义分割方法技术

本发明专利技术公开了注意力融合全局和局部深度特征的建筑立面语义分割方法，通过设计顾及方向和位置编码的局部特征编码，强化局部特征聚合，增强门窗边界点的边缘特征和立面点的局部特征；通过融入全局Transformer感知模块，捕获门窗上下文全局特征，推理建筑立面门窗的几何位置结构和结构布局，从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗；基于注意力机制融合局部特征和全局特征。融合局部特征和全局特征。融合局部特征和全局特征。

【技术实现步骤摘要】
注意力融合全局和局部深度特征的建筑立面语义分割方法


[0001]本专利技术属于建筑结构部件识别领域，特别涉及了一种建筑立面语义分割方法。

技术介绍

[0002]建筑物作为城市中最基本、最主要的组成元素，其三维模型在室内外导航、建筑能耗模拟、三维可视化、建筑抽象等领域有着广泛的应用。由于激光雷达技术可以捕捉到建筑屋顶和立面部件的复杂结构，如窗户、门、阳台等，点云被大量用于三维真实场景的增强。建筑物重建是摄影测量学、计算机图形学、计算机视觉和遥感界的一个重要的研究领域。然而，如何以精确的几何、正确的拓扑和丰富的语义来重建点云的建筑模型，以实现语义理解和几何表示仍然是一个重大的挑战。与识别建筑屋顶部件相比，解析建筑立面部件，如窗户、门、阳台等是极具挑战性的，因为立面部件的复杂性(类型多样化的窗户和门，不规则的排列等)，以及立面点云通常存在异常值、不规则性和遮挡和自遮挡造成的数据缺失等问题。
[0003]近年来，深度学习在处理点云语义分割任务展现了很好的性能，出现了基于多视图(MVCNN、DeePr3SS、SnapNet等)、体素(VoxNet本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：通过设计顾及方向和位置编码的局部特征编码，强化局部特征聚合，增强门窗边界点的边缘特征和立面点的局部特征；通过融入全局Transformer感知模块，捕获门窗上下文全局特征，推理建筑立面门窗的几何位置结构和结构布局，从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗；基于注意力机制融合局部特征和全局特征。2.根据权利要求1所述注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：所述局部特征编码包括局部位置编码、局部方向编码和局部特征聚合；所述局部位置编码过程如下：给定建筑立面点云P＝{p1,
···
,p
i
,
···
,p
N
}中每个点的三维坐标，采用KNN搜索算法，检索到p
i
点的K个邻域点集利用p
i
及K个邻近点，根据下式对p
i
进行局部位置编码：其中，表示p
i
相对的位置编码，是p
i
点的第k个邻近点，符号表示拼接运算；所述局部方向编码过程如下：给定p
i
及其邻域点且各自的法向量分别为n
i
和在p
i
点定义局部坐标系uvw，并建立规则，如下式：其中，符号
“×”
表示向量叉乘；n
i
与之间的差异用3个角度来表示，如下式所示：其中，符号“·”表示向量点乘；则p
i
相对的方向特征编码表示如下：所述局部特征聚合过程如下：在对实施了局部位置编码和局部方向编码后，需将相关位置编码和相关方向编码的结果与中间特征f
ik
拼接得到点的增强特征
得到增强特征后，将p
i
点的K个邻近点采用注意力池化策略，实施邻域特征点集的加权求和，聚合邻域点集中有用信息，最终p
i
点的聚合特征如下：其中，是p
i
点的局部聚合特征，δ表示归一化函数soft max，MLP表示共享参数。3.根据权利要求2所述注意力融合全局和局部深度特征的建筑立面语义分割方法，其特征在于：对于所述全局Transformer感知模块，将p

【专利技术属性】
技术研发人员：陈动，向桂丘，刘玉婵，王佳迪，车顺豪，胡凡，何文龙，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：