基于多特征整合深度学习模型的倾斜摄影点云分类方法技术

本发明专利技术公开了摄影测量数据处理技术领域的基于多特征整合深度学习模型的倾斜摄影点云分类方法，首先，通过研究顾及视觉注意力机制的点云分类优化，实现点云立体视觉注意特征分析方法，以及基于深度学习的立体目标视觉注意力评估方法，并进行识别目标注意力强弱评估与排序；其次，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，开展点云初级特征描述及自学习子模型研究；最后，经过点云场景相对于待识别目标的视觉注意力机制过滤后的点云作为待识别点云；本发明专利技术在应用上，取得具有实用价值的倾斜摄影实景点云分类技术，以期切实地推进倾斜摄影应用由“可视化”向“可计算”方向发展。

A Point Cloud Classification Method for Tilt Photography Based on Multi-feature Integration Deep Learning Model

【技术实现步骤摘要】
基于多特征整合深度学习模型的倾斜摄影点云分类方法
本专利技术涉及摄影测量数据处理
，具体涉及基于多特征整合深度学习模型的倾斜摄影点云分类方法。
技术介绍
倾斜摄影技术由于突破了传统航空摄影难以获取地形地物的侧面纹理和三维信息的限制，目前已被广泛应用于大比例尺地形图测绘、城市空间数据基础设施建设、城市快速真三维建模等，倾斜摄影信息提取的自动化程度直接影响着大规模的数据生产、广泛的行业应用、以及数据的充分应用。目前，倾斜摄影外业数据经过“影像预处理、自动联合空三解算、影像密集匹配、三维点云生成、三角网构建、纹理映射”等步骤，便可快速高效、全自动化地获得区域真实可量测立体模型，去除纹理信息，该模型即为数字表面模型DSM。然而，这种全自动获得的三维立体模型和DSM产品其实质是一张整体相连接的含纹理贴图的不规则三角网，这使得倾斜摄影应用普遍面临着“只能看”、“不能算”的瓶颈问题，倾斜摄影地物目标识别与分类自动化研究远远落后于倾斜摄影硬件和处理系统的快速发展，不能满足人们对其应用的要求。深度学习作为促进无人机倾斜摄影技术发展的重要驱动力，已得到该领域学者们的普遍关注，但现有研究主要聚焦于无人机影像目标识别与语义分割，将影像自动识别纳入无人机系统以实现智能控制，无人机导航控制、DTM提取、以及无人机其他传感器的目标识别等，对于倾斜摄影点云分类深度学习方面，研究不多，仍主要停留传统方法上，如面向对象分类方法、监督分类和非监督分类方法、随机森林方法等。虽然，近年来，激光点云深度学习研究已涌现出一些优秀成果，但倾斜摄影点云在拍摄角度、数据源、工作流程、关注目标等方面具有自身特点，迫切必要研究适用于倾斜摄影的点云分类深度学习方法。在当前技术条件下，基于深度学习的倾斜摄影点云分类，主要面临如下挑战：1)“目标多样、形态结构复杂、目标遮挡和重叠以及空间密度差别迥异等现象，是三维点云自动精细分类的共同难题”，相对于激光点云，摄影测量点云噪声更多、分布更加不均匀，需要更加稳健的算法；2)一直以来，倾斜摄影信息提取大都围绕“人工立体测图”模式开展，其生产和应用流程大多缺乏倾斜摄影点云分类这一环节，造成倾斜摄影点云分类研究未受到重视，相关研究不多，深度学习训练样本难以获取，缺乏公开样本数据集；3)虽然当前研究呈现出人工特征先验知识与深度学习模型相融合的技术发展方向，提出了若干点云特征学习策略和模型构建方法，但在在人眼立体视觉经验的利用上仍缺乏研究；4)实用化的深度学习模型是以取代实际人工操作为目标，倾斜摄影人工立体测图中，即使在存在明显数据缺漏、数据遮挡与数据重叠、形状或纹理扭曲、阴影干扰、飞点或脏点等数据异常情况下，人眼视觉通过综合感知地物目标的立体形状、颜色、纹理等特征，也是能够轻松而明确地识别出植被、水域、地面、建筑物、以及更精细的地物类型。因此，研究能达到“立体测图条件下的人眼识别”效果的倾斜摄影点云分类深度学习方法是一极具挑战性的任务，要求方法在鲁棒性、小样本、精度、适用性等方面都要有很大提升。基于此，本专利技术设计了基于多特征整合深度学习模型的倾斜摄影点云分类方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供基于多特征整合深度学习模型的倾斜摄影点云分类方法，以“倾斜摄影点云分类方法达到倾斜摄影人眼识别效果”为核心目标，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别任务，在此思想指导下，设计了顾及视觉注意力机制的点云分类优化流程，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：步骤一、顾及视觉注意力机制的点云分类优化流程在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括1)倾斜摄影点云的立体视觉注意特征分析；2)倾斜摄影点云场景的注意力计算方法；3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；步骤二、识别目标注意力强弱评估与排序根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；步骤三、点云场景视觉注意力机制过滤为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；步骤四、前注意阶段--点云的初级特征描述及自学习子模型主要包括1)分析前注意阶段倾斜摄影点云的初级特征感知规律；2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet构架在特征累积传递、模型加速收敛、样本量减少等方面的作用；步骤五、特征整合阶段--倾斜摄影语义目标特征及特征整合的深度学习子模型主要包括1)研究特征整合阶段倾斜摄影点云的语义目标特征感知规律；2)分析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的信息传递关系；3)利用DenseNet模型累积特征传递和特征整合机制，设计并构架倾斜摄影立体目标多特征整合DenseCNNs子模型；4)利用神经网络学习机制，研究倾斜摄影分类具体地物目标的语义特征及其描述方法，地物目标即本文档来自技高网...

【技术保护点】
1.基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，其特征在于，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：步骤一、顾及视觉注意力机制的点云分类优化流程在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括1)倾斜摄影点云的立体视觉注意特征分析；2)倾斜摄影点云场景的注意力计算方法；3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；步骤二、识别目标注意力强弱评估与排序根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；步骤三、点云场景视觉注意力机制过滤为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；步骤四、前注意阶段‑‑点云的初级特征描述及自学习子模型主要包括1)分析前注意阶段倾斜摄影点云的初级特征感知规律；2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet构架在特征累积传递、模型加速收敛、样本量减少等方面的作用；步骤五、特征整合阶段‑‑倾斜摄影语义目标特征及特征整合的深度学习子模型主要包括1)研究特征整合阶段倾斜摄影点云的语义目标特征感知规律；2)分析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的信息传递关系；3)利用DenseNet模型累积特征传递和特征整合机制，设计并构架倾斜摄影立体目标多特征整合DenseCNNs子模型；4)利用神经网络学习机制，研究倾斜摄影分类具体地物目标的语义特征及其描述方法，地物目标即建筑物、植被、道路等6类；5)探索初级特征与目标语义特征之间的映射关系，研究如何利用地物目标语义特征来优化深度学习模型；步骤六、点云目标识别整体模型及点云分类系统实现主要包括1)剖析前注意阶段并行感知的初级特征与特征整合阶段的语义目标特征之间的特征传递关系；2)利用伪孪生网络和DenseNet网络的模型构架思想，设计并实现支持多特征并行自学习及特征整合机制的点云目标识别DenseCNNs模型；3)研究倾斜摄影点云分类的样本库及其建立方法；4)结合具有视觉注意力机制的点云分类优化流程，研究基于注意的特征整合倾斜点云自动分类方法，并与现有典型点云分类模型进行分类精度、方法鲁棒性等方面的对比研究，现有典型点云分类模型包括PointNet++、PointCNN、Pointwise CNNs、3DCNN、PointSIFT、So‑net网络、DGCNN网络、NormalNet、以及后续的新模型等；5)方法的鲁棒性和适用性研究：利用存在明显数据缺漏、形状或纹理扭曲、阴影干扰等问题的数据，开展方法的鲁棒性验证；分城乡交接带、城市边缘区、中心城区，或住宅区、商业区、公园等不同类型城市景观，以及不同倾斜摄影采集数据源，开展本项目方法的适用性研究；步骤七、按目标视觉注意...

【技术特征摘要】
1.基于多特征整合深度学习模型的倾斜摄影点云分类方法，包括“人眼立体识别经验”、“注意的特征整合理论”、“倾斜摄影点云分类问题”和“视觉机制对点云分类方法的优化作用观”，其特征在于，将“人眼立体识别经验”和“注意的特征整合理论”应用到“倾斜摄影点云分类问题”，从而形成“视觉机制对点云分类方法的优化作用观”，即点云多分类任务可分解为按地物目标注意力强弱顺序依次进行的点云目标识别，包括以下步骤：步骤一、顾及视觉注意力机制的点云分类优化流程在“点云分类的立体视觉注意机制作用观”认识基础上，主要利用深度学习和倾斜摄影点云分类样本，进一步实现包括1)倾斜摄影点云的立体视觉注意特征分析；2)倾斜摄影点云场景的注意力计算方法；3)研究倾斜摄影不同立体地物目标的语义差异和视觉注意力评估方法，以及不同立体目标注意力评估方法的对比研究；4)从视觉注意力机制角度，建立点云分类深度学习的子任务分解、串行计算策略及优化流程等；步骤二、识别目标注意力强弱评估与排序根据倾斜摄影点云分类任务所需要识别的立体地物目标、以及对应所建立的点云分类样本库，通过开展步骤一，实现基于深度学习的点云立体视觉注意特征分析方法、以及基于深度学习的立体目标视觉注意力评估方法，并利用这些方法对所需要识别的立体地物目标进行视觉注意力强弱评估与排序，以此作为执行点云目标识别子任务的顺序；步骤三、点云场景视觉注意力机制过滤为提供方法效率，在待分类点云进入具体的目标识别环节之前，利用立体视觉注意力机制，对待识别的倾斜摄影点云进行点云过滤，去除明显不可能是识别目标的点云数据，主要思路是利用步骤一所研究的基于深度学习的点云立体视觉注意特征分析及注意力计算方法，对点云进行待识别目标的视觉注意力指数计算，并将大于某阈值的点云作为待识别点云，进入具体的目标识别环节；步骤四、前注意阶段--点云的初级特征描述及自学习子模型主要包括1)分析前注意阶段倾斜摄影点云的初级特征感知规律；2)构建倾斜摄影点云初级特征描述算法，主要包括点云几何形状特征、点云颜色特征、点云纹理特征三类特征；3)以点云几何形状特征为重点，开展点云尺度不变特征转换PointSIFT、点云法向量、3D霍夫变换等典型方法的对比研究，从目标类型、识别精度、模型效率等方面进行分析对比，研究与识别目标类型相匹配的几何形状特征具体计算的优化算法；4)利用DenseNet网络思想，研究倾斜摄影点云初级特征自学习DenseCNNs子模型：针对点云几何形状特征、点云颜色特征、点云纹理特征的具体描述算法，分别构建点云几何形状特征自学习的3DShapeDenseCNNs，点云颜色特征自学习的3DColorDenseCNNs，以及点云3D纹理自学习的3DTextureDenseCNNs；5)开展点云特征自学习不同策略的对比研究：在特征描述算法相同的情况下，构建将特征作为常规CNNs输入，并与特征自学习子模型进行对比研究，验证DenseNet...

【专利技术属性】
技术研发人员：吴艳兰，杨辉，王彪，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34