基于HDFS的点云数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于HDFS的点云数据处理方法及装置，该方法包括：获取采集的点云数据；将点云数据进行网格化处理，得到点云数据对应的多个地理网格；根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；将各个数据块存储于HDFS的各个存储节点主机上。本发明专利技术基于HDFS实现点云数据的网格化分布式存储，不仅能够支持存储空间的横向扩充，而且在分布式计算的时候，能够实现最低程度的跨节点数据访问。

Point cloud data processing method and device based on HDFS

【技术实现步骤摘要】
基于HDFS的点云数据处理方法及装置
本专利技术涉及数据处理领域，尤其涉及一种基于HDFS的点云数据处理方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。机载激光雷达(LightLaserDetectionandRanging，LiDAR)技术是近年来发展起来的一种可以直接获取地面三维信息的技术，具有传统航空摄影测量无可比拟的优势，已广泛应用于城市建筑物提取、三维重建、架空输电线路巡视。由于机载激光雷达采集的点云数据量巨大，目前主要采用集中式存储和普通分布式存储两种存储方式，对点云数据的计算一般采用单机或集群计算。对于集中式存储，随着数量增加，集群扩大，很快带来IO瓶颈；对于普通分布式存储，由于分布式存储的数据块与内容无关，随着存储规模变大，会引起网络阻塞。现有的两种存储方式，均存在随着数据量增加，计算量也会增大的问题，很难做到计算能力与存储能力的同步线性扩展。目前解决的方案是采购更好的存储设备，提高计算机性能。
技术实现思路
本专利技术实施例提供一种基于HDFS的点云数据处理方法，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该方法包括：获取采集的点云数据；将点云数据进行网格化处理，得到点云数据对应的多个地理网格；根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；将各个数据块存储于HDFS的各个存储节点主机上。本专利技术实施例还提供一种基于HDFS的点云数据处理装置，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该装置包括：点云数据获取模块，用于获取采集的点云数据；点云数据网格化处理模块，用于将点云数据进行网格化处理，得到点云数据对应的多个地理网格；点云数据切分模块，用于根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；点云数据网格化分布式存储模块，用于将各个数据块存储于HDFS的各个存储节点主机上。本专利技术实施例还提供一种计算机设备，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于HDFS的点云数据处理方法。本专利技术实施例还提供一种计算机可读存储介质，用以解决现有技术采用集中式或分布式存储点云数据，随着数量增加，计算量也同步增长的技术问题，该计算机可读存储介质存储有执行上述基于HDFS的点云数据处理方法的计算机程序。本专利技术实施例中，在获取到采集的点云数据后，将点云数据进行网格化处理，得到点云数据对应的多个地理网格，然后根据点云数据对应的各个地理网格，将点云数据切分为多个数据块，使得每个数据块包含一个地理网格的点云数据，最后将切分后的各个数据块存储于HDFS的各个存储节点主机上。由于存储到HDFS上的点云数据是按照各个地理网格进行存储的，因而，在对HDFS上的点云数据进行计算处理的时候，可以基于待处理点云数据对应的各个地理网格，查找HDFS上存储待处理点云数据对应各个数据块的存储节点主机，只需要将对点云数据进行计算处理的计算程序调度运行到存储待处理点云数据的存储节点主机上即可。通过本专利技术实施例，基于HDFS实现点云数据的网格化分布式存储，不仅能够支持存储空间的横向扩充，而且在分布式计算的时候，能够实现最低程度的跨节点数据访问。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中提供的一种基于HDFS的点云数据处理方法流程图；图2为本专利技术实施例中提供的一种提供的一种基于HDFS的点云数据存储系统架构示意图；图3为本专利技术实施例中提供的一种提供的一种基于HDFS的点云数据分布式计算调度服务流程图；图4为本专利技术实施例中提供的一种基于HDFS的点云数据处理装置示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。由本专利技术
技术介绍
部分介绍的内容可知，现有的数据存储方式均无法实现计算能力与存储能力同步线性扩展，专利技术人经研究发现，虽然数据存储与数据内容无关，但数据计算与数据存储具有直接联系，因而，本专利技术将HDFS的分块数据与点云数据的地理网格对应起来，在存储点云数据的时候，根据地理网格，将点云数据切分为多个数据块，存储于HDFS的各个存储节点主机上。在对各个地理网格对应的点云数据分布式计算的时候，能够基于各个地理网格定位到相应的数据块，将计算程序调度运行于存储这些数据块的存储节点主机上，能够实现最大程度的本地计算，也即精准的分布式计算，减少跨节点数据访问，实现横向线性扩展的分布式计算。基于上述专利技术构思，本专利技术实施例中提供了一种基于HDFS的点云数据处理方法，图1为本专利技术实施例中提供的一种基于HDFS的点云数据处理方法流程图，如图1所示，该方法包括如下步骤：S101，获取采集的点云数据。作为一种可选的实施方式，上述S101中获取的点云数据可以是通过机载激光雷达采集的地面点云数据。S102，将点云数据进行网格化处理，得到点云数据对应的多个地理网格。需要说明的是，为了从采集的点云数据提取到有用的信息，通常要根据点云数据构建地理网格，以实现对点云数据的分类，进而实现对不同地物的提取。现有技术中已经有很多根据点云数据构建地理网格的方法，本专利技术实施例对此不再赘述。可选地，在上述S102之后，本专利技术实施例提供的基于HDFS的点云数据处理方法还可以包括：将属于同一个地理网格内的点云数据编码为同一网格编码。通过将同一个地理网格内的点云数据编码为同一网格编码，能够实现根据点云数据快速查询其所属地理网格的目的。进一步地，在将属于同一个地理网格内的点云数据本文档来自技高网...

【技术保护点】
1.一种基于HDFS的点云数据处理方法，其特征在于，包括：/n获取采集的点云数据；/n将所述点云数据进行网格化处理，得到所述点云数据对应的多个地理网格；/n根据所述点云数据对应的各个地理网格，将所述点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；/n将各个数据块存储于HDFS的各个存储节点主机上。/n

【技术特征摘要】
1.一种基于HDFS的点云数据处理方法，其特征在于，包括：
获取采集的点云数据；
将所述点云数据进行网格化处理，得到所述点云数据对应的多个地理网格；
根据所述点云数据对应的各个地理网格，将所述点云数据切分为多个数据块，其中，每个数据块包含一个地理网格的点云数据；
将各个数据块存储于HDFS的各个存储节点主机上。


2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取待处理点云数据对应的地理网格；
根据待处理点云数据对应的地理网格，定位所述HDFS上存储待处理点云数据对应数据块的存储节点主机；
将对待处理点云数据执行计算处理的计算程序，调度运行到所述HDFS上存储待处理点云数据对应数据块的存储节点主机。


3.如权利要求2所述的方法，其特征在于，所述计算程序通过POSIX文件代理网关访问所述HDFS上存储的待处理点云数据。


4.如权利要求1所述的方法，其特征在于，在将所述点云数据进行网格化处理，得到所述点云数据对应的多个地理网格之后，所述方法还包括：
将属于同一个地理网格内的点云数据编码为同一网格编码。


5.如权利要求1所述的方法，其特征在于，在将各个数据块存储于HDFS的各个存储节点主机上之前，所述方法还包括：
采用各个地理网格的网格编码，标识与各个地理网格对应的数据块。


6.如权利要求1所述的方法，其特征在于，在将各个数据块存储于HDFS的各个存储节点主机上之后，...

【专利技术属性】
技术研发人员：王和平，邹彪，沈建，武艺，孟小前，胡伟，
申请(专利权)人：国网通用航空有限公司，国家电网有限公司，
类型：发明
国别省市：北京;11