一种基于云计算的北斗林业数据采集与处理方法技术

本发明专利技术公开了一种基于云计算北斗林业数据采集与处理方法。其特征是：利用北斗卫星定位PDA对林业小班数据进行采集，并存储到GIS Server云端。根据Hadoop平台的MapReduce算法，处理具有时间属性和空间属性的林业海量HDFS文件，部署决策树C5.0算法，使用Hadoop中的JPA建立决策树的算法，可实现对林业数据处理和挖掘，发现林业知识。

【技术实现步骤摘要】
【专利说明】一、
本专利技术是一种林业数据采集与处理方法，特别是一种基于北斗卫星的林业数据采集方法和基于云计算平台的林业数据处理与应用方法。二、技术背景林业作为我国传统行业，在我国生态环境、生态文明建设中起着十分重要的作用。然而，传统的林业数据采集与处理信息化程度较低。林业野外数据采集大量使用纸质文档，每次调查都需要都要携带各类调查卡片，手工记录调查数据，内业还要将数据录入到系统中。传统的野外作业方式消耗人力资源大，工作效率低，且易发生调查卡片丢失、污损、数据录入错误及人为误差等情况，制约着现今野外作业调查的效率。在日常的巡山护林等工作中，由于采用纸质登记方式对每日巡山护林状况进行记录，容易发生工作人员少巡漏巡作业区的情况，有关部门缺乏必要的监管；作业人员在野外如遇突发情况，也难快速确定事发位置，不便救援力量及时抵达。林业中的应用已由单一的数据采集阶段，经过信息管理阶段，进入到了数据挖掘与知识发现阶段，通过数据挖掘帮助森林资源管理者明确目标，建立和修改模型，提供多种优化方案，以提高决策能力及决策效益，实现科学管理、集约经营、提高森林经营水平和森林可持续发展，使林业从过去单一、粗放的经营管理模式走向精准、系统的模式。然而，林业数据是关于地球表面信息的数据，具有区域性、多维性和时序性，是连接各种信息形成一个在空间和时间上连续分布的综合信息的基础。海量林业数据成为林业数据挖掘的一个瓶颈，传统林业数据挖掘方法已经不能满足处理海量林业数据的需要。鉴于传统林业数据挖掘方法的种种弊端，本专利技术对林业数据采集和处理的方法了改进和创新，利用北斗卫星定位PDA，对林业小班数据进行采集，利用Hadoop中MapReduce算法，将海量林业数据转化为HDSF文件，调用Hadoop中的JPA建立决策树的算法，实现对林业数据的挖掘，从而提高程序执行效率，减少程序执行时间。三、
技术实现思路
为克服传统林业数据采集和处理的缺点，本专利技术提供一种新型的林业数据采集与处理方法，其特征是:首先，利用北斗卫星PDA采集器进行林业小班数据采集，通过PDA将林业数据发布到GIS Server云端。其次，构建基于Hadoop平台的云计算平台，利用MapReduce算法实现对林业数据的挖掘。主要
技术实现思路
:(I)利用北斗进行数据采集取代传统纸质文档数据采集工作，能够对野外作业过程中相关信息进行采集录入，采集的数据通过北斗PDA传输到GIS Server的云端，GISServer对传输的XML文件进行读取入库，采集到的数据存储到云端。(2)海量信息快捷处理，将北斗采集到的存储在云端的林业数据结合云端其他林业属性数据和空间数据，构建基于Hadoop的云计算平台，利用MapReduce算法，编制决策树算法，实现对林业数据的智能挖掘。本项专利技术与现有方法相比具有以下优点:(I)数据采集方便，利用北斗卫星定位PDA，进行林业数据采集，可以代替纸质记录传统作业方法，数据采集效率高，且能够进行定位，树木位置和人移动的位置可以在GIS云端上显示。(2)基于云计算的海量林业数据处理的是利用云计算的并行处理和海量存储能力，解决了数据挖掘面临的海量数据处理问题。本专利技术云计算采用的是MapReduce新型计算模型，现有的数据挖掘算法和并行化策略进行一定程度的改造，直接应用在云计算平台上进行海量数据挖掘任务，提升软件处理效率。四、【具体实施方式】基于云计算的林业数据挖掘方法与现有方法不同，具体在于:(I)利用北斗卫星PDA采集器，采集林业小班数据，记录小班编号、土壤类别、小班面积、森林类别、林种、林分起源、坡度、坡位、土壤名称、土壤厚度、优势树种、植被高度、植被盖度等信息。通过PAD将这些林业数据上传到ArcGIS Server云端。(2)安装Ubuntu操作系统，在该Iinux系统上安装hadoop，部署NameNode，master，jobTracker master作为中心服务器，其他作为从属服务器，并ping接成功，构建基于Hadoop的云计算平台。(3)将海量林业数据文件直接上传至Hadoop的HDFS中进行存储，用FileSystemAPI读取林业数据文件。再次，利用MapReduce对林业数据进行分块化操作，使用分布式数据仓库Hive从分布式数据库HBase中获取。部署决策树C5.0算法。(4)利用调用Hadoop中的JPA建立决策树的算法，林业数据被分配到多个mapper，调用BuildTree对林业数据进行挖掘，以林业小班位单位进行聚类，达到对海量林业数据挖掘的目标。【主权项】1.，其特征是:首先，利用北斗PDA对林业小班数据进行采集，将采集到的数据存储在GIS Server云端。其次，安装Ubuntu操作系统，在该 Iinux 系统上安装 hadoop，部署 NameNode，master, jobTracker master 作为中心服务器，其他作为从属服务器，并ping接成功，构建基于Hadoop的云计算平台。再次，将海量林业数据文件直接上传至Hadoop的HDFS中进行存储，用FileSystem API读取林业数据文件。利用MapReduce对林业数据进行分块化操作，使用分布式数据仓库Hive从分布式数据库HBase中获取。部署决策树C5.0算法。最后，利用调用Hadoop中的JPA建立决策树的算法，林业数据被分配到多个mapper，调用BuildTree对林业数据进行挖掘，进而发现林业知识。【专利摘要】本专利技术公开了一种基于云计算北斗林业数据采集与处理方法。其特征是：利用北斗卫星定位PDA对林业小班数据进行采集，并存储到GIS？Server云端。根据Hadoop平台的MapReduce算法，处理具有时间属性和空间属性的林业海量HDFS文件，部署决策树C5.0算法，使用Hadoop中的JPA建立决策树的算法，可实现对林业数据处理和挖掘，发现林业知识。【IPC分类】G06F17/30, G06K9/62【公开号】CN105335497【申请号】CN201510696594【专利技术人】吴言松 【申请人】北斗恒星(北京)科技发展有限公司【公开日】2016年2月17日【申请日】2015年10月26日本文档来自技高网...

【技术保护点】
一种基于云计算的北斗林业数据采集与处理方法，其特征是：首先，利用北斗PDA对林业小班数据进行采集，将采集到的数据存储在GIS Server云端。其次，安装Ubuntu操作系统，在该linux系统上安装hadoop，部署NameNode，master，jobTracker master作为中心服务器，其他作为从属服务器，并ping接成功，构建基于Hadoop的云计算平台。再次，将海量林业数据文件直接上传至Hadoop的HDFS中进行存储，用FileSystem API读取林业数据文件。利用MapReduce对林业数据进行分块化操作，使用分布式数据仓库Hive从分布式数据库HBase中获取。部署决策树C5.0算法。最后，利用调用Hadoop中的JPA建立决策树的算法，林业数据被分配到多个mapper，调用BuildTree对林业数据进行挖掘，进而发现林业知识。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴言松，
申请(专利权)人：北斗恒星北京科技发展有限公司，
类型：发明
国别省市：北京;11