一种基于FocalSum的空间数据高效处理系统技术方案

本发明专利技术公开了一种基于FocalSum的空间数据高效处理系统，包含输入输出模块、数据读取模块、核心模块、临近土地单元特征统计模块及统计结果输出模块；其中，核心模块主要用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征；临近土地单元特征统计模块主要用于统一应用NumPy算法对K临近土地特征进行统计。本发明专利技术有效提高了空间数据的导入导出能力和高速处理大量密集空间数据的能力，实现了可容纳10GB以上数据内存的空间分析，秒级别内解决空间模型运算。找到了一个切实可行的方案来存取和分析大容量空间数据，同时实现了空间数据的快速高效处理。

【技术实现步骤摘要】
一种基于FocalSum的空间数据高效处理系统
本专利技术涉及空间数据处理领域，更具体地说，涉及一种基于FocalSum的空间数据高效处理系统。
技术介绍
我国近20多年来组织实施了“数字国土工程”、“金土工程”、“土地资源调查与监测工程”等一系列重大专项，积累了丰富的空间数据。并在此成果基础上建立了全国国土资源遥感监测“一张图”和综合监管平台,信息技术在国土资源调查评价、政务管理、社会服务中得到广泛运用,实现由点到面的扩展,信息化已成为国土资源工作不可或缺的重要组成部分,有力地支撑了国土资源事业发展。如何提高国土空间数据的高效处理能力成为国土信息化发展的重要趋势之一。我国在数据高效利用方面虽发展较晚但近些年来也取得了一定的成果。尤其是网格化技术在地理信息系统中的应用。金江军是国内较早将网格技术应用到土地信息化建设中的学着之一,他利用计算机网络将各级国土资源部门拥有的信息集成一个整体成为国土资源信息网格化,为国土资源部门提供数据支撑；何建农于2006年提出了“按照不同行政级别的土地资源管理部门和用户之间组成的土地资源信息网格。该网格依据设计的条件,建立不同等级不同规模国土资源信息网格的框架结构,为国土资源信息化建设提供了一个可行的方案,该土地信息网格己成功的应用在福建省并取得了良好的成果；岳海斌等在深入研究了网格技术的基础上,总结了网格技术在基础数据的处理与共享方面具有较高的优势,是实现土地资源信息化必不可少的核心技术；张丰提出了“针对土地资源网格环境下,结点内基于过程的动态级联事件的时空数据建模方法和结点间基于网格服务组件和地理标识语言的数据访问、集成和互操作技术,该技术的应用为海量数据的管理问题提供了有效的解决途径；李德仁和宾洪超提出了“由资源层(网络层和数据层)、服务层与应用层以及安全保障和标准化体系构成的国土资源管理与服务系统总体框架”,该系统框架对土地资源进行网格化管理明确管理中的职责；吴洪桥等将Webservices与网格技术稱合并应用在土地资源信息化建设中,提出了“基于网格技术的由资源层、服务层和应用层组成的国上资源信息共享平台框架体系”；滕龙妹提出了时空数据服务模型并将该模型与开放的GIS服务体系相结合形成了网格化的土地管理系统GridLandRSMgr。2011年方雷在《基于云计算的土地资源服务高效处理平台关键技术探索与研究》中全面阐述了国土云计算中心的构建方案,并对国土资源数据部署与云计算中心过程中的关键问题给出了设计和解决方案。此后,各省都在逐步开展本省的国上云的建设工作。但是网格计算系统的底层框架必须由用户通过编程来完成,加大了该系统的难度,不熟和实现较为困难。云计算技术的出现大大解决了这个问题,它独特的可靠性、虚拟性、超大规模按需服务、易于操作等特点能够很好的搭建在G1S系统上,极大的促进了国土资源的高效利用。大数据时代空间数据挖掘进展：云计算(CloudComputing)是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完善系统。基于云计算的数据挖掘系统搭建于“云”之上，透明地为各种终端的用户提供界面服务；为基于该系统开发的程序提供开放接口，用户可以通过其他应用程序调用系统提供的开放接口来间接地使用系统提供的各种服务。用户不需要了解系统是怎样实现的，也不需要担心系统的计算与存储能力，只需要选择合适的算法来处理数据，最终以任务的方式部署给系统区执行，得到数据挖掘的结果。1)数据挖掘系统研究。中国移动研究院研发的基于云计算平台的并行数据挖掘工具(BC－PDM，BlueCarrierbasedParallelDataMining)，采用云计算技术，实现海量数据的存储、分析、处理、挖掘。厦门大学数据挖掘研究中心与台湾铭传大学资讯工程系、中华资料采矿协会合作开发的一套基于云计算的数据挖掘决策支持系统———云端数据挖掘决策系统(MCUSmartScore)。该系统是厦门数据挖掘研究中心统计与数据挖掘云端系统的部分阶段性成果。基于Hadoop，中科院计算所研制了并行数据挖掘工具平台PDMiner。针对海量数据，分别从数据挖掘模式和方法等方面进行相关的研究。与此同时，中科院深圳先进技术研究院还研制了一套分布式数据挖掘系统AlphaMiner。以上这些云端数据挖掘系统只是实现了对事务性海量数据的挖掘，并没有针对空间数据进行设计，还无法高效存储、查询和挖掘空间数据。2)数据挖掘算法研究。在一些大学和研究机构，基于MapReduce模式的数据挖掘算法研究较多。如大连理工大学李钰研究了空间数据RkNN算法，但仅限于低维空间数据。河南工业大学赵广才研究了基于改进K－means空间聚类算法，但存在模型简单化、聚类结果容易出现误差的问题。从数据挖掘技术的发展历史看，随着互联网的蓬勃发展，数据的规模越来越大，从KB级发展到TB级甚至PB级海量数据；数据挖掘的对象也变得越来越复杂，从数据库到多媒体数据和复杂社会网络；数据挖掘的需求也从分类、聚类关联到复杂的演化和预测分析；挖掘过程中的交互方式从单一的人机交互发展到现在社会网络群体的交互。通过云计算的海量数据存储和分布计算，为云计算环境下的海量数据挖掘提供了新的方法和手段，有效解决了海量数据挖掘的分布存储和高效计算问题。但是，这些云计算平台自诞生之日起，就不是为处理空间数据而设计，所以它们都在底层对空间数据不敏感。2011年由YangChaowei(美国乔治梅森大学制图与地理信息科学系)，MichaelGoodchild(加利福尼亚大学制图系)等多位学者在《空间云计算：地理空间科学如何利用和塑造云计算》一文中，定义了空间云计算(SpatialCloudComputing)，是指由地理空间科学推动的，并经时空原则优化的云计算范式，它可以进行地理科学发现和在分布式环境中进行云计算。笔者认为，专门为地理科学设计的云计算才更适合空间数据的挖掘和处理，也是地理信息领域研究人员今后努力的一个方向。Apache组织近年来组织了Mahout开源项目，设计用于云平台的数据挖掘算法。但Mahout项目目前还缺少数据准备、数据展示和用户交互，还不能完全适合海量数据挖掘并行算法的性能评估。SpatialHadoop由明尼苏达大学计算科学与工程系AhmedEldawy和MohamedF.Mokbel两人开发，是对开源的MapReduce一个扩展，专门用来在ApacheHadoop上处理海量的空间数据。SpatialHadoop内置高级空间查询语言、支持基本空间数据类型(点、矩形、多边形)和空间索引(分为本地索引和全局索引)，可以高效进行一些空间操作(范围查询、K最近邻分类、空间合并)。但此项还在实验阶段，存在支持的数据类型有限、交互性不强、功能单一的问题。以上基于云计算的数据挖掘系统本文档来自技高网...

【技术保护点】
1.一种基于FocalSum的空间数据高效处理系统，其特征在于，包含：输入输出模块，用于输入所述空间数据高效处理系统的待处理数据和输出所述空间数据高效处理系统处理完毕后的数据；数据读取模块，连接所述输入输出模块的输出端，用于对所述待处理数据进行读取得到建模观测点数据和空间栅格数据；核心模块，用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征；临近土地单元特征统计模块，用于统一应用NumPy算法对K临近土地特征进行统计；统计结果输出模块，连接输入输出模块的输入端以及临近土地单元特征统计模块的输出端，用于根据临近土地单元特征统计模块统计后的数据形成统计结果，以作为所述处理完毕后的数据输出至输入输出模块。

【技术特征摘要】
1.一种基于FocalSum的空间数据高效处理系统，其特征在于，包含：输入输出模块，用于输入所述空间数据高效处理系统的待处理数据和输出所述空间数据高效处理系统处理完毕后的数据；数据读取模块，连接所述输入输出模块的输出端，用于对所述待处理数据进行读取得到建模观测点数据和空间栅格数据；核心模块，用于对土地特征稀疏矩阵处理后建模观测点数据和空间栅格数据，应用基本效用体的原则，抽取出观察点的K临近土地特征；临近土地单元特征统计模块，用于统一应用NumPy算法对K临近土地特征进行统计；统计结果输出模块，连接输入输出模块的输入端以及临近土地单元特征统计模块的输出端，用于根据临近土地单元特征统计模块统计后的数据形成统计结果，以作为所述处理完毕后的数据输出至输入输出模块。2.根据权利要求1所述的空间数据高效处理系统，其特征在于，所述临近土地单元特征统计模块具体用于根据土地利用图、遥感影像图、道路交通图、人口分布图以及环境分类图，生成UGB模型、耕地保护模型以及生...

【专利技术属性】
技术研发人员：高延利，蔡玉梅，徐世武，苏光全，
申请(专利权)人：中国土地勘测规划院，
类型：发明
国别省市：北京,11