流计算与传感网集成的地理过程近实时模拟方法技术

本发明专利技术公开了一种流计算与传感网集成的地理过程近实时模拟方法，包括从传统的地理过程模型库中选择需要使用的地理过程模型，搭建传感网，实时获取相关的观测数据，以中间件不断获取实时观测数据并按时间序列组织转化为观测数据流，实现流计算与传感网耦合；在流计算框架订阅生成观测离散数据流O‑DStream，按时间间隔划分为观测弹性分布式数据集O‑RDD；将传统地理过程模型进行并行化改造，将O‑RDD中的观测对象数据以区域为单位平均分配到各个节点进行处理，将处理结果叠加到DEM上可视化实现地理过程近实时模拟。本发明专利技术设计了近实时地理过程流计算模型和流计算与基于开放地理信息联盟(OGC)标准的传感网的耦合架构，具有近实时、易扩展、可容错的特性。

【技术实现步骤摘要】
流计算与传感网集成的地理过程近实时模拟方法
本专利技术属于地理信息系统应用
，涉及一种地理过程模拟方法，具体地说是一种集成实时流计算系统与开放标准传感网的高性能、易扩展、可容错的地理过程近实时模拟方法。
技术介绍
地理过程近实时模拟是指在传统地理过程模型中接入实时或者近实时观测数据，通过高性能计算技术实现对现实世界的动态过程的近实时计算和模拟。地理过程近实时模拟对于智慧城市、应急响应等有着重要的意义，通过融合传感网技术、流计算技术，有助于地理过程的近实时感知，为政府部门提供及时的信息决策支持。传感网(SensorWeb)技术将具有感知、计算以及通信能力的传感器或是它们组成的传感器网络与Web技术结合，向外提供一系列标准访问接口实现了传感器资源的共享与互操作。传感网的概念最早由NASA的喷气推进实验室在1999年提出，用以定义一种特殊的无限传感器网络架构。2006年，开放地理信息联盟(OpenGeospatialConsortium,OGC)针对传感网缺失统一标准的推广应用障碍，将其与面向服务的体系架构相结合，通过制定一系列的传感网服务规范和信息模型，推出了传感网实现架构(SensorWebEnablement,SWE)，为其资源共享和互操作提供了技术支撑。传感网技术的发展使传统的地理数据发现、获取和处理发生了巨大变革，为实现地理模型实时感知奠定了基础。流计算(StreamComputing)技术，即运用一定手段实时或近实时地对流式数据进行处理和分析，目前已经成为了一种新的计算机数据处理范式。2008年，IBM在推出其开发的高性能流数据处理平台“SystemS”时首次将流计算技术命名为“StreamComputing”而使其广为人知。但在这之前许多关于“StreamProcessing”的研究已经在国内外展开，如MIT等三所大学在2003年开始合作研究并推出了Aurora系统，用于解决监测应用如环境监测系统、监视系统和跟踪系统中数据流的实时处理问题。近年来，随着流计算技术的发展，一系列开源的流计算系统被广泛推广和使用，如Yahoo于2010年开源了S4流计算系统，Twitter于2011年开源了Storm流计算系统，基于内存的分布式处理平台ApacheSpark也于2013年推出了流计算框架SparkStreaming。同时在地理信息领域，研究人员更加强调了运用流计算的方式对带有地理空间信息的数据流进行实时或近实时的处理和分析。但现有的技术并没有将流计算技术引入到基于开放标准的传感网系统中，更不能有效结合传统的地理过程模型，在实现传感网观测数据互操作性的同时对其进行近实时的处理和分析。而本专利技术提出由于传感器观测地理对象获得的数据天生可以视作流式的，将传感网与流计算系统进行耦合，将传感网观测数据流引入地理过程模型中进行实时处理，可以有效地实现对现实地理事件的动态过程模拟和近实时感知。有关文献：DelinK,JacksonS.SensorWebsforinsitumonitoringandexploration[C].SpaceTechnologyConferenceandExposition,1999:4556；BottsM,PercivallG,ReedC,etal.SensorWebEnablement:OverviewandHighLevelArchitecture[C].Autotestcon,2007:372-380；A,EchterhoffJ,JirkaS,etal.Newgenerationsensorwebenablement[J].Sensors,2011,11(3):2652-2699；IshiiA,SuzumuraT.ElasticStreamComputingwithClouds[C].2011IEEE4thInternationalConferenceonCloudComputing,2011:195-202；GedikB,AndradeH,WuKL,etal.SPADE:thesystemsdeclarativestreamprocessingengine[C].ACMSIGMODInternationalConferenceonManagementofData,2008:1123-1134；AbadiDJ,CarneyD,etintemelU,etal.Aurora:anewmodelandarchitecturefordatastreammanagement[J].VldbJournal,2003,12(2):120-139；NeumeyerL,RobbinsB,NairA,etal.S4:DistributedStreamComputingPlatform[C].IEEEInternationalConferenceonDataMiningWorkshops,2011:170-177；ToshniwalA,TanejaS,ShuklaA,etal.Storm@twitter[J],2014:147-156；ZahariaM,DasT,LiH,etal.Discretizedstreams:anefficientandfault-tolerantmodelforstreamprocessingonlargeclusters[C].Proceedingsofthe4thUSENIXconferenceonHotTopicsinCloudCcomputing,2012:10-10；KazemitabarSJ,Banaei-KashaniF,McleodD.Geostreamingincloud[C].ACMSigspatialInternationalWorkshoponGeostreaming,2011:3-9.
技术实现思路
因而基于上述
技术介绍
，本专利技术提供了一种流计算与传感网集成的地理过程近实时模拟方法，将实时流计算系统与基于OGC开放标准的传感网进行耦合，改造传统地理过程模型，有效地实现现实世界地理过程的近实时感知与模拟。本专利技术所采用的技术方案是一种流计算与传感网集成的地理过程近实时模拟方法，包括以下步骤：步骤1，从传统的地理过程模型库中选择需要使用的地理过程模型，明确地理过程模型的计算过程与输入输出；步骤2，根据地理过程模型的输入需求基于OGCSWE搭建传感网，实时获取与该地理过程相关的观测数据；其中，OGC为开放地理信息联盟，SWE为传感网实现架构；步骤3，基于OGC传感器观测服务管理传感网中各个传感器的观测数据，并以Web服务的形式向外提供观测数据访问接口；步骤4，以分布式消息发布订阅系统Kafka作为中间件，利用传感器观测服务提供的接口不断获取实时观测数据并按时间序列组织转化为观测数据流，实现流计算与传感网耦合；步骤5，在流计算框架SparkStreaming中订阅Kafka提供的观测数据流生成观测离散数据流O-DStream，按时间间隔划分为按时间序列组织的观测弹性分布式数据集O-RDD；所述观测弹性分布式数据集O-RDD中的最小单元是包含传感器信息和观测信息的观测对象，每个O-RDD中的观测对象按照地理区域组织成若干分区；步骤6，将传统地理过程模本文档来自技高网...

【技术保护点】
1.一种流计算与传感网集成的地理过程近实时模拟方法，其特征在于，包括以下步骤：步骤1，从传统的地理过程模型库中选择需要使用的地理过程模型，明确地理过程模型的计算过程与输入输出；步骤2，根据地理过程模型的输入需求基于OGC SWE搭建传感网，实时获取与该地理过程相关的观测数据；其中，OGC为开放地理信息联盟，SWE为传感网实现架构；步骤3，基于OGC传感器观测服务管理传感网中各个传感器的观测数据，并以Web服务的形式向外提供观测数据访问接口；步骤4，以分布式消息发布订阅系统Kafka作为中间件，利用传感器观测服务提供的接口不断获取实时观测数据并按时间序列组织转化为观测数据流，实现流计算与传感网耦合；步骤5，在流计算框架Spark Streaming中订阅Kafka提供的观测数据流生成观测离散数据流O‑DStream，按时间间隔划分为按时间序列组织的观测弹性分布式数据集O‑RDD；所述观测弹性分布式数据集O‑RDD中的最小单元是包含传感器信息和观测信息的观测对象，每个O‑RDD中的观测对象按照地理区域组织成若干分区；步骤6，将传统地理过程模型基于MapReduce方法进行并行化改造，对O‑RDD进行高性能计算获取当前时间段内的地理过程信息，包括将O‑RDD中的观测对象数据以区域为单位平均分配到各个节点进行处理，将处理结果叠加到DEM上可视化实现地理过程近实时模拟；其中，DEM为数字高程模型。...

【技术特征摘要】
1.一种流计算与传感网集成的地理过程近实时模拟方法，其特征在于，包括以下步骤：步骤1，从传统的地理过程模型库中选择需要使用的地理过程模型，明确地理过程模型的计算过程与输入输出；步骤2，根据地理过程模型的输入需求基于OGCSWE搭建传感网，实时获取与该地理过程相关的观测数据；其中，OGC为开放地理信息联盟，SWE为传感网实现架构；步骤3，基于OGC传感器观测服务管理传感网中各个传感器的观测数据，并以Web服务的形式向外提供观测数据访问接口；步骤4，以分布式消息发布订阅系统Kafka作为中间件，利用传感器观测服务提供的接口不断获取实时观测数据并按时间序列组织转化为观测数据流，实现流计算与传感网耦合；步骤5，在流计算框架SparkStreaming中订阅Kafka提供的观测数据流生成观测离散数据流O-DStream，按时间间隔划分为按时间序列组织的观测弹性分布式数据集O-RDD；所述观测弹性分布式数据集O-RDD中的最小单元是包含传感器信息和观测信息的观测对象，每个O-RDD中的观测对象按照地理区域组织成若干分区；步骤6，将传统地理过程模型基于MapReduce方法进行并行化改造，对O-RDD进行高性能计算获取当前时间段内的地理过程信息，...

【专利技术属性】
技术研发人员：乐鹏，上官博屹，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42