一种地理空间大数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种地理空间大数据处理方法及装置。该方法包括：将地理空间数据按类型分别存储在文件系统和数据库；建立实时数据仓库；关联空间数据和时间数据，建立时空数据模型。可见，本发明专利技术将地理空间数据按类型分别存储在文件系统、数据库中；建立实时数据仓库，实现地理空间数据的实时处理、分析；通过关联空间数据、时间数据，建立时空数据模型，实现历史数据分析、数据推演预测。

【技术实现步骤摘要】
一种地理空间大数据处理方法及装置
本专利技术涉及计算机领域，特别涉及一种地理空间大数据处理方法、装置、电子设备、计算机可读存储介质。
技术介绍
目前地理空间数据处理方式主要是通过搭建用于存储地理信息系统（GeographicInformationSystem，GIS）数据的数据库，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，并通过物理存储架构实现GIS数据的冷热均衡；通过人工定时物理备份的方式完成数据备份，防止数据丢失；另外数据分析主要基于专业的GIS软件进行，分析结果以图层形式展示在GIS平台上。目前智慧城市、城市大脑建设中城市级别的空间信息数据处理方式仍处于原始阶段。现有技术的存储方式在大数据背景下劣势渐渐凸显，主要有以下几种缺陷：1、传统数据库数据量受限；2、数据维护方式复杂；3、实时分析能力差；4、时空分析能力差；5、海量数据检索能力弱。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的地理空间大数据处理方法、装置、电子设备、计算机可读存储介质。本专利技术的一个实施例提供一种地理空间大数据处理方法，该方法包括：将地理空间数据按类型分别存储在文件系统和数据库；建立实时数据仓库；关联空间数据和时间数据，建立时空数据模型。可选地，所述将地理空间数据按类型分别存储在文件系统和数据库，包括：将地图、卫星影像、地形以及建筑模型数据存储在文件系统；将物联网数据、公共交通记录、电商物流数据存储在数据库。可选地，所述建立实时数据仓库，包括：通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。可选地，所述方法还包括：将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中。可选地，所述方法还包括：采用组件Griffin对数据进行质量监控。本专利技术的另一个实施例提供一种地理空间大数据处理装置，包括：数据分类存储单元，用于将地理空间数据按类型分别存储在文件系统和数据库；数据仓库建立单元，用于建立实时数据仓库；时空数据模型建立单元，用于关联空间数据和时间数据，建立时空数据模型。可选地，所述数据分类存储单元用于：将地图、卫星影像、地形以及建筑模型数据存储在文件系统；将物联网数据、公共交通记录、电商物流数据存储在数据库；所述数据仓库建立单元用于：通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。可选地，所述装置还包括：实时搜索单元，用于将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中。数据质量监控单元，用于采用组件Griffin对数据进行质量监控。本专利技术的另一个实施例提供一种电子设备，其中，该电子设备包括：处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述的地理空间大数据处理方法。本专利技术的另一个实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的地理空间大数据处理方法。本专利技术的有益效果是，将地理空间数据按类型分别存储在文件系统、数据库中；建立实时数据仓库，实现地理空间数据的实时处理、分析；通过关联空间数据、时间数据，建立时空数据模型，实现历史数据分析、数据推演预测。本专利技术通过搜索服务器Elasticsearch，实现大数据量(亿级)的实时统计查询。本专利技术还引入空间数据质量监控，通过监控数据的完整性、准确性、一致性和及时性来保证数据质量。附图说明图1为本专利技术一个实施例的地理空间大数据处理方法的流程示意图；图2为本专利技术一个实施例的地理空间大数据处理方法的原理图；图3为本专利技术一个实施例的地理空间大数据处理装置的结构示意图；图4示出了根据本专利技术一个实施例的电子设备的结构示意图；图5示出了根据本专利技术一个实施例的计算机可读存储介质的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。本专利技术将传统GIS与大数据技术相结合，能够解决城市级数据量的存储受限以及实时分析等缺陷，达到城市大脑建设的需求。图1为本专利技术一个实施例的地理空间大数据处理方法的流程示意图。如图1所示，该方法包括：S11：将地理空间数据按类型分别存储在文件系统和数据库；按照不同数据类型以及不同应用设计不同的存储方式。本专利技术实施的数据库可以通过对于地图、卫星影像、地形以及建筑模型等空间数据，由于其更新周期以及使用场景的较固定，存储在文件系统中并建立完整时间序列；对于物联网数据、公共交通记录、电商物流等其他含位置信息的空间数据，这类数据在存储时要建设实时数据仓库进行处理，这样可以最大限度的提高数据利用率。S12：建立实时数据仓库；实时数据仓库存储的空间数据包括城市物联网数据、公共交通记录、电商物流、微博微信足迹相片等，这些数据的共同点有：时效性、含坐标信息、传感器信息。S13：关联空间数据和时间数据，建立时空数据模型。实时数据仓库可存储全部历史数据，结合坐标位置数据（空间数据）、时间数据以及基本信息数据形成时空数据结构，建立时空数据模型，实现数据的历史查询、过程模拟与趋势预测功能。时空数据模型在地籍变更、环境监测、城市演化等领域作用巨大。时空数据模型是一种有效组织和管理时态地学数据、空间、专题、时间语义完整的地学数据模型，建立合理、完善、高效的时空数据模型是实现时实GIS的基础和关键。本专利技术实施例中可采用两种方法建立模型：在时间模型上扩展空间维的方法和面向对象的方法建立时空数据模型，前者描绘对象变迁以及过程，后者的时间维和空间维是垂直的，可表示实体在空间和属性上的变化。建立的模型在城市地籍变更、环境监测方面应用较多，比如地籍历史追溯，环境监测历史重演、未来预测等。本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种地理空间大数据处理方法，其特征在于，包括：/n将地理空间数据按类型分别存储在文件系统和数据库；/n建立实时数据仓库；/n关联空间数据和时间数据，建立时空数据模型。/n

【技术特征摘要】
1.一种地理空间大数据处理方法，其特征在于，包括：
将地理空间数据按类型分别存储在文件系统和数据库；
建立实时数据仓库；
关联空间数据和时间数据，建立时空数据模型。


2.根据权利要求1所述的方法，其特征在于，所述将地理空间数据按类型分别存储在文件系统和数据库，包括：
将地图、卫星影像、地形以及建筑模型数据存储在文件系统；
将物联网数据、公共交通记录、电商物流数据存储在数据库。


3.根据权利要求2所述的方法，其特征在于，所述建立实时数据仓库，包括：
通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；
通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；
通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中。


5.根据权利要求1所述的方法，其特征值在于，所述方法还包括：
采用组件Griffin对数据进行质量监控。


6.一种地理空间大数据处理装置，其特征在于，包括：
数据分类存储单元，用于将地理空间数据按类型分别存储在文件系统和数据库；
数据仓库建立单元，...

【专利技术属性】
技术研发人员：王琦，王恭华，白欢欢，王崟乐，
申请(专利权)人：中关村科学城城市大脑股份有限公司，
类型：发明
国别省市：北京;11