一种地理空间大数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种地理空间大数据处理方法及装置。该方法包括：将地理空间数据按类型分别存储在文件系统和数据库；建立实时数据仓库；关联空间数据和时间数据，建立时空数据模型。可见，本发明专利技术将地理空间数据按类型分别存储在文件系统、数据库中；建立实时数据仓库，实现地理空间数据的实时处理、分析；通过关联空间数据、时间数据，建立时空数据模型，实现历史数据分析、数据推演预测。

【技术实现步骤摘要】
一种地理空间大数据处理方法及装置
本专利技术涉及计算机领域，特别涉及一种地理空间大数据处理方法、装置、电子设备、计算机可读存储介质。
技术介绍
目前地理空间数据处理方式主要是通过搭建用于存储地理信息系统（GeographicInformationSystem，GIS）数据的数据库，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，并通过物理存储架构实现GIS数据的冷热均衡；通过人工定时物理备份的方式完成数据备份，防止数据丢失；另外数据分析主要基于专业的GIS软件进行，分析结果以图层形式展示在GIS平台上。目前智慧城市、城市大脑建设中城市级别的空间信息数据处理方式仍处于原始阶段。现有技术的存储方式在大数据背景下劣势渐渐凸显，主要有以下几种缺陷：1、传统数据库数据量受限；2、数据维护方式复杂；3、实时分析能力差；4、时空分析能力差；5、海量数据检索能力弱。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的地理空间大数据处理方法、装置、电子设备、计算机可读存本文档来自技高网...

【技术保护点】
1.一种地理空间大数据处理方法，其特征在于，包括：/n将地理空间数据按类型分别存储在文件系统和数据库；/n建立实时数据仓库；/n关联空间数据和时间数据，建立时空数据模型。/n

【技术特征摘要】
1.一种地理空间大数据处理方法，其特征在于，包括：
将地理空间数据按类型分别存储在文件系统和数据库；
建立实时数据仓库；
关联空间数据和时间数据，建立时空数据模型。


2.根据权利要求1所述的方法，其特征在于，所述将地理空间数据按类型分别存储在文件系统和数据库，包括：
将地图、卫星影像、地形以及建筑模型数据存储在文件系统；
将物联网数据、公共交通记录、电商物流数据存储在数据库。


3.根据权利要求2所述的方法，其特征在于，所述建立实时数据仓库，包括：
通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；
通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；
通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中。


5.根据权利要求1所述的方法，其特征值在于，所述方法还包括：
采用组件Griffin对数据进行质量监控。


6.一种地理空间大数据处理装置，其特征在于，包括：
数据分类存储单元，用于将地理空间数据按类型分别存储在文件系统和数据库；
数据仓库建立单元，...

【专利技术属性】
技术研发人员：王琦，王恭华，白欢欢，王崟乐，
申请(专利权)人：中关村科学城城市大脑股份有限公司，
类型：发明
国别省市：北京;11