一种基于微服务的时空大数据平台制造技术

本发明专利技术公开了一种基于微服务的时空大数据平台，包括时空大数据服务架构、时空大数据存储单元、时空大数据检索单元和时空大数据挖掘单元；所述时空大数据服务架构包括服务API网关和进程通信单元，所述服务API网关用于支撑平台的统一对外服务接口，所述进程通信单元用于确定时空数据流转的协议格式，支撑时空大数据服务间通信；所述时空大数据存储单元采用SQL与NoSQL数据库相结合的混合架构，对获取的元数据和实体数据分开管理，将元数据存储于关系型数据库集群中，将矢栅时空数据存储于P2P架构的NoSQL数据库集群中；所述时空带数据检索单元采用空间索引进行的分布式检索，同时采用空间填充曲线的空间索引进行检索。用空间填充曲线的空间索引进行检索。用空间填充曲线的空间索引进行检索。

【技术实现步骤摘要】
一种基于微服务的时空大数据平台


[0001]本专利技术涉及一种时空大数据平台，具体涉及一种基于微服务的时空大数据平台。

技术介绍

[0002]时空大数据一词正式出现于2015年，由于地球是在不断运动着的，作为地理信息基础的时空基准也是在不断变化，所以基于时空基准的空间数据、地理空间数据、空间位置数据等也都随着时间的变化而变化，在讨论空间变化的同时也应考虑时间的变化，时间、空间和属性是地理实体和地理现象所应固有的三个最基本的特征，因此，相对于原有的说法，时空大数据是一个更加科学严密的概念。时空大数据具有如下四个特征：
[0003]数据量大。天空地海一体化的对地观测网络、随身携带的手机、平板等移动设备、与测绘地理信息紧密相关的交通、规划、国土等传统行业部门，以及视频监控、空气质量等蕴含着位置信息的传感器设施，都在实时动态产生着海量的时空信息。据不完全统计，截至2020年底，全球在轨航天器共3753个，其中遥感卫星数量己达578颗。美国宇航局戈达得飞行中心的E0SDIS数据系统，其处理和管理的数据量，仅E0AM
‑
1平台达到每天1500GB。我国资源三号高分辨率立体测图卫星自2012年1月发射以来，截止到2015年底己经获取到原始影像数据176万景，覆盖全球范围7122万平方千米(同一区域不累计统计)。与对地观测获取能力日益增加相对应的，手机地图软件的用户也成倍增加，据商业网站统计，高德、百度等地图软件的日活跃用户量己经高达几亿，微信、QQ、微博等拥有庞大用户量的社交软件也蕴含着定位功能，从中产生的实时位置信息更是不计其数。
[0004]数据多样。从时空数据的产生来源就能够发现，其数据种类繁杂多样，不仅包括了传统结构化的数据类型，还包括大量的非结构化、半结构化的新数据类型。时空基准、GNSS和位置轨迹数据、空间大地测量和物理大地测量数据、海洋测绘数据、地图数据、遥感影像数据、与位置相关联的空间媒体数据、地名数据，以及时空数据与大数据融合产生的数据等都是时空数据的内容。
[0005]数据高速。时空数据的高速存在两个层面，一个是大量的传统的、实时的数据获取速度快。当前在轨能够获取到高分辨率影像的卫星重访周期约为1
‑
5天，而无人机、移动测量车、背包式的三维激光扫描仪等新型测绘手段则可以实时获取到相应的测绘地理信息数据。二是实时的时空数据处理速度快，同时传统基础地理信息的更新频率也在逐渐加快。如导航地图软件中的实时路况信息，通过实时回收和共享城市出租车通过定位设备记录的行驶轨迹数据，每隔10秒钟到1分钟，数据中心就能自动计算城市每条道路的实时交通流量。
[0006]数据价值。时空数据的数据量十分庞大，但量大并不意味着数据价值的增加，相反，这往往意味着数据噪声或者杂质较多。例如通过遥感卫星获得的影像数据，可能由于天气的影响存在大量的云层遮挡地区，需要进行去云处理才能够进行使用。再如大量的社交位置数据，其每时每刻都在产生，但如何从这些看似无规律无关联数据中挖掘出有用的信息，同样需要进行清洗挖掘才能得到。可见，时空数据同样需要浪里淘沙来挖掘其中的价值。

技术实现思路

[0007]本专利技术所要解决的技术问题是时空大数据服务架构优化差，系统数据反馈速度慢，时空大数据没有一个高效的存储服务，时空大数据没有进行智能匹配检索的架构也没有高效分发服务，目的在于提供一种基于微服务的时空大数据平台，解决上述的问题。
[0008]本专利技术通过下述技术方案实现：
[0009]一种基于微服务的时空大数据平台，包括时空大数据服务架构、时空大数据存储单元、时空大数据检索单元和时空大数据挖掘单元；
[0010]所述时空大数据服务架构包括服务API网关和进程通信单元，所述服务API网关用于支撑平台的统一对外服务接口，所述进程通信单元用于确定时空数据流转的协议格式，支撑时空大数据服务间通信；
[0011]所述时空大数据存储单元采用SQL与NoSQL数据库相结合的混合架构，对获取的元数据和实体数据分开管理，将元数据存储于关系型数据库集群中，将矢栅时空数据存储于P2P架构的NoSQL数据库集群中；
[0012]所述时空带数据检索单元采用空间索引进行的分布式检索，同时采用空间填充曲线的空间索引进行检索；
[0013]所述时空大数据挖掘单元通过对原始遥感影像进行重采样，形成不同分辨率的瓦片并构建金字塔，从而提高影像浏览缩放的响应速度。
[0014]时空大数据服务的完整实现是一项复杂且困难的工作，涉及的相关理论和技术问题非常庞大，当前有以下问题亟待解决：
[0015]时空大数据服务架构优化：从底层体系架构上提升服务效率对现有服务架构进行总结分析，从时空大数据及其服务自身的海量、异构、高并发、持续服务提供等特点出发，研究适用于时空大数据高效服务的架构，并详细阐述该架构实现方法，并对其效率进行对比验证。
[0016]时空大数据高效存储服务：从存储检索机制上提升服务效率时空大数据呈爆炸式增长，传统的集中式存储方式以及单中心的关系数据库的管理模式已经很难满足不断增长的数据的存储与管理的需求，针对时空数据的分布式存储与组织管理等问题，基于关系数据库与非关系数据结合的混合存储模式，开展矢栅时空大数据的统一存储、高效存取研究，并对相关方法进行实现和验证。
[0017]时空大数据智能匹配检索：从数据集成整合上提升服务效率时空大数据中包含有大量的专题信息、互联网爬取和物联网抓取数据，针对这些多源异构数据的时空匹配整合以及后续的查询检索服务的需求，分别开展地名地址识别提取算法和基于地名地址的快速空间匹配方法的研究，并对相关算法和方法进行实现和验证。
[0018]时空大数据高效分发服务：从数据分发共享上提升服务效率以海量时序遥感影像数据作为研究对象，探索当前时空大数据快速网络分发服务的相关技术，包括时序遥感影像瓦片金字塔的快速构建方法和并行策略，并对相关方法进行实现和验证。
[0019]大数据服务是一种数据使用模式，是在对大数据统一建模基础上，将各类数据操作进行封装，对外提供无处不在的、标准化的、随需的检索、分析或可视化服务交付。同样，时空大数据服务也是对外提供时空大数据服务交付，应主要研究如何更好的提升数据使用能力和水平。从这一层面出发，时空大数据服务当前的研究的重点在于服务能力的优化提
升，包括存储检索、挖掘分析、可视化、服务分发等服务能力，以及实现上述能力的平台构建等。
[0020]进一步地，所述服务API网关包括网关服务节点与服务API管理节点，所述服务API管理节点负责服务API更新与服务注册，在保障服务API更新时，不影响网关服务节点功能；网关服务节点为微服务的唯一入口，提供服务API的代理与负载均衡功能，为对终端用户提供服务的组件，能够进行水平扩容，通过部署多个节点来支撑流量。为保证支持新暴露的服务接口实现快速的服务注册，本专利设计的时空大数据服务API网关，分为两个独立的服务进程:网关服务节点与服务API管理节点。服务API管理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微服务的时空大数据平台，其特征在于，包括时空大数据服务架构、时空大数据存储单元、时空大数据检索单元和时空大数据挖掘单元；所述时空大数据服务架构包括服务API网关和进程通信单元，所述服务API网关用于支撑平台的统一对外服务接口，所述进程通信单元用于确定时空数据流转的协议格式，支撑时空大数据服务间通信；所述时空大数据存储单元采用SQL与NoSQL数据库相结合的混合架构，对获取的元数据和实体数据分开管理，将元数据存储于关系型数据库集群中，将矢栅时空数据存储于P2P架构的NoSQL数据库集群中；所述时空带数据检索单元采用空间索引进行的分布式检索，同时采用空间填充曲线的空间索引进行检索；所述时空大数据挖掘单元通过对原始遥感影像进行重采样，形成不同分辨率的瓦片并构建金字塔，从而提高影像浏览缩放的响应速度。2.根据权利要求1所述的一种基于微服务的时空大数据平台，其特征在于，所述服务API网关包括网关服务节点与服务API管理节点，所述服务API管理节点负责服务API更新与服务注册，在保障服务API更新时，不影响网关服务节点功能；网关服务节点为微服务的唯一入口，提供服务API的代理与负载均衡功能，为对终端用户提供服务的组件，能够进行水平扩容，通过部署多个...

【专利技术属性】
技术研发人员：赵雪，陈勇为，杜笑笑，
申请(专利权)人：北京远思久维科技有限公司，
类型：发明
国别省市：