一种基于数据盒的空间应用和数据一体化封装系统及方法技术方案

本发明专利技术属于空间信息数据集成技术领域，公开了一种基于数据盒的空间应用和数据一体化封装系统及方法，方法包括在每个数据盒内置一个数据盒运维子系统，通过数据盒运维子系统进行数据盒的应用管理、容器管理；通过数据盒运维子系统对数据盒进行属性配置；通过数据盒运维子系统对数据盒进行罐装发布；通过数据盒运维子系统和数据蜂巢管理子系统的协同，对数据盒进行云化整合；通过数据蜂巢管理子系统对数据盒进行动态调度。系统包括数据盒运维子系统、数据蜂巢管理子系统。本发明专利技术解决了现有技术中空间信息数据集成的人工操作工作量巨大的问题，能够有效节省在集成数据和应用时花费的大量人力物力成本，实现数据应用一体化的可拔插式自动化集成。拔插式自动化集成。拔插式自动化集成。

【技术实现步骤摘要】
一种基于数据盒的空间应用和数据一体化封装系统及方法


[0001]本专利技术涉及空间信息数据集成
，尤其涉及一种基于数据盒的空间应用和数据一体化封装系统及方法。

技术介绍

[0002]在空间信息云子系统建设中，需要汇集来自卫星地面接收站、气象部门、无人机监测站、交通部门等各种不同数据提供商的海量异构数据，同时需要整合各种针对特有数据的处理和分析的空间应用。因此，实现数据和应用集成是一项艰巨的工作，这些工作通常需要耗费大量的人力物力来完成。
[0003]目前，空间数据接入主要包括元数据接入、数据体接入以及数据服务接入等内容。元数据接入通常由数据提供方提供元数据描述文件，经过抽取和转换，或直接提供在线的查询接口，供外部应用自动抓取。数据体的接入有的采用FTP来进行文件上传，有的采用光盘等载体实现文件复制，有的则提供网络地址供集成方远程下载。而数据服务接入，有的直接由数据提供方提供服务地址，有的则需要手工发布服务。
[0004]例如，美国EOS(earth observing system,对地观测系统)采用一种分布式系统架构,将遥感数据按照科学领域划分至各个数据中心存储并釆用统一的数据存储格式(即 HDF-EOS数据格式),作为EOS数据产品的标准格式,并提供了一个统一的数据访问接口。在遥感影像分发方面，EOSDIS采用的是FTP方式，在有大量用户进行数据请求时，FTP服务器负载会急剧增加，服务器带宽表现不足，无法为用户提供高质量的快速的数据分发服务。Google Earth Engine是Google提供的对大量全球尺度地球科学资料(尤其是卫星数据)进行在线可视化计算和分析处理的云平台。该平台能够存取卫星图像和其他地球观测数据数据库中的资料并提供足够的运算能力对这些数据进行处理。Google Earth Engine不仅提供在线的JavaScript API，同时也提供了离线的 Python API。通过这些API可以快速的建立基于Google Earth Engine以及Google 云的Web服务。
[0005]然而，上述系统在元数据接入方式在将空间数据入库时，需要较多的定制开发工作，例如编写代码，实现元数据的录入、转换，以及实现元数据能够汇集、索引和查询。数据体需要进行对应的处理才能进行使用，如关系型数据需要手工或编码入库、矢量数据需要发布为对应的数据服务，需要可视化展示的数据需要进行切片,数据服务在接入后则需要部署和发布。因此，空间应用和数据集成需要通过编写代码将异构应用封装为云服务，需要人工完成服务的封装、集成、部署、配置、测试等工作，需要自己实现高可用和弹性伸缩，人工操作工作量巨大。

技术实现思路

[0006]本专利技术通过提供一种基于数据盒的空间应用和数据一体化封装系统及方法，解决了现有技术中空间信息数据集成的人工操作工作量巨大的问题。
[0007]本专利技术提供一种基于数据盒的空间应用和数据一体化封装方法，包括以下步骤：
[0008]步骤1、每个数据盒内置一个数据盒运维子系统，通过数据盒运维子系统进行数据盒的应用管理、容器管理；
[0009]步骤2、通过数据盒运维子系统对数据盒进行属性配置；
[0010]步骤3、通过数据盒运维子系统对数据盒进行罐装发布；
[0011]步骤4、通过数据盒运维子系统和数据蜂巢管理子系统的协同，对数据盒进行云化整合；
[0012]步骤5、通过数据蜂巢管理子系统对数据盒进行动态调度。
[0013]优选的，所述步骤1中，所述应用管理包括安装应用、卸载应用、批量查询与修改应用基本信息、查询与修改应用内置服务；
[0014]所述容器管理包括启动容器、重启容器、停止容器、查询容器状态、查看容器日志、搜索容器、查看与修改容器数据卷。
[0015]优选的，所述步骤2中，所述属性配置包括自定义配置、数据盒与数据蜂巢的协同配置；所述自定义配置包括但不限于元数据转换规则配置、蜂巢地址配置。
[0016]优选的，所述步骤3中，所述对数据盒进行罐装发布包括以下子步骤：
[0017]预装应用，选择容器镜像，创建一组容器；
[0018]罐装数据，在容器中罐装数据及其元数据；
[0019]打包发布，将罐装好的数据、元数据和容器镜像化，封装成数据盒镜像。
[0020]优选的，所述步骤3中，所述元数据导入至ElasticSearch中；所述数据包括文件数据、结构化数据；所述文件数据包括影像文件、矢量文件；将所述影像文件、所述矢量文件通过对象化存储于Minio Server中；将所述矢量文件输入至GEOServer，进行OGC数据服务的发布；将所述结构化数据输入至MongoDB中进行存储。
[0021]优选的，所述步骤4中，所述对数据盒进行云化整合包括：数据盒服务发现与注册；
[0022]将数据盒运维子系统作为Eureka Client，将数据蜂巢管理子系统作为Eureka Server；应用管理启动应用程序后，Eureka Client向Eureka Server注册服务节点的信息，将该应用发布成服务；通过Eureka Server查询服务节点的信息；EurekaClient向Eureka Server发送心跳，若Eureka Server在预设的心跳周期内未收到某个服务节点的心跳，则将该服务节点从服务注册表中移除。
[0023]优选的，所述步骤4中，所述对数据盒进行云化整合包括：数据盒元数据自动汇聚；
[0024]数据盒启动后，数据盒内置的数据盒运维子系统与数据蜂巢管理子系统进行通信，数据盒自动向数据蜂巢管理子系统注册元数据、应用服务。
[0025]优选的，所述步骤4中，所述对数据盒进行云化整合包括：数据盒生命周期管理；
[0026]利用云端对多个数据盒中的数据及其元数据进行检索、分布式下载，利用云端对数据盒中的数据及其元数据进行在线处理、分析，实现数据盒生命周期管理。
[0027]优选的，所述步骤5中，所述对数据盒进行动态调度包括：
[0028]自主应用统一访问，使用服务网关Zuul根据发布的服务信息动态配置代理的路由，实现反向代理功能；
[0029]自主应用集群访问，通过在服务网关Zuul中集成Ribbon实现多个数据盒服务的自动化负载均衡；
[0030]微服务节点动态更新，使用服务网关Zuul在数据盒上线、下线时动态更新代理映
射和集群节点，实现节点动态更新功能。
[0031]另一方面，本专利技术提供一种基于数据盒的空间应用和数据一体化封装系统，包括：数据盒运维子系统、数据蜂巢管理子系统；
[0032]所述基于数据盒的空间应用和数据一体化封装系统用于实现上述基于数据盒的空间应用和数据一体化封装方法中的步骤。
[0033]本专利技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0034]在专利技术中，每个数据盒内置一个数据盒运维子系统，通过数据盒运维子系统进行数据盒的应用管本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据盒的空间应用和数据一体化封装方法，其特征在于，包括以下步骤：步骤1、每个数据盒内置一个数据盒运维子系统，通过数据盒运维子系统进行数据盒的应用管理、容器管理；步骤2、通过数据盒运维子系统对数据盒进行属性配置；步骤3、通过数据盒运维子系统对数据盒进行罐装发布；步骤4、通过数据盒运维子系统和数据蜂巢管理子系统的协同，对数据盒进行云化整合；步骤5、通过数据蜂巢管理子系统对数据盒进行动态调度。2.根据权利要求1所述的基于数据盒的空间应用和数据一体化封装方法，其特征在于，所述步骤1中，所述应用管理包括安装应用、卸载应用、批量查询与修改应用基本信息、查询与修改应用内置服务；所述容器管理包括启动容器、重启容器、停止容器、查询容器状态、查看容器日志、搜索容器、查看与修改容器数据卷。3.根据权利要求1所述的基于数据盒的空间应用和数据一体化封装方法，其特征在于，所述步骤2中，所述属性配置包括自定义配置、数据盒与数据蜂巢的协同配置；所述自定义配置包括但不限于元数据转换规则配置、蜂巢地址配置。4.根据权利要求1所述的基于数据盒的空间应用和数据一体化封装方法，其特征在于，所述步骤3中，所述对数据盒进行罐装发布包括以下子步骤：预装应用，选择容器镜像，创建一组容器；罐装数据，在容器中罐装数据及其元数据；打包发布，将罐装好的数据、元数据和容器镜像化，封装成数据盒镜像。5.根据权利要求4所述的基于数据盒的空间应用和数据一体化封装方法，其特征在于，所述步骤3中，所述元数据导入至ElasticSearch中；所述数据包括文件数据、结构化数据；所述文件数据包括影像文件、矢量文件；将所述影像文件、所述矢量文件通过对象化存储于Minio Server中；将所述矢量文件输入至GEOServer，进行OGC数据服务的发布；将所述结构化数据输入至MongoDB中进行存储。6.根据权利要求1所述的基于数据盒的空间应用和数据一体化封装方法，其特征在于，所述步骤4中，所述对数据盒进行云化整合包括：数据盒...

【专利技术属性】
技术研发人员：贾向阳，李峰，陈旭，王士成，陈金勇，陶勇聪，耿江屹，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：