一种电网多源遥感空间数据统一组织方法、系统及设备技术方案

本发明专利技术涉及遥感数据处理应用领域，具体涉及一种电网多源遥感空间数据统一组织方法、系统及设备，该方法包括：构建主数据中心和预设数量的多数据中心；定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。可以理解的是，本发明专利技术能够将分散的、不同类别的元数据进行标准化并逐级汇总，最终汇总于主数据中心，形成一种有效的时空数据组织和集成方式。形成一种有效的时空数据组织和集成方式。形成一种有效的时空数据组织和集成方式。

【技术实现步骤摘要】
一种电网多源遥感空间数据统一组织方法、系统及设备


[0001]本专利技术涉及遥感数据处理应用领域，具体涉及一种电网多源遥感空间数据统一组织方法、系统及设备。

技术介绍

[0002]随着地理空间遥感技术的不断发展，不同数据传感器源源不断的提供着不同时间、空间、光谱分辨率的海量空间数据，不同数据平台依各自职责，其数据采集方式和数据存储方式不尽相同。
[0003]对于海量数据组织，不同数据平台数据组织方式不同，主要分两种类型：基于时空记录体系的卫星轨道条带或景组织和基于全球剖分网格的多分辨率金字塔瓦片组织。基于时空记录体系的卫星轨道条带或景组织方式，是将原始轨道数据按照接收时间顺序采用轨道条带组织，将遥感影像产品采用景单元组织，具有代表性的是中国资源卫星应用中心、中国国家卫星气象中心，这种方式操作简单，对于遥感卫星数量较少、数据体量较小的数据组织与管理，可以满足存档数据的管理及应用需求。然后，由于各数据生产单位之间的卫星轨道条带与景缺少统一的标准，同一区域不同数据产品关联性差，随着数据源种类的增多，这种问题日益突出，对于同一区域的多源遥感数据又因记录在不同轨道条带中，使得跨部门数据整合耗时耗力；基于全球剖分网格的多分辨率金字塔瓦片组织方式，将遥感数据按球面剖分单元进行组织与管理，增强了多源遥感数据之间的空间关联性与检索效率，具有代表性的是Google Earth、天地图，但是，这种方式由于影像剖分与金字塔构建，会产生大量的瓦片小文件，不断增加的数据量导致数据存储空间变大。此外，不同行业部门按照自身行业特点，有不同的数据组织系统，不同型号传感器，卫星、无人机、物联网等，也有各自的数据组织方式与记录方式，使得数据信息孤岛现象严重，导致同一区域遥感数据检索、整合与共享困难。对于行业应用，其实际应用需求往往需要统一整合各类平台数据，这种跨平台、跨部门的时空数据集合也成为当前遥感应用领域关注的重点。
[0004]在电力行业中，多源时空数据组织技术的研究较为缺乏，虽然电网巡检、电网安全监测等数据平台众多，但仍存在数据分布分散、数据整合繁琐、数据彼此之间兼容度低等问题，尚未形成一种有效的时空数据组织和集成方式。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种电网多源遥感空间数据统一组织方法、系统及设备，以解决现有技术中数据分布分散、数据整合繁琐、数据彼此之间兼容度低的问题。
[0006]根据本专利技术实施例的第一方面，提供一种电网多源遥感空间数据统一组织方法，包括：
[0007]构建主数据中心和预设数量的多数据中心；
[0008]定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，
生成统一元数据存储至本底元数据库；
[0009]根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
[0010]拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
[0011]优选的，所述定期拉取元数据分发中心的元数据至所述多数据中心，包括：
[0012]根据预设的定时器规则，定期启动推拉组件和爬虫算法，拉取元数据分发中心的元数据至所述多数据中心；
[0013]所述元数据分发中心至少包括各类遥感卫星数据分发中心和物联网终端管控中心。
[0014]优选的，所述对所述元数据进行处理，生成统一元数据存储至本底元数据库，包括：
[0015]在各个多数据中心构建元数据结构模型、统一元数据结构模型及其映射规则；
[0016]根据所述元数据结构模型、所述统一元数据结构模型及其映射规则，对所述元数据进行提取，生成统一元数据，存储至本底元数据库。
[0017]优选的，所述从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库，包括：
[0018]在各个多数据中心构建电网元数据结构模型；
[0019]通过数据摄取算法和搜索算法，结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，摄取至电网数据库暂存区；
[0020]采用数据模型算法和元数据转换规则，根据所述电网元数据结构模型对电网数据库暂存区的数据进行归一化处理，获得电网标准元数据，存储至电网元数据库。
[0021]优选的，所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心，包括：
[0022]采用爬虫算法，拉取所述多数据中心的电网标准元数据，存储至所述主数据中心；
[0023]所述主数据中心设有Solr Cloud分布式索引，以提供电网遥感元数据索引服务。
[0024]优选的，在所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心之后，还包括：
[0025]获取用户提交的数据订阅下载订单；
[0026]根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；
[0027]控制所述主数据中心生成所述最终查询数据的下载链接。
[0028]优选的，所述构建主数据中心和预设数量的多数据中心，包括：
[0029]构建支持FTP/HTTP数据传输协议的主数据中心和预设数量的多数据中心。
[0030]根据本专利技术实施例的第二方面，提供一种电网多源遥感空间数据统一组织系统，包括：
[0031]数据中心构建模块，用于构建主数据中心和预设数量的多数据中心；
[0032]第一处理模块，用于定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；
[0033]第二处理模块，用于根据预设算法并结合电网台账数据，从所述本底元数据库中
搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；
[0034]数据汇总模块，用于拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。
[0035]优选的，所述的系统，还包括：
[0036]数据查询模块，用于获取用户提交的数据订阅下载订单；根据所述数据订阅下载订单，进行语法分解、检索重构、查询执行和结果集汇总，生成最终查询数据；控制所述主数据中心生成所述最终查询数据的下载链接。
[0037]根据本专利技术实施例的第三方面，提供一种电网多源遥感空间数据统一组织设备，包括：
[0038]主控器，及与所述主控器相连的存储器；
[0039]所述存储器，其中存储有程序指令；
[0040]所述主控器用于执行存储器中存储的程序指令，执行上述任一项所述的方法。
[0041]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0042]可以理解的是，本专利技术提供的技术方案，通过构建主数据中心和预设数量的多数据中心；定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网多源遥感空间数据统一组织方法，其特征在于，包括：构建主数据中心和预设数量的多数据中心；定期拉取元数据分发中心的元数据至所述多数据中心，对所述元数据进行处理，生成统一元数据存储至本底元数据库；根据预设算法并结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库；拉取所述多数据中心的电网标准元数据，存储至所述主数据中心。2.根据权利要求1所述的方法，其特征在于，所述定期拉取元数据分发中心的元数据至所述多数据中心，包括：根据预设的定时器规则，定期启动推拉组件和爬虫算法，拉取元数据分发中心的元数据至所述多数据中心；所述元数据分发中心至少包括各类遥感卫星数据分发中心和物联网终端管控中心。3.根据权利要求2所述的方法，其特征在于，所述对所述元数据进行处理，生成统一元数据存储至本底元数据库，包括：在各个多数据中心构建元数据结构模型、统一元数据结构模型及其映射规则；根据所述元数据结构模型、所述统一元数据结构模型及其映射规则，对所述元数据进行提取，生成统一元数据，存储至本底元数据库。4.根据权利要求3所述的方法，其特征在于，所述从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，并对其进行处理，获得电网标准元数据，存储至电网元数据库，包括：在各个多数据中心构建电网元数据结构模型；通过数据摄取算法和搜索算法，结合电网台账数据，从所述本底元数据库中搜索出覆盖电网线路的遥感空间数据的元数据，摄取至电网数据库暂存区；采用数据模型算法和元数据转换规则，根据所述电网元数据结构模型对电网数据库暂存区的数据进行归一化处理，获得电网标准元数据，存储至电网元数据库。5.根据权利要求4所述的方法，其特征在于，所述拉取所述多数据中心的电网标准元数据，存储至所述主数据中心，包括：采...

【专利技术属性】
技术研发人员：耿浩，文刚，马仪，谭向宇，钱国超，彭庆军，王国芳，周仿荣，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：