一种面向全球变化研究的空间科学数据自动汇聚方法技术

本发明专利技术公开了一种面向全球变化研究的空间科学数据自动汇聚方法，属于信息技术领域。本方法为：1)服务器定期对数据源进行访问，生成下载任务；2)根据当前下载任务，下载元数据文件并保存到服务器，对下载的文件进行质量检查、元数据项提取、计算和转换；3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引；4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系，并提供一检索接口；5)服务器据查询条件查询是否存在所查询实体数据，若不存在则据数据预订申请生成实体数据下载任务进行下载，并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。

【技术实现步骤摘要】

本专利技术属于信息技术、全球变化研究领域，尤其涉及在面向全球变化研究领域中采用信息技术对分布、多源、异构空间科学数据进行自动汇聚方法。
技术介绍
随着全球变化的负面影响越来越严重、全球环境问题的日益突出，全球变化的研究正在受到空前的重视。这一点可从国际科学联合会理事会(ICSU)等国际科学组织陆续发起的四大全球环境变化研究计划表现出来1980年发起世界气候研究计划(WCRP)、1987 年发起国际地圈生物圈计划(IGBP)、1991年发起生物多样性计划(DIVERSITAQ、1996年发起国际全球环境变化的人文因素计划(IHDP)。并且，这四大科学计划于2001年联合组建了地球系统科学联盟(ESSP)，联盟的目的在于推动对地球系统的综合集成研究、促进地球系统各研究计划之间的合作、加强人类对地球系统的深入认识。从全球变化的研究手段和方法来看，目前主要采用的研究方法包括发展全球分析、模拟、数据挖掘等。在当前的大科学时代，无论上述的哪一种研究手段，都需要大量的科学数据作为研究的基础和支持。观测技术，特别是卫星遥感技术的快速发展，提供了对整个地球系统行为进行监测的能力，而基于此的空间科学数据则为全球变化的研究提供了直接的基础。在全球变化研究领域中，不同层次、角度的研究模型众多，而这通常需要各种来源的科学数据作为基础。即使针对一个研究模型，也常常需要汇聚多个数据源的遥感空间科学数据来支持，而这些遥感科学数据源一般情况下处于分布、异构状态。比如遥感数据由于气象等自然条件影响，单一数据源的遥感影像无法覆盖整个研究区域，通常需要使用其他数据源进行替补。在无法快速、准确定位、汇聚分布、异构遥感空间科学数据的情况下，这些遥感空间科学数据的空间分布、结构多样性在很大程度上限制了科学研究的计算尺度范围。因此，全球变化的研究计划和科学家迫切需要一种能对分布式、多源、异构空间科学数据进行自动汇聚的平台，以方便科学数据的查询、共享、定位，最终使得科学家可以方便地、一站式地查询、获取和使用分布在全球各地的海量全球变化空间科学数据资源。经过查询文献，目前尚未发现能解决上述问题的方法和平台。
技术实现思路
针对上述需要对全球变化空间科学数据资源自动汇聚的问题，本专利技术的目的在于提供，本方法结合空间科学数据的特点，根据系统工程分而治之的思路，通过数据资源动态发现、元数据动态汇聚、元数据一致化表达及转换、元数据统一快速准确检索、实体数据动态汇聚及处理等步骤实现空间科学数据资源的自动汇聚。本专利技术包括以下步骤(如图1所示)(1)数据资源动态发现考虑到全球变化科学数据海量膨胀，涌现出了大量的优质数据资源，且多数数据资源都采用友好的数据共享政策。不断扩展新的数据资源，并实现数据资源的动态发现是数据资源汇聚的一个关键。为此需要建立兼容性强的数据源汇聚接口，通过透明、快捷的方式对数据资源进行动态发现和确认，以更好地整合分布式遥感空间科学数据资源。(2)元数据动态汇聚即如何保持数据提供方和面向全球变化研究的空间科学数据自动汇聚平台之间元数据记录的一致性问题。为此，需要在分析数据源的数据资源更新状况基础上，形成不同的元数据收割方式和频率，及基于此的元数据下载模块，以满足数据更新需求和减轻系统负载之间的良好折中，实现元数据实时或准实时同步。(3)元数据一致化表达及转换分布式空间科学数据的表达具有多样性特征，要实现对数据的统一化管理和检索，必须实现全球变化科学数据元数据的一致化表达。为解决不同来源数据的表达多样性问题，需要在全球变化科学数据领域的国际通用数据表达和数据互操作规范的基础上建立本地兼容性良好的元数据信息模型，并开发本地元数据转换器对不同来源的元数据进行解析、转换、信息提取，以实现元数据的一致化表达。(4)元数据统一快速准确检索如上述，全球变化相关数据具有关系复杂、非结构化、数据量大、多比例尺、随时间变化等特点，异构性强。在进行元数据的一致化转换和表达基础上，面对超大规模的海量科学数据，需要建立高效快速索引(数字)系统和元数据库系统，以实现统一、快速、准确的数据检索、定位、获取。(5)实体数据动态汇聚及处理实体数据是全球变化研究的计算基础，对元数据进行汇聚、检索的目的是为了发现、获取实体数据。考虑到实体数据量大、文件大等特点，在汇聚元数据的基础上，需要根据不同情况采取不同方式对实体数据进行动态汇聚，比如有计划的下载需求较高的实体数据和用户实体数据下载的本地缓存，而这都需要功能完善的数据下载模块的支持。为实现上述目的，本专利技术采用如下的技术方案，包括如下步骤(1)服务器对不同的数据源，定期循环执行以下过程根据数据产品类型的不同， 生成该数据源元数据文件的可能有效id列表，并对其中的每一个id进行有效性验证(验证的标准是id所标示的元数据文件是否存在)从而得到当前有效的元数据文件id列表， 对其中有效的id生成完整的元数据文件url (含对应的图片文件url)，并将这些元数据文件url (含对应的图片文件url)组合生成下载列表和下载任务，并启动下载任务(如图2 所示)。(2)服务器在识别目标任务(含正常与否、任务类型等)后按照任务量和资源情况启动相应的下载线程，并按照线程的情况和公平规则动态分配下载列表(对于已下载的任务，会默认不进行重复下载)，之后各线程按照配置文件连接数据服务器及按照所分配的列表顺序获取文件流、对下载内容进行存储、对图片文件进行尺寸缩小和对下载过程中的异常进行恢复和纠正等(如图3所示)。(3)元数据文件(含对应的图片文件)下载完成后服务器对下载的文件完成质量检查(包括文件是否可以正常打开、文件大小是否匹配、元数据文件和图片文件及缩小的图片文件之间是否一一对应等)、元数据项提取、在计算的基础上识别四个顶点的经纬度值、元数据转换、元数据入库和建立数字索引等(如图4所示)。(4)服务器对元数据按照文件(之前步骤完成)、元数据项数据库数据、索引数据等不同形式进行存储，并按照规则进行映射形成逻辑上统一的数据环境，基于此提供逻辑上统一的数据检索接口(如图5所示)。(5)用户检索部分提供用户检索接口，并完成对用户的查询(经纬度、空间对象) 进行相关性计算、按照规则(如距离等)对结果数据进行排序、根据用户的需要完成本地数据下载或远程数据预定、如果用户发起数据预定请求则生成实体数据文件下载列表和任务，并启动下载任务等功能(如图6所示)。(6)用户在服务器提交远程实体数据预定任务后，实体数据动态汇聚及处理部分完成识别目标任务(含正常与否、任务类型等)、按照任务量和资源情况启动相应的下载线程、按照线程的情况和公平规则动态分配下载列表、按照配置文件连接数据服务器、按照所分配的列表顺序获取文件流、对下载内容进行存储、对下载过程中的异常进行恢复和纠正、 质量检查、实体数据内容提取、元数据项补充及更新、文件归档、用户提醒等工作(如图7所示)°通过上述步骤，完整地实现了面向全球变化研究的空间科学数据自动汇聚等工作。与现有技术相比，本专利技术的优点和积极效果基于本专利技术的方法，可以使得科学家们方便地、一站式地查询、获取和使用分布在全球各地的海量全球变化空间科学数据资源，解决全球变化研究中的数据自动汇聚问题。附图说明图1面向全球变化研究的空间科学数据自动汇聚流程图；图2本文档来自技高网...

【技术保护点】
１．一种面向全球变化研究的空间科学数据自动汇聚方法，其步骤为：１）选定数据源，服务器定期对所选数据源进行访问，生成下载列表和下载任务；其方法为：首先根据数据源的数据产品类型，生成该数据源元数据文件的可能有效ｉｄ列表；然后验证可能有效ｉｄ列表中每一ｉｄ所标示的元数据文件是否存在，从而得到当前有效的元数据文件ｉｄ列表；最后根据有效的ｉｄ生成完整的元数据文件ｕｒｌ，并根据元数据文件ｕｒｌ生成所述下载列表和下载任务；２）服务器根据当前下载列表和下载任务，访问数据源数据服务器，进行数据下载并将其保存到服务器；３）服务器对下载的元数据文件进行质量检查，并对检查合格的元数据文件进行元数据项提取；４）将元数据项及元数据文件路径保存到元数据项数据库并建立索引；５）服务器通过元数据文件路径、元数据项数据库的数据ｉｄ值、索引项的ｉｄ值，建立元数据文件、元数据项数据库数据、索引数据之间一一对应的映射关系，并提供一检索接口；６）服务器根据输入的查询条件，查询服务器中是否存在所查询的实体数据，如果不存在则生成数据预订申请，并根据预订申请生成实体数据下载列表和下载任务；７）服务器根据当前实体数据下载列表和下载任务，访问数据源数据服务器，进行实体数据下载，并对下载数据进行质量检查、存储以及元数据项的更新。...

【技术特征摘要】

【专利技术属性】
技术研发人员：黎建辉，杨风雷，林青慧，沈志宏，胡良霖，周园春，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：11