一种海洋数据采集以及元数据管理方法技术

本发明专利技术公开了一种海洋数据采集以及元数据管理方法，所述方法利用开源地理信息系统框架GeoNetwork对元数据进行管理，在使用Java程序获得海洋网站的数据后，对数据进行解析、存储至FTP并生成对应的、符合ISO19139标准的XML元数据描述文件。使用用户认证Credentials后台登陆管理员账户和XML元数据插入方法完成元数据的管理，当用户在GeoNetwork框架中查询元数据并获得其XML描述文件之后，系统通过解析XML文件在FTP服务器查询数据并返回给用户。本发明专利技术主要解决大数据智能分析与挖掘面临的关键科学与工程问题，为复杂多变的信息资源服务需求提供新思路和方法依据。

Marine data acquisition and metadata management method

The invention discloses a marine data acquisition and metadata management method, the method of using the framework of GeoNetwork geographic information system to manage the metadata, in the use of Java procedures to obtain marine site data, analysis, storage of data and generate the corresponding to FTP, ISO19139 compliant XML metadata description file. The use of user authentication Credentials background landing administrator account and XML metadata insertion method completing the metadata management, when the user in the GeoNetwork framework and the XML metadata query description file, by parsing the XML file in the FTP server to query the data and returns to the user. The invention mainly solves the key scientific and engineering problems faced by the intelligent analysis and mining of large data, and provides new ideas and methods for the service requirements of complicated and changeable information resources.

【技术实现步骤摘要】
一种海洋数据采集以及元数据管理方法
本专利技术涉及计算机
，具体涉及海洋数据的采集与元数据生成、存储和查询的方法。
技术介绍
为了了解海洋，合理利用海洋，促进海洋经济的健康、可持续性发展，需要获得大量的海洋数据。在“数字海洋”及国家海洋公益项目建设成果基础上，海洋信息化水平有了长足的发展，涉及到海洋物理、海洋生物、海洋化学、海洋气象、海洋经济、海岸带等多个研究领域。然而，不同领域数据采集的方法与设备各异，并且数据存储与处理也形式多样，主要体现在：（１）海洋数据格式多样，存在很多海洋行业专业文件格式标准；（２）不同海洋观测平台的观测设备、通信协议、数据质控及预处理方法各不相同；（３）用户需求的复杂多样性，包括海洋数据管理、海洋业务管理、海洋科学研究及海洋管理决策等；（４）已有各类海洋信息应用系统存在异构性：在国家海洋局等相关涉海业务部门，已经存在多个海洋数据管理及业务应用信息系统，这些系统面向不同业务，各自相对独立、结构各异，互操作困难。面对复杂时空网络环境下的海洋大数据，需要分析大数据处理所面对的挑战，解决大数据智能分析与挖掘面临的关键科学与工程问题，为复杂多变的信息资源服务需求提供新思路和方法依据。
技术实现思路
本专利技术提供一种数据采集、处理和元数据管理方法，利用开源地理信息系统框架GeoNetwork对元数据进行管理。在使用Java程序获得海洋网站的数据后，对数据进行解析、存储至FTP并生成对应的、符合ISO19139标准的XML元数据描述文件。使用用户认证Credentials后台登陆管理员账户和XML元数据插入方法完成元数据的管理，当用户在GeoNetwork框架中查询元数据并获得其XML描述文件之后，系统通过解析XML文件在FTP服务器查询数据并返回给用户。本专利技术主要解决大数据智能分析与挖掘面临的关键科学与工程问题，为复杂多变的信息资源服务需求提供新思路和方法依据。附图说明图1为本专利技术的网络模型图。图2为本专利技术中GeoNetwork的结构示意图。具体实施方式在此给出一个实施例，便于详细了解本专利技术的技术方案。如图1所示，展示了整个系统的数据采集、处理和元数据存储、查询过程。数据下载模块对原始数据进行采集，为数据解析模块提供有效的原数据；数据解析模块对原始数据进行切分并生成符合ISO19139标准的XML元数据描述文件；数据存储模块将XML插入GeoNetwork模块中生成元数据，将数据插入mysql进行持久化存储；数据查询模块读入用户查询到的元数据描述XML，分析XML属性生成sql语句对mysql进行查询得到数据，最后返回给用户。主要的步骤如下：（1）从海洋网站（如ftp.nodc.noaa.gov）上获取原始数据，使用对应文件格式的javaAPI进行解析。（2）根据所得到的数据的相关信息（如经纬度等），生成符合ISO19139标准的XML元数据描述文件。所述XML元数据描述文件的生成方法已有公开，本专利技术在此给出一个优选的方案，主要包括：分析ISO19139标准得到其树结构，生成XML标准文件，得到数据的相关信息（如经纬度，数据来源），根据XML标准文件生成指定数据的元数据。（3）将XML文件插入GeoNetwork框架中完成对元数据的存储。GeoNetwork元数据存储方法已有公开，本专利技术在此给出一个优选的方案，主要包括：使用用户认证Credentials后台登陆管理员账户，得到返回结果以完成登陆；使用GeoNetwork的XML元数据插入方法完成元数据存储。（4）将元数据对应的数据存入FTP服务器中进行持久化存储。（5）GeoNetwork根据请求返回元数据查询结果。（6）系统对元数据对应的数据进行FTP服务器查询并返回结果。本文档来自技高网...

【技术保护点】
一种海洋数据采集以及元数据管理方法，所述方法包括如下步骤：（1）从海洋网站上获取原始数据，使用对应文件格式的java API进行解析；（2）根据解析得到的数据的相关信息生成符合ISO19139标准的XML元数据描述文件；（3）将所述XML元数据描述文件插入GeoNetwork框架中完成对元数据的存储；（4）将所述元数据对应的数据存入FTP服务器中进行持久化存储；（5）GeoNetwork根据请求返回元数据查询结果；（6）系统对所述元数据对应的数据进行FTP文件查询并返回结果。

【技术特征摘要】
1.一种海洋数据采集以及元数据管理方法，所述方法包括如下步骤：（1）从海洋网站上获取原始数据，使用对应文件格式的javaAPI进行解析；（2）根据解析得到的数据的相关信息生成符合ISO19139标准的XML元数据描述文件；（3）将所述XML元数据描述文件插入GeoNetwork框架中完成对元数据的存储；（4）将所述元数据对应的数据存入FTP服务器中进行持久化存储；（5）GeoNetwork根据请求返回元数据查询结果；（6）系统对所述元数据对应的数据进行...

【专利技术属性】
技术研发人员：强保华，周旭康，史喜娜，张学庆，赵正健，孙忠旭，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45