一种基于MySQL数据库的海洋数据管理与可视化系统和方法技术方案

本发明专利技术公开了一种基于MySQL数据库的海洋数据管理与可视化系统和方法，针对海洋数据的特点及现有技术在海洋数据存储、管理和显示方面的缺陷，本发明专利技术提出了基于MySQL的海洋数据自适应存储方法及海洋数据可视化方法，可实现了基于全球地形图的实验数据自适应存储，依据设定条件进行检索并进行电子海图上显示和按照数据类型的可视化，并按照需求与其他服务器进行实验数据与指令的通信。

【技术实现步骤摘要】
一种基于MySQL数据库的海洋数据管理与可视化系统和方法
本申请属于海洋数据管理与可视化领域，具体涉及一种基于MySQL数据库的海洋数据管理与可视化系统和方法。
技术介绍
海洋实验科学中，实验数据的管理经历了从人工管理、文件管理到数据库管理的阶段。海洋数据包括环境数据和实验采集数据，具有多来源、大规模、时空依赖、同源异构等特点。普通的数据库存储方式中，当前基于MongoDB的非关系型数据库在单一或较少类型的大规模海洋数据的存储中可以提高读写速度，增强web开发中的扩展性；但对于更多种类的海洋数据，非关系型数据库本身不适用于海量数据的持久性存储及较复杂的查询，因此，对于持久性存储及适用于跨类型实验分析调取数据的海洋数据存储需要，仍然应当选择以MySQL为代表的关系型数据库。针对海洋数据所具有的上述特点，需要基于MySQL的海洋数据组织方案，其重点与难点在于：在持久存储的基础上提高读写效率；建立一体化数据格式存储方案，避免检索、可视化时对多字段进行联合检索导致的速度降低；根据导入海洋数据文件的类型、大小、基础信息进行自适应地垂直切分与水平切分。可视化技术对于海洋数据进行直观呈现，常见的可视化技术主要包括:通过柱状图、饼状图、折线图等对数据的数量、占比或变化趋势进行表示；通过模型或实景对现实数据进行建模模拟。基于海洋数据的强时空依赖性，普通的折线图等方式可提供部分实验数据的分析流程，但无法体现海洋数据的空间特性及其依赖于时间变化的过程性。在此基础上，当前的海洋GIS类软件，对可视化的设置较为单一，缺少联合显示功能；多视角显示功能多用于所述模型或实景建模模拟，缺少反映其数据特性时的多视角功能；缺少反映其过程性的动态功能。
技术实现思路
针对目前
存在的不足及实践需要，本申请提供了一种基于MySQL数据库的海洋数据管理与可视化系统和方法。本专利技术首先提供了一种基于MySQL数据库的海洋数据管理与可视化系统，其包括：海洋数据索引库，其用于存储海洋数据索引信息；海洋数据库，其将海洋数据进行三维编码，并在相应的分库与数据表中进行海洋数据存储；数据接口，其包括用于获取本地数据文件的本地接口和用于与服务器进行数据传输的远程接口；检索模块，其包括索引查询单元和海洋数据查询单元；其中，索引查询单元用于根据待查询的索引信息向海洋数据索引库中查找是否存在对应的索引信息，所述海洋数据查询单元根据用户输入的查询信息在海洋数据库中检索相应的数据内容；数据导入模块，其获取数据接口接收的本地数据文件或服务器数据文件；对数据进行分析，获取数据文件对应的索引信息，调用检索模块对海洋数据索引库进行查询，根据索引查询结果将数据存储至海洋数据库，或在海洋数据库中新建数据表进行数据文件的存储；在所述数据导入模块存储完数据文件后，所述海洋数据索引库更新索引条目；可视化模块，所述可视化模块包括可视化交互单元，所述可视化交互单元根据用户输入的检索条件和显示类型调用检索模块得到符合条件的数据内容，并通过可视化交互单元进行数据的可视化显示；数据传输模块，所述数据传输模块通过远程接口获取远程数据文件，或者向外传输本地数据文件。优选的，所述海洋数据库根据数据的地理位置划分为若干地域子库，每个地域子库又按数据年份划分为若干年份子库，每个年份子库按数字编号划分为若干分库，每个分库具有一张信息表，每个分库包含多个数据表。本专利技术还提供了一种所述系统的海洋数据管理与可视化方法，所述方法可实现海洋数据的存储、可视化和数据传递；所述海洋数据的存储包括如下步骤：1.1)数据接口接收导入的本地数据文件或远程数据文件，数据导入模块对获取的数据文件进行分析，获取数据文件对应的索引信息，1.2)检索模块根据索引信息在海洋数据索引库进行查询，若检索到有对应的索引信息，则进入步骤1.4)；若没有检索到有对应的索引信息，则进入步骤1.3)；1.3)在海洋数据库中根据索引信息新建分库，在分库中创建信息表，所述信息表用于记录分库中包含的数据表和存储的数据信息；并进入步骤1.4)1.4)查询分库中的信息表，若分库中已有的数据表可以匹配要存储的数据文件的数据类型和时间信息，则将数据内容存储到对应的数据表中；若无法匹配，则新建数据表进行数据内容的存储；1.5)根据上述步骤所确定的信息，将每行数据的数据类型代码、区域代码、年月日、所在行数进行组合，生成数据编码，所述数据编码为每行数据具有唯一的数据编码，数据编码作为数据表中的主键索引，可唯一地确定数据所存储的位置；1.6)根据数据的存储情况，海洋数据索引库更新索引条目；所述海洋数据的可视化包括如下步骤：2.1)可视化交互单元获取用户的检索条件，并调用检索模块首先查询海洋数据索引库，获取符合条件的数据库信息；2.2)可视化交互单元将符合条件的数据库信息在电子海图中进行显示；2.3)当用户输入细化检索条件时，所述可视化交互单元根据细化检索条件生成数据文件的编码范围，从符合步骤2.1)条件的数据库中查找符合编码范围的数据文件；可视化交互单元获取数据文件，并按数据类型进行可视化显示；2.4)对于需显示的临时数据文件，数据接口获取该临时数据文件及其类型信息，根据其索引信息和数据类型信息，直接在电子海图中相应的位置进行可视化显示。所述海洋数据，即为海洋实验过程数据，包括：声场建模实验、深海声层析实验、海底声学成像实验、声场数据耦合同化实验、深海中尺度过程检测实验、PIES深海动力学参数反演实验的输入数据及输出数据。所述海洋实验过程数据包括数据头，所述的数据头包括参数类型及长度、数据内容长度信息，所述参数类型包括：以IP地址和端口号表征的发送地址和接收地址、数据类型、数据内容长度、校验和。优选的，基于TCP/IP协议实现所述海洋实验过程数据和指令的传递。本专利技术的有益效果是：结合海洋数据的结构特点，进行分库和分表，相较于普通的存储方式，依据海洋数据的结构特点，通过数据中获取的时间信息、空间信息、类型信息等对数据存储内容进行自适应划分；将所述信息进行三维编码，与在数据表中存储的位置进行结合生成的三维编码方案，作为数据在整个系统中的唯一标识。基于此，在检索过程中可根据检索条件进行编码生成，从而避免了多条件下在多表中的联合查找及可能产生的检索结构复杂等，提高了检索效率。提供了时间维动态显示方案和二三维结合显示方案，建立了显示数据和观察视角坐标体系的联系，提供了多维度观察视角。附图说明图1为本专利技术基于MySQL数据库的海洋数据管理与可视化系统的系统框图。图2为本专利技术的数据文件存储的流程示意图；图3为本专利技术系统的海洋数据的可视化流程示意图；图4为本专利技术可视化交互单元的操作界面示意图；图5为本专利技术数据库操作面板示意图；图6为本专利技术历史数据回放功能操作面板示意图。具体实施方式下面本文档来自技高网...

【技术保护点】
1.一种基于MySQL数据库的海洋数据管理与可视化系统，其特征在于，包括：/n海洋数据索引库，其用于存储海洋数据索引信息；/n海洋数据库，其将海洋数据进行三维编码，并在相应的分库与数据表中进行海洋数据存储；/n数据接口，其包括用于获取本地数据文件的本地接口和用于与服务器进行数据传输的远程接口；/n检索模块，其包括索引查询单元和海洋数据查询单元；其中，索引查询单元用于根据待查询的索引信息向海洋数据索引库中查找是否存在对应的索引信息，所述海洋数据查询单元根据用户输入的查询信息在海洋数据库中检索相应的数据内容；/n数据导入模块，其获取数据接口接收的本地数据文件或服务器数据文件；对数据进行分析，获取数据文件对应的索引信息，调用检索模块对海洋数据索引库进行查询，根据索引查询结果将数据存储至海洋数据库，或在海洋数据库中新建数据表进行数据文件的存储；在所述数据导入模块存储完数据文件后，所述海洋数据索引库更新索引条目；/n可视化模块，所述可视化模块包括可视化交互单元，所述可视化交互单元根据用户输入的检索条件和显示类型调用检索模块得到符合条件的数据内容，并通过可视化交互单元进行数据的可视化显示；/n数据传输模块，所述数据传输模块通过远程接口获取远程数据文件，或者向外传输本地数据文件。/n...

【技术特征摘要】
1.一种基于MySQL数据库的海洋数据管理与可视化系统，其特征在于，包括：
海洋数据索引库，其用于存储海洋数据索引信息；
海洋数据库，其将海洋数据进行三维编码，并在相应的分库与数据表中进行海洋数据存储；
数据接口，其包括用于获取本地数据文件的本地接口和用于与服务器进行数据传输的远程接口；
检索模块，其包括索引查询单元和海洋数据查询单元；其中，索引查询单元用于根据待查询的索引信息向海洋数据索引库中查找是否存在对应的索引信息，所述海洋数据查询单元根据用户输入的查询信息在海洋数据库中检索相应的数据内容；
数据导入模块，其获取数据接口接收的本地数据文件或服务器数据文件；对数据进行分析，获取数据文件对应的索引信息，调用检索模块对海洋数据索引库进行查询，根据索引查询结果将数据存储至海洋数据库，或在海洋数据库中新建数据表进行数据文件的存储；在所述数据导入模块存储完数据文件后，所述海洋数据索引库更新索引条目；
可视化模块，所述可视化模块包括可视化交互单元，所述可视化交互单元根据用户输入的检索条件和显示类型调用检索模块得到符合条件的数据内容，并通过可视化交互单元进行数据的可视化显示；
数据传输模块，所述数据传输模块通过远程接口获取远程数据文件，或者向外传输本地数据文件。


2.根据权利要求1所述的基于MySQL数据库的海洋数据管理与可视化系统，其特征在于，所述海洋数据索引库的索引信息包括经纬度、区域代码、数据库名称、数据类型、数据数量。


3.根据权利要求1所述的基于MySQL数据库的海洋数据管理与可视化系统，其特征在于，所述海洋数据库根据数据的地理位置划分为若干地域子库，每个地域子库又按数据年份划分为若干年份子库，每个年份子库按数字编号划分为若干分库，每个分库具有一张信息表，每个分库包含多个数据表。


4.根据权利要求1所述的基于MySQL数据库的海洋数据管理与可视化系统，其特征在于，所述信息表记录的信息包括分库中包含的数据的数据类型、数据表名称、当前数据类型的数据表结构数量、当前数据类型可显示类型、数据表当前存储行数、数据表最大存储行数、是否已达到最大行数标志位。


5.根据权利要求1所述的基于MySQL数据库的海洋数据管理与可视化系统，其特征在于，所述数据表用于记录数据内容，每个数据表以数据类型、月日、编号、表结构类型进行命名和区分，其中，数据类型用于记录数据表中存储数据的类型，月日为数据采集或获取的具体时间，编号为阿拉伯数字，用于表示数据表在分库中的序号，表结构类型用于显示当同一数据由多张数据表存储时的表间信息。


6.一种如权利要求1所述系统的海洋数据管理与可视化方法，其特征在于，所述方法可实现海洋数据的存储、可视化和数据传递；
所述海洋数据的存储包括如下步骤：
1.1)数据接口接收导入的本地数据文件或远程数据文件，数据导入模块对获取的数据文件进行分析，获取数据文件对应的索引信息，

【专利技术属性】
技术研发人员：董晨语，赵航芳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33