海洋时空数据可视化界面快速定位数据的方法技术

本发明专利技术涉及一种海洋时空数据可视化界面快速定位数据的方法，包括：将风廓线仪数据进行数据预处理后存入数据库中；从数据库读取数据，将数据进行结构化存储到本地；步骤3：用制图工具将时空数据实现数据可视化；建立本地索引缓存集，根据可能出现的待查询索引，将标准数据集中的空间维度索引域进行“再归类”存储，建立索引与待取数据的映射关系；从可视化界面收到查询请求，将查询请求转化成预设格式的查询索引。

【技术实现步骤摘要】
海洋时空数据可视化界面快速定位数据的方法
海洋时空数据可视化界面快速定位数据的方法。
技术介绍
在大数据时代的背景下，各个生产领域的数据都呈海量式增长，尤其是海洋水文气象领域。面对这些海量的数据，首先要进行标准化的处理和存储，然后在特定环境下，需要将这些数据进行直观的可视化展示，这对数据重要特征的有效呈现、客观规律的揭示、科研开发效率的提高等都具有重要的意义。这样就需要在研发过程中寻找快捷、高效的数据查询方法，这样，才能有效提高可视化体验，编辑数据更加流畅、快速。以往的研发技术中，在减少与数据库交互的前提下，往往会直接遍历本地数据，来查找需要查询的数据。这种方式的查询数据有如下缺点：(1)这种查询方式在小数据量的查询中具有一定的优势，在数据量变大时，查询速度往往会明显变慢，效率低下，不能满足批量化查询的要求。(2)不利于准确定位操作者需要的指定数据。(3)浪费本地的运行资源。目前在海洋气象调查资料处理中，风廓线仪观测资料是非常重要的资料，对于研究大气边界层的风速规律有重要意义。但对于海洋气象调查资料处理系统的研究，国内外尚不完善，加上对海量数据的可视化处理要求，一套高效准确、低时延的查询方案及其资料处理系统成为当前研究的热点和难点。
技术实现思路
本专利技术的目的是提供一种海洋时空数据可视化界面快速定位数据的方法，利用数据结构化的便利性，通过指定索引快速查找特定数据，保证时空数据分析环节中的高效性和实时性，技术方案如下：一种海洋时空数据可视化界面快速定位数据的方法，包括下列步骤步骤1：将风廓线仪数据进行数据预处理后存入数据库中；步骤2：从数据库读取数据，将数据进行结构化存储到本地，即根据数据的结构特征进行加索引处理和计算处理：可视化界面可分为一维空间、二维空间、三维空间，更高维的数据往往映射到二维或者三位空间进行显示，根据特定展示环境将数据进行加索引处理，数据处理之后的格式为标准数据集格式{Si(I,D)|i＝1,2,...}，I表示空间维度索引域，D表示该时空维度下的数据域。之后将统一格式的数据保存到本地集合之中；步骤3：用制图工具将时空数据实现数据可视化，展示测点的各层数据的速度矢量情况，图形显示区域中显示的数据，速度分布以箭头的形式显示，箭头方向代表风向，箭头大小代表风速，可视化后的数据的每一列都是一个数据样本，每一行是样本数据的分项变量，变量可以是一个数据样本的特性或者在具体时空坐标下测量的物理量的集合，可视化界面为矢量剖面图，显示形式为列表形式，此时的可视化界面为数据可查询状态；步骤4：建立本地索引缓存集Q，Q∈{I}，根据可能出现的待查询索引，将标准数据集中的空间维度索引域进行“再归类”存储，建立索引与待取数据的映射关系；步骤5：从可视化界面收到查询请求，将查询请求转化成预设格式的查询索引Q(xi)；步骤6：如果本地标准数据集存在数据而索引缓存集为空，则需要进行步骤4的分类操作，根据步骤五的查询请求Q(xi)，如果当前索引缓存集中包含Q(xi)，则将其映射的数据集进行提取；步骤7：将步骤6中提取的数据集定位到当前显示列，根据数据的分量重新计算网格点上矢量箭头的颜色和偏转方向。本专利技术所提出的海洋时空数据可视化界面快速定位数据的方法充分考虑了海洋数据的多维性和海量性，以及研发可视化模块过程中与后台数据库交互操作时延性，模拟分布式存储数据思想，减少数据查询的反馈时间，优化可视化界面的用户体验。附图说明图1流程框图图2数据预处理流程框图图3数据标准文件图4数据入库图5数据展示界面图6模拟对比图7数据列表具体实施方式本专利技术的目的在于克服现有查询方式的上述不足，模拟结合分布式数据存储的数据存取高效性，并在此基础上充分考查询方式的改进方法。海洋时空数据可视化界面快速定位数据的方法，具体来说，就是模拟分布式存储思想，将本地数据进行“归类”再存储，再根据指定“索引”，在归类后的数据中批量查询指定数据，进而使得数据查询更加高效、准确，减少数据查询的反馈时间，提高可扩展性，优化可视化界面的用户体验。具体步骤如下：1、数据的质量控制及预处理数据入库之前应包括数据的质量控制及预处理模块，具体的，第一步：将原始观测数据根据预先的数据存储方案进行数据格式的转换；第二步：将转换后的数据根据标定文件进行质量控制处理；第三步：进行数据的异常值剔除、噪声干扰消除、传感器滞后订正等处理；第四步：判断数据是否合格，如果不合格返回第二、三步重新数据处理，如果合格，进行第五步；第五步：生成标准文件和数据入库。2、数据读取到内存可视化数据需要将原始数据的物理海洋要素进行计算处理，形成可展示的新变量。通过新变量数据可以更加清晰地表达数据潜在的特征和模式，可以方便观察者更好地观察数据。所以在读取到原始数据之后需要按预设规则对所有数据进行计算处理，具体的计算处理方法取决于特定海洋数据的结构特征和特定的图形展示接口。在数据处理的同时，需要根据数据处理方式进行加注索引，保证每条数据的唯一性和其他数据的关联性。3、图像绘制海洋数据展示千变万化，本方法是基于展示测点的各层数据的速度矢量情况，速度矢量为各测层数据东分量和速度北分量经过叠加后计算出来的数值。图形显示区域中显示数据处理之后的数据，速度分布以箭头的形式显示，箭头方向代表风向，箭头大小代表风速。在图形部分中，可在图形上控制要显示的测点数据，当发现某一数据不合理时，可从图形中直接删除掉该测层数据。可视化后的数据的每一列都是一个数据样本，每一行是样本数据的分项变量，变量可以是一个数据样本的特性或者在具体时空坐标下测量的物理量的集合，对网络输入样本的基本要求是每个样本具有相同的变量集。所述的可视化界面为矢量剖面图，显示形式为列表形式，所以第一步中的可视化界面维度为二维。为了提高绘制速度，可以将矢量箭头的绘制提前存入显示列表，每次在网格点上显示矢量箭头时只需显示列表就可以实现绘制。具体步骤如下：第一步：将矢量箭头的绘制存入显示列表；第二步：逐个处理网格点，根据网格点数据的分量计算出该网格点上矢量箭头的颜色和偏转方向；第三步：根据颜色和方向调用显示列表绘制矢量箭头。4、建立本地索引缓存集Q根据可能出现的待查询索引，将标准数据集中的空间维度索引域进行“再归类”存储，建立的索引映射关系为xi→yij，xi表示第i个样本，yij表示第j个样本中变量的个数。将处理的结果采用散列技术存储在一块连续的存储空间中，即哈希原理。5、返回查询请求图形界面为可视化界面，即可以对显示图形进行编辑操作，如删除样本和变量数据，高亮样本和变量数据等。当观察者进行图形元素编辑操作时，可以从前台界面传回当前测点或测点集的索引{xi|i＝1,2,...},xi∈Q。6、返回处理结果到可视化界面如果本地标准数据集存在数据而索引缓存集为空，则需要进行步骤四的分类操作。根据步骤五的查询请求Q(xi)，使用哈希表进行查询，即使用哈希函数将xi转换为对应的数组下标，并定位到该空间获取yij，如果当前索引缓存集中包含Q(xi)，则将其映射的数据集进行提取，并将提取的数据集定位到当前显示列，根据数据的分量重新计算网格点上矢量箭头的颜色和偏转方向。本文档来自技高网...

【技术保护点】
1.一种海洋时空数据可视化界面快速定位数据的方法，包括下列步骤步骤1：将风廓线仪数据进行数据预处理后存入数据库中；步骤2：从数据库读取数据，将数据进行结构化存储到本地，即根据数据的结构特征进行加索引处理和计算处理：可视化界面可分为一维空间、二维空间、三维空间，更高维的数据往往映射到二维或者三位空间进行显示，根据特定展示环境将数据进行加索引处理，数据处理之后的格式为标准数据集格式{Si(I,D)|i＝1,2,...}，I表示空间维度索引域，D表示该时空维度下的数据域。之后将统一格式的数据保存到本地集合之中；步骤3：用制图工具将时空数据实现数据可视化，展示测点的各层数据的速度矢量情况，图形显示区域中显示的数据，速度分布以箭头的形式显示，箭头方向代表风向，箭头大小代表风速，可视化后的数据的每一列都是一个数据样本，每一行是样本数据的分项变量，变量可以是一个数据样本的特性或者在具体时空坐标下测量的物理量的集合，可视化界面为矢量剖面图，显示形式为列表形式，此时的可视化界面为数据可查询状态；步骤4：建立本地索引缓存集Q，Q∈{I}，根据可能出现的待查询索引，将标准数据集中的空间维度索引域进行“再归类”存储，建立索引与待取数据的映射关系；步骤5：从可视化界面收到查询请求，将查询请求转化成预设格式的查询索引Q(xi)；步骤6：如果本地标准数据集存在数据而索引缓存集为空，则需要进行步骤4的分类操作，根据步骤五的查询请求Q(xi)，如果当前索引缓存集中包含Q(xi)，则将其映射的数据集进行提取；步骤7：将步骤6中提取的数据集定位到当前显示列，根据数据的分量重新计算网格点上矢量箭头的颜色和偏转方向。...

【技术特征摘要】
1.一种海洋时空数据可视化界面快速定位数据的方法，包括下列步骤步骤1：将风廓线仪数据进行数据预处理后存入数据库中；步骤2：从数据库读取数据，将数据进行结构化存储到本地，即根据数据的结构特征进行加索引处理和计算处理：可视化界面可分为一维空间、二维空间、三维空间，更高维的数据往往映射到二维或者三位空间进行显示，根据特定展示环境将数据进行加索引处理，数据处理之后的格式为标准数据集格式{Si(I,D)|i＝1,2,...}，I表示空间维度索引域，D表示该时空维度下的数据域。之后将统一格式的数据保存到本地集合之中；步骤3：用制图工具将时空数据实现数据可视化，展示测点的各层数据的速度矢量情况，图形显示区域中显示的数据，速度分布以箭头的形式显示，箭头方向代表风向，箭头大小代表风速，可视化后的数据的每一列...

【专利技术属性】
技术研发人员：杨嘉琛，李国君，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12