基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统技术方案

本发明专利技术提供的基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统，属于数据处理系统领域。其包括获取海洋温盐观测数据；对观测数据进行数据预处理；对经过预处理后的观测数据进行核心模块的质量控制，依次进行基础信息检查、深度递增检查、仪器最大深度检测、局地最大深度检查、全球范围检查、海水冰点检查、等值检查、局地气候态检查、尖峰检查、极值检查、全球梯度检查、局地梯度气候态检查、以及仪器特性检查；对上述各项检查的质控结果进行标记输出；对各项质控标记输出结果进行统计；输出带有质控标记的观测数据文件。本发明专利技术用于对海洋观测的温盐数据进行质量控制，旨在为快速、低成本地提供高质量的观测数据集提供解决思路。解决思路。解决思路。

【技术实现步骤摘要】
基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统


[0001]本专利技术属于数据处理系统领域，具体是一种基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法。

技术介绍

[0002]海洋温盐观测数据的质量控制是建立高质量海洋科学数据库的基础，其对于推动海洋科学及多学科交叉研究、海洋环境预测预报、海洋灾害预警等具有重要意义。近几十年来，随着各种海洋观测技术和设备的发展、海洋调查的深度和广度不断拓展，海洋科学已进入大数据时代。数据质量控制是指通过人工审查或计算机算法辅助的方式，对海洋观测数据进行全方位的质量评估，识别和剔除因各类错情产生的虚假观测数据(异常值)，旨在为提高数据的准确性和可用性提供一种解决思路。目前，国内外对如何获得高质量的现场观测数据越来越重视；然而，由于获取数据手段多样、数据质量千差万别、数据错情类型繁多等因素，使得如何高效和精准地发现这些质量问题并对其进行质量控制是一个难点，也是数据处理中的核心技术。
[0003]目前，质量控制从质控技术方式分类上可分为自动化质控技术和(可视化)专家质控技术。其中，自动化质量控制技术一般是通过编写计算机程序，对每一条剖面的观测物理参数进行自动检查，随后对虚假数据(异常值)进行自动质控标记。而专家质控技术则是通过海洋学专家过往经验，对经过自动化质控技术处理后的数据，进行进一步的人工目视审查，这对提高数据的可用性和准确性有一定的作用。
[0004]目前海洋观测数据的质量控制系统通常采用多种类型质量控制模块来识别异常值或虚假数据，一般可分为以下几类：1)将观测数据与预先定义的全球或局地的气候态波动范围进行比较，例如气候态检查；(2)对比观测廓线的形状，例如梯度检查；3)依据不同仪器类型的特征对观测数据进行比较，例如仪器最大深度检查。这三种方法已在海洋数据质量控制领域达成共识，被广泛应用在海洋观测数据的质量控制当中。目前，对于异常值的定义暂无一个统一的标准，一些现有的技术中往往假设海洋观测数据是正态分布的，那么异常值通常被定义成超过设定的平均值的数倍标准偏差的数据点。还有一些系统会假设数据是偏态分布并采用箱型图或者是调整箱型图的方法来定义异常值，这都取得了一定的进展和成效。
[0005]在质量控制系统中，气候态检查通常被认为是质量控制系统的核心，它相比于其他检查模块而言可以识别更多错情的异常值。该检查旨在将观测到的海洋原位数据与预先构建的该地历史气候态及其波动范围进行比较，因为局地海洋观测获取到的数值通常在一个气候平均态确定的范围内波动。例如太平洋暖池的海表面温度大约在28℃上下范围内波动，并且从来不会低于15℃和高于35℃。目前，气候态检查已被广泛应用在大多数质量控制系统当中。尽管如此，现有的海洋观测数据质量控制技术存在如下的四个缺点：
[0006](1)传统的质量控制系统在检测异常值方面往往假设数据是正态分布。但实际上，
受观测数量、海洋环境变化等因素影响，海洋多源观测数据往往是偏态分布甚至是不规则分布。若假设数据仅仅是正态分布，那么将有部分异常值无法被准确识别出来。
[0007](2)传统的质控系统在构建气候态阈值(范围)时没有考虑海洋环流的流依赖，并且没有适应复杂的海洋地形条件，这导致了在一些观测数据少甚至是无观测的区域，无法准确构建该地区的历史气候态变化范围，导致质量控制的精度过低。
[0008](3)传统的自动化质量控制系统往往需要结合人工审查的方式进行数据质控，因为单一的自动化质量控制系统往往存在去伪概率(无法正确标记异常值)较低和错判概率(将正确数据错误标记成异常值)较高的情况。
[0009](4)一些传统的质量控制系统主要是通过人工检查(专家质控)的方式实现，该类型系统需要消耗大量时间、人力、财力，在成本方面消耗过高，同时该类型系统也无法适应与日俱增的海洋实时数据流和具备构建实时联动的海洋数据库的能力，在效率方面不具备时效性。

技术实现思路

[0010]本专利技术能够解决上述问题或缺陷，提供一种基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，其用于对海洋原位观测的温盐数据进行质量控制，旨在为快速、低成本地提供高质量的(实时)观测数据集提供解决思路。
[0011]为了实现上述目的，本专利技术的实施例可以这样实现：
[0012]第一方面，本专利技术实施例提供一种基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，包括：
[0013]获取观测数据；
[0014]对所述观测数据进行数据预处理，所述数据预处理包括：格式统一、单位统一、删除缺测值、以及经纬度转换；
[0015]对经过预处理后的观测数据分别进行基础信息检查、深度递增检查、仪器最大深度检查、局地最大深度检查、全球范围检查、海水冰点检查、等值检查、局地气候态检查、尖峰检查、极值检查、全球梯度检查、局地梯度气候态检查、以及仪器特性检查；
[0016]对上述各项检查的质控结果进行标记输出；
[0017]对各项质控标记输出结果进行统计；
[0018]输出带有质控标记的原始数据文件。
[0019]进一步地，在可选的实施例中，所述基础信息检查的步骤包括：
[0020]检查所述观测数据的基础信息是否在合理值区间内。若所述观测数据的某一基础信息不在预设区间内，则将所有观测数据标记为异常值。
[0021]进一步地，在可选的实施例中，所述深度递增检查的步骤包括：
[0022]检查所述观测数据的深度是否是单调递增；若所述观测数据的深度不满足单调增加，则将全部所述观测数据标记为异常值。
[0023]进一步地，在可选的实施例中，所述仪器最大深度检查的步骤包括：
[0024]检查所述观测数据的深度是否超出测量仪器所允许的最大测量深度。若所述观测数据的深度超出测量仪器所允许的最大测量深度，则将超过最大测量深度的测量值标记为异常值。
[0025]进一步地，在可选的实施例中，所述局地最大深度检查的步骤包括：
[0026]检查所述观测数据的深度是否大于该地的海底最大深度。若所述观测数据的深度大于该地的海底最大深度，则将所述观测数据中深度大于该最大深度的所有测量值标记为异常值。
[0027]进一步地，在可选的实施例中，所述全球范围检查的步骤包括：
[0028]检查所述观测数据中廓线观测值是否在随深度变化的预设范围内。若所述观测数据中廓线观测值超出随深度变化的预设范围，则将超过预设范围的观测值标记为异常值。
[0029]进一步地，在可选的实施例中，所述海水冰点检查的步骤包括：
[0030]检查所述观测数据中的温度观测值是否低于当地的海水冰点温度。若所述观测数据中的温度观测值低于当地的海水冰点温度，则将所述观测数据中低于含税冰点温度的观测值标记为异常值。
[0031]进一步地，在可选的实施例中，所述等值检查的步骤包括：
[0032]检查所述观测数据中廓线的观测值在预设深度范围内是否完全相同。若在所述预设深度范围内出现多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，其特征在于，包括：获取观测数据；对所述观测数据进行数据预处理，所述数据预处理包括：格式统一、单位统一、删除缺测值、以及经纬度转换；对经过预处理后的观测数据分别进行基础信息检查、深度递增检查、仪器最大深度检查、局地最大深度检查、全球范围检查、海水冰点检查、等值检查、局地气候态检查、尖峰检查、极值检查、全球梯度检查、局地梯度气候态检查、以及仪器特性检查；对上述各项检查的质控结果进行标记输出；对各项质控标记输出结果进行统计；输出带有质控标记的原始数据文件。2.根据权利要求1所述的基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，其特征在于，所述局地气候态检查的步骤包括：将所述观测数据与预先构建的该地大量历史观测值及其波动范围或波动阈值进行比对；若某一深度的观测值超过设定的局地平均气候态范围阈值，则将该观测值标记为异常值。3.根据权利要求1所述的基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，其特征在于，所述全球梯度检查的步骤包括：检查相邻的两个深度对应的观测值的垂直梯度是否超出了一定范围；当计算得到的垂直梯度落在设定的阈值范围之外时，相邻的两个观测值都将被标记为异常值。4.根据权利要求1所述的基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，其特征在于，所述局地梯度气候态检查的步骤包括：将观测数据计算得到的垂直梯度数据与预先构建的该地大量历史梯度观测平均值及其波动范围进行比对；若某一深度的观测的对应梯度值超过设定的局地月平均梯度气候态范围阈值，则将该观测值标记为异常值。5.根据权利要求1所述的基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法，其特征在于，所述仪器特性检查的步骤包括：依据观测仪器类型的特征，检查因数据采集过程中遇到的特定问题而造成的错误数值；如果检测到观测数据与仪器特有的问题相关，...

【专利技术属性】
技术研发人员：成里京，谭哲韬，张斌，朱江，
申请(专利权)人：中国科学院海洋研究所，
类型：发明
国别省市：