【技术实现步骤摘要】
本专利技术涉及海洋信息，更具体的说是涉及一种基于相邻站点时空关联的海洋观测数据异常检测方法。
技术介绍
1、海洋环境观测数据的长期连续性、实时性使其成为研究海洋现象的重要数据基础，但是由于观测设备受人为和非人为因素，以及站址变迁、平台漂移、仪器变更、观测时次/计算方法变更等影响，导致观测数据有时存在一定的偏差，因此，需要科研人员对数据质量进行把关，对异常值进行标识。同时，随着海洋观测仪器的技术发展，海洋观测数据种类和数据量极速增长，面对来源多样、格式不一、数据巨大的多源观测数据，对其及时有效的开展数据质量控制是海洋处理者面临的重大挑战。
2、目前国内传统质量控制方法主要包括日期合理性检验、登陆点检验、范围检验、相关性检验和递增性检验等，传统方法虽然能识别部分异常数据，但是对海量数据处理效率较低、异常检测耗时较长，且传统质量控制方法未考虑相邻海洋站点间、海洋要素间的时空关联关系。随着大数据技术的发展，机器学习技术擅长在海量的观测数据中寻找要素间潜在的规律，国内一些学者提出并尝试采用关联规则、数据挖掘方法开展海洋观测数据的异常检测，例如采用持向量机算法开展海洋站多要素数据质控，基于兴趣度模型的关联规则挖掘算法对海洋漂流浮标数据进行质控等。但是以上方法均为加入相邻站点空间相关特性作为海洋站点观测要素异常检测影响因素，同时未考虑多要素间的时间维度数据关联性，检测准确性有待提升。
技术实现思路
1、有鉴于此，本专利技术提供至少解决上述部分技术问题的一种基于相邻站点时空关联的海洋观
2、为实现上述目的，本专利技术采取的技术方案为：
3、本专利技术实施例提供一种基于相邻站点时空关联的海洋观测数据异常检测方法，该方法包括以下步骤：
4、s1、构建海洋观测标准数据集，利用注意力机制方法自适应捕捉空间维度中所有邻居站点之间的动态关联性，采用滑动时间窗口机制，形成由多海洋观测要素构成的多维长时间序列数据集，并划分为训练样本和测试样本；
5、s2、基于pytorch深度学习搭建异常检测模型，初步设置模型训练参数，开展模型训练，利用模型的lstm网络和变分自编码器vae获取每个训练样本的异常分数，确定异常分数的阈值；
6、s3、填补测试样本空缺数据，测试数据输入异常检测模型，得到异常分数，判定异常点，确定具体异常要素并标记，进行各个海洋观测要素性能检验评估。
7、可选的，所述步骤s1具体包括：
8、s11、观测数据标准化处理：通过传感器采集获得的时间连续的多个海洋观测要素值，对其进行归一化处理，消除各变量量纲差异，构建海洋观测标准数据集；
9、s12、空间信息提取：按照时间序列利用注意力机制方法自适应捕捉空间维度中所有邻居站点之间的动态关联性，提取有效信息，为相邻站点设置不同的影响权重；
10、s13、滑动时间窗口信息提取：从待检测海洋站的观测标准数据集中选取长度为w的时间窗口，构造出多海洋观测要素组成的多维长时间序列数据集；
11、s14、数据集划分：采用留出法对相邻站点多维长时间序列数据集按照时间序列的顺序进行数据集划分，按照预设比例划分训练样本和测试样本。
12、可选的，所述步骤s2具体包括：
13、s21、搭建模型：基于pytorch深度学习框架搭建异常检测模型，模型包括lstm网络和变分自编码器vae；lstm网络用于提取样本中不同时间序列之间的时序依赖关系，将lstm网络的输出作为变分自编码器vae的输入，变分自编码器vae用于将输入数据映射为随机变量，对输入的样本进行概率重构，获得异常分数；
14、s22、设置模型参数：选取损失函数和优化器，通过设置时间窗口、迭代次数、批处理大小和学习率，使用随机梯度下降对模型参数进行更新；
15、s23、模型训练：将步骤s1中的训练样本作为模型输入，对建立的异常检测模型进行训练，不断优化模型，当损失函数降到最低，保存模型参数；
16、s24、阈值选择：经过模型训练得到每个样本的异常分数，所有的异常分数形成一个单变量时间序列，根据极值理论自动对阈值进行选择。
17、可选的，所述步骤s3具体包括：
18、s31、空缺数据填补：利用马尔卡夫蒙特卡洛算法补全测试样本中缺失的数据；
19、s32、异常点判定：将测试样本送入异常检测模型获得异常分数，根据异常分数的阈值，进行异常点判定；
20、s33、异常要素标记：将每个海洋观测要素的异常分数进行归一化，根据预设规则进行异常要素标记；
21、s34、检验评估：利用多项指标对各个海洋观测要素独立计算检测性能，对模型结果进行评估。
22、可选的，海洋观测要素包括：表层水温、表层盐度、气温、气压、相对湿度、风速和风向。
23、可选的，所述步骤s12中，按照时间序列利用注意力机制方法自适应捕捉空间维度中所有邻居站点之间的动态关联性；其输入为检测站点和邻居站点的观测数据集合，输出为根据注意力权重加权求和得到的空间编码；空间编码的计算公式包括：
24、ri(t)＝ai(t)+ci(t)
25、
26、
27、式中，ri(t)表示t时刻检测站点i的空间编码，包含空间相关性特征信息，为异常检测提供时间维度上的有效信息；ai(t)表示在t时刻检测站点i观测到的原始的观测数据；ci(t)表示所有邻居站点注意力权重加权之和；wj表示邻居站点j的注意力权重；bi,j(t)表示在t时刻检测站点i的第j个邻居站点的value向量；n表示邻居站点的数目；q表示查询向量；kj表示第j邻居站点的key向量；kz表示第z邻居站点的key向量；d是注意力评分函数。
28、可选的，所述步骤s22中，损失函数选取均方根误差函数，优化器选取adam优化器。
29、可选的，所述步骤s34中，多项指标包括：准确率、查准率、查全率和f1分数。
30、与现有技术相比，本专利技术至少具有如下有益效果：
31、1.本专利技术提供了一种基于相邻站点时空关联的海洋观测数据异常检测方法，针对现有海洋数据异常检测技术所存在的检测效率低、人工标注代价高昂的问题，综合考虑海洋观测站点之间时空关联关系，利用深度学习方法，无需人工干预，可以快速准确的对海洋实时观测数据要素信息进行异常值检测。
32、2.本专利技术提供的一种基于相邻站点时空关联的海洋观测数据异常检测方法，针对海洋多站点间要素存在时空关联的现象，结合注意力自适应机制捕捉空间维度中所有邻居站点之间的动态关联性，同时利用lstm网络提取海洋观测要素中不同时间序列之间的时序依赖关系，能够实现海洋观测要素异常值的高效精准判定。本专利技术有效提高了海洋观测要素异常值检出的速度和本文档来自技高网...
【技术保护点】
1.一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤S1具体包括：
3.根据权利要求2所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤S2具体包括：
4.根据权利要求3所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤S3具体包括：
5.根据权利要求1或4所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，海洋观测要素包括：表层水温、表层盐度、气温、气压、相对湿度、风速和风向。
6.根据权利要求2所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤S12中，按照时间序列利用注意力机制方法自适应捕捉空间维度中所有邻居站点之间的动态关联性；其输入为检测站点和邻居站点的观测数据集合，输出为根据注意力权重加权求和得到的空间编码；空间编码的计算公式包括：
7.根据权利要求3所述的一种基于
8.根据权利要求4所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤S34中，多项指标包括：准确率、查准率、查全率和F1分数。
...【技术特征摘要】
1.一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤s1具体包括：
3.根据权利要求2所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤s2具体包括：
4.根据权利要求3所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，所述步骤s3具体包括：
5.根据权利要求1或4所述的一种基于相邻站点时空关联的海洋观测数据异常检测方法，其特征在于，海洋观测要素包括：表层水温、表层盐度、气温、气压、相对湿度、风速和风向。
...【专利技术属性】
技术研发人员：宋晓，刘玉龙，徐珊珊，岳心阳，苗庆生，杨杨，郑兵，韦广昊，丁峰，李维禄，
申请(专利权)人：国家海洋信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。