基于超算的云边协同高通量海洋数据智能处理方法及系统技术方案

本发明专利技术涉及流式数据智能处理技术领域，提供了基于超算的云边协同高通量海洋数据智能处理方法及系统，包括基于历史海洋观测数据构建每个海洋观测数据流的初始海洋数据智能处理模型；实时获取每个海洋观测数据流的数据并进行预处理；基于预处理后的每个海洋观测数据流数据，对相应的初始海洋数据智能处理模型进行实时迭代训练更新，得到每个海洋观测数据流的最新海洋数据智能处理模型，保存在模型版本库中；通过调用每个海洋观测数据流的最新海洋数据智能处理模型对每个海洋观测数据流中不断流入的数据进行实时推理与预测；将超算训练优化后的模型推送到边缘端，在边缘端进行模型更新，并进行具体推理应用，从而避免了数据远程传输，降低了延迟。降低了延迟。降低了延迟。

【技术实现步骤摘要】
基于超算的云边协同高通量海洋数据智能处理方法及系统


[0001]本专利技术属于流式数据智能处理
，具体涉及一种基于超算的云边协同高通量海洋数据智能处理方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着物联网、大数据、人工智能的发展，越来越多的海洋观/监测网统被搭建起来，并发挥着日益重要的作用。海洋观/监测网形成了大量数据流，具有显著的“高通量”特征，此外每个数据流的数据分布随时间不断变化，呈现出“不平稳”特征。海洋数据智能处理可分为两类：一类是数据本身质量控制，传感器本身质量问题、传感器工作环境复杂性及传输网络可靠性等问题导致物联网数据异常频发，如数据漂移、数据缺失、数据失真等，物联网采集的数据质量已成为制约海洋数据深度应用、人工智能发挥作用的关键性问题，通过流式数据异常分析，可及时发现异常并进行应对，从而提升数据本身质量；另一类是数据综合分析应用，数据本身质量没问题，但借助流式数据异常分析可识别数据模式异常，从而发现一些海洋现象异常事件。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于超算的云边协同高通量海洋数据智能处理方法，其特征在于，包括：基于历史海洋观测数据构建每个海洋观测数据流的初始海洋数据智能处理模型；实时获取每个海洋观测数据流的数据并进行预处理；基于预处理后的每个海洋观测数据流的数据，对相应的初始海洋数据智能处理模型进行实时迭代训练更新，得到每个海洋观测数据流的最新海洋数据智能处理模型，保存在模型版本库中；通过调用每个海洋观测数据流的最新海洋数据智能处理模型对每个海洋观测数据流中不断流入的数据进行实时推理与预测。2.如权利要求1所述的基于超算的云边协同高通量海洋数据智能处理方法，其特征在于，所述基于历史海洋观测数据构建初始海洋数据智能处理模型，包括：从海洋观测系统获取历史海洋观测数据；对获取的历史海洋观测数据进行格式转换、校验预处理操作；将预处理后的历史海洋观测数据保存到原始数据库；基于历史海洋观测数据，为每个数据流训练初始海洋数据智能处理模型。3.如权利要求2所述的基于超算的云边协同高通量海洋数据智能处理方法，其特征在于，将历史海洋观测数据保存到原始数据库采用分路分级数据存储方法，具体为：为每路数据创建创建4个文件
‑‑“
天”文件、“月”文件、“年”文件、全量文件，分别存储1天、1月、1年、全量数据；命名规则为“<数据流id>+YYYYMMDD.dat”，其中<数据流id>是每个数据流的编号，YYYY为4位年标识，MM为2位月标识，DD为2位日期。4.如权利要求1所述的基于超算的云边协同高通量海洋数据智能处理方法，其特征在于，还包括：对实时推理与预测结果进行存储，存储到推理结果库中；调取原始数据库、模型版本库以及推理结果库并进行展示。5.如权利要求1所述的基于超算的云边协同高通量海洋数据智能处理方法，其特征在于，所述每个海洋观测数据流的最新海洋数据智能处理模型，保存在模型版本库中，具体为：以文件的方式保存到模型版库中；文件命名规则为“<数据流id>+<时间戳>.dat”，其中&am...

【专利技术属性】
技术研发人员：王英龙，杨美红，赵志刚，李响，王春晓，武鲁，吴晓明，霍吉东，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：