一种海洋大数据云服务系统与应用方法技术方案

本发明专利技术涉及海洋大数据云服务系统技术领域，具体为一种海洋大数据云服务系统与应用方法，一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成。本发明专利技术中，使用物联网设备和传感器收集海洋数据，通过数据压缩和分布式存储来降低存储空间和传输成本，边缘计算和智能算法在边缘设备上进行数据处理分析，提高实时性，数据治理和质量控制机制通过自动化清洗和智能算法纠正数据质量问题，边缘智能和自主决策系统实时智能处理和决策，加速响应和智能化程度。加速响应和智能化程度。加速响应和智能化程度。

【技术实现步骤摘要】
一种海洋大数据云服务系统与应用方法


[0001]本专利技术涉及海洋大数据云服务系统
，尤其涉及一种海洋大数据云服务系统与应用方法。

技术介绍

[0002]云服务系统是一种基于云计算技术构建的服务平台，通过大规模数据中心和弹性计算资源，提供计算、存储、网络和应用服务。它采用虚拟化技术将物理资源虚拟化，实现资源的灵活分配和管理。云服务系统具有弹性计算能力，可以根据需求动态调整计算资源规模，确保高效的资源利用和成本控制。用户可以通过自助服务和API接口创建、配置和管理服务实例，实现自服务能力。
[0003]其中，海洋大数据云服务系统是利用云计算技术和海洋大数据处理技术相结合的系统，通过云计算的弹性、可扩展和高性能特点，为海洋领域提供数据存储、处理、分析和可视化等一系列服务。具备大规模数据存储和管理能力，确保海洋数据的安全性和可靠性。同时，利用云计算的高性能计算资源和分布式计算能力，能对海洋数据进行处理和分析。
[0004]在现有海洋大数据云服务系统中，海洋大数据的处理和分析涉及多个领域的知识和技术，包括海洋科学、数据科学、物联网等。系统的开发和部署需要跨学科的专业知识和技能，并且需要处理海洋环境的复杂性和不确定性。海洋环境的复杂性使得数据采集和准确性成为挑战。海洋设备的故障、传感器误差以及海洋条件的变化等因素可能导致数据的不准确或不完整，影响数据分析和决策的可靠性。海洋大数据通常规模庞大，存储和传输成本较高。海上设备的限制和海洋环境的不稳定性可能导致数据传输的困难和高昂的通信费用。海洋大数据中可能包含敏感信息，如航线数据、商业机密等。保护数据隐私和防止数据泄露是一个重要的挑战，特别是在数据传输和存储过程中。海洋大数据通常来自不同来源和不同类型的传感器，存在数据格式和标准的差异，导致数据互操作性的挑战。确保不同数据源之间的集成和互操作性是一个复杂的任务。随着数据规模的增长，海洋大数据的处理和分析需要具备可扩展性和高性能的系统架构。确保系统能够处理大规模数据集和高并发访问是一个重要的考虑因素。

技术实现思路

[0005]本专利技术的目的是解决现有技术中存在的缺点，而提出的一种海洋大数据云服务系统与应用方法。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；所述数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，所述数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分
布式存储子模块存储，所述数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，所述数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；所述实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，所述实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，所述流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；所述边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，所述物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；所述自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，所述自动化和智能化模块接收来自实时数据处理模块的数据，所述自动化数据清洗子模块进行数据清洗，所述智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；所述数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，所述数据治理子模块确保数据一致性和准确性，所述数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；所述边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，所述边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，所述边缘智能子模块对数据进行实时分析，所述自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；所述深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，所述深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，所述图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；所述智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，所述智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，所述用户行为分析子模块分析用户需求，所述数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。
[0007]作为本专利技术的进一步方案，所述分布式存储子模块采用HDFS实现大规模数据的分布式存储，所述HDFS将数据划分为多个块并在集群中的多个节点上进行分布存储，所述HDFS采用数据本地性原则；所述数据压缩优化子模块采用包括Gzip、Snappy、LZ4、LZW的数据压缩算法；所述数据传输子模块采用FTP文件传输协议和HTTP超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。
[0008]作为本专利技术的进一步方案，所述流式处理子模块使用具体为Apache Kafka的流处理框架，所述流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；
所述实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。
[0009]作为本专利技术的进一步方案，所述边缘设备数据处理子模块借助OpenFog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；所述物联网通信子模块利用MQTT物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。
[0010]作为本专利技术的进一步方案，所述自动化数据清洗子模块使用滤波算法对数据进行降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海洋大数据云服务系统，其特征在于：所述一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；所述数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，所述数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分布式存储子模块存储，所述数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，所述数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；所述实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，所述实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，所述流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；所述边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，所述物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；所述自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，所述自动化和智能化模块接收来自实时数据处理模块的数据，所述自动化数据清洗子模块进行数据清洗，所述智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；所述数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，所述数据治理子模块确保数据一致性和准确性，所述数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；所述边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，所述边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，所述边缘智能子模块对数据进行实时分析，所述自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；所述深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，所述深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，所述图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；所述智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，所述智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，所述用户行为分析子模块分析用户需求，所述数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。2.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述分布式存储子模块采用HDFS实现大规模数据的分布式存储，所述HDFS将数据划分为多个块并在集群中的多个节点上进行分布存储，所述HDFS采用数据本地性原则；
所述数据压缩优化子模块采用包括Gzip、Snappy、LZ4、LZW的数据压缩算法；所述数据传输子模块采用FTP文件传输协议和HTTP超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。3.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述流式处理子模块使用具体为Apache Kafka的流处理框架，所述流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；所述实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。4.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述边缘设备数据处理子模块借助OpenFog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、...

【专利技术属性】
技术研发人员：张晓杰，王冰，韩晓强，王建平，
申请(专利权)人：海南智慧海事科技有限公司，
类型：发明
国别省市：