一种基于分布式技术的气象大数据共享服务系统技术方案

本发明专利技术提出了一种基于分布式技术的气象大数据共享服务系统，该系统包括：收集模块，用于收集传感器中获取的气象数据；处理模块，用于对收集的气象数据进行处理，获取高质量气象数据，高质量气象数据包括基础数据、重点数据和受限数据；管理模块，用于对气象数据进行入库以及确认用户后分发数据，在气象数据入库时将基础数据采用HBase分布式数据库和分块压缩技术进行存储，将重点数据和受限数据采用关系数据库进行存储；监控模块，用于对高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息。本发明专利技术能够提高数据存储和处理效率，增强了数据储存的安全性能，增强了数据共享和交换能力，提高了对气象数据的分析和应用能力。能力。能力。

【技术实现步骤摘要】
一种基于分布式技术的气象大数据共享服务系统


[0001]本专利技术涉及气象数据
，具体而言，涉及一种基于分布式技术的气象大数据共享服务系统。

技术介绍

[0002]随着气象业务的不断拓展以及数据量的不断增加，且由于GPFS（General Pages Federation of Streets 城市气象数据分布式存储系统）动态扩展能力较弱、Oracle RAC（Redundant Configuration of Carbon Substitute 实时应用集群）数据库节点较少、硬件设备陈旧等诸多原因，导致现有CIMISS（China Integrated Meteorological Information Service System 全国综合气象信息共享平台）无法较好满足气象服务对数据的敏捷性要求，特别是在长序列历史资料的影响上面。因此，对气象业务，诸如天气过程回溯分析、气候预测等支撑能力不足，数据的响应速度和存储能力，已无法满足现有的数据服务要求。
[0003]因此，需要一种基于分布式技术的气象大数据共享服务系统用以解决传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式技术的气象大数据共享服务系统，其特征在于，包括：收集模块，用于收集传感器中获取的气象数据；处理模块，用于对收集的气象数据进行处理，获取高质量气象数据，所述高质量气象数据包括基础数据、重点数据和受限数据；管理模块，用于对所述高质量气象数据进行入库以及确认用户后分发数据，在气象数据入库时将所述基础数据采用HBase分布式数据库和分块压缩技术进行存储，将所述重点数据和受限数据采用关系数据库进行存储；监控模块，用于对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息。2.根据权利要求1所述的基于分布式技术的气象大数据共享服务系统，其特征在于，所述对收集的气象数据进行处理，获取高质量气象数据，包括：所述处理模块还用于剔除所述气象数据中重复数据；所述处理模块还用于将剔除重复数据后的数据与预先设定的第一规则进行对比；若满足所述第一规则，则将数据划分为重点数据；若不满足所述第一规则，则将数据与预先设定的第二规则进行对比；若满足所述第二规则，则将数据划分为受限数据；若不满足所述第二规则，则将数据划分为基础数据。3.根据权利要求2所述的基于分布式技术的气象大数据共享服务系统，其特征在于，对所述高质量气象数据进行入库以及确认用户后分发数据，包括：预先设定第一数据库集群、第二数据库集群、第三数据库集群；所述管理模块用于将所述基础数据存储在所述第一数据库集群，将所述重点数据存储在所述第二数据库集群，将所述受限数据存储在所述第三数据库集群；所述管理模块还用于预先设定用户访问等级为第一等级、第二等级和第三等级，并且所述第一等级只能获取所述第一数据库集群中信息，所述第二等级只能获取所述第一数据库集群和第二数据库集群中的信息，所述第三等级能够获取所述第一数据库集群、第二数据库集群和第三数据库集群中信息。4.根据权利要求3所述的基于分布式技术的气象大数据共享服务系统，其特征在于，所述管理模块还用于气象数据分发时对用户进行验证，包括：获取用户登录信息并与存留信息进行对比；若一致，同意用户访问并验证所述用户访问等级；若不一致，拒绝用户访问；所述同意用户访问并验证所述用户访问等级包括：所述第一等级、第二等级和第三等级分别对应权限密码，所述管理模块用于验证所述权限密码；当首次验证权限密码通过时，允许用户以原用户访问等级访问对应数据库集群中100%的信息；当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道。5.根据权利要求4所述的基于分布式技术的气象大数据共享服务系统，其特征在于，当
首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道，包括：首次验证权限密码不通过时，若用户原用户访问等级为第二等级和第三等级，则将用户访问等级分别临时降低为第一等级和第二等级，且只能访问对应数据库集群中50%的信息，并开启二次验证通道；若用户原用户访问等级为第一等级，则临时限制只能访问对应数据库集群中50%的信息，并开启二次验证通道；当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；当二次验证不通过，拒绝用户访问数据库中内容，并拒绝用户在第一预设时间内再次登录。6.根据权利要求5所述的基于分布式技术的气象大数据共享服务系统，其特征在于，当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道，包括：当安全验证通过时，则允许用户以原用户访问等级访问对应数据库集群中100%的信息；当验证不通过时，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息；若用户原用户访问等级为第一等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息。7.根据权利要求1所述的基于分布式技术的气象大数据共享服务系统，其特征在于，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息...

【专利技术属性】
技术研发人员：张洪泰，白艳秋，郭培贤，张伟，朱辉，彭渊，侯锦凯，
申请(专利权)人：太极计算机股份有限公司，
类型：发明
国别省市：