一种面向海洋大数据集群的日志存储方法及系统技术方案

本发明专利技术公开了一种面向海洋大数据集群的日志存储方法及系统，方法包括：获取与海洋大数据集群相关联的本地日志，通过解析获取关键数据，关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；对本地日志中的每条日志进行分析，以确定每条日志的存储类型；为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；接收针对于日志的查询请求，确定查询请求所涉及的日志的类型。

A Log Storage Method and System for Large Ocean Data Cluster

The invention discloses a log storage method and system for large ocean data sets. The method includes: acquiring local logs associated with large ocean data sets, obtaining key data by parsing, and key data including server operation status and resource utilization, current task implementation of the server, server historical task implementation, and alarm information text or Number of logs; Analyse each log in the local log to determine the storage type of each log; Set a deletion deadline for each deleted log, and delete the log that still meets the deletion criteria when the deletion deadline expires; Set a compression processing cycle, and compress the log storage system whenever the running time of the log storage system reaches the compression processing cycle. Each log is compressed, and the compressed log is moved to the historical storage area of the log storage system; query requests for the log are received and the types of logs involved in the query requests are determined.

【技术实现步骤摘要】
一种面向海洋大数据集群的日志存储方法及系统
本专利技术涉及海洋大数据管理
，更具体地，涉及一种面向海洋大数据集群的日志存储方法及系统。
技术介绍
近年来，国家将对海洋的研究开发利用和保护放在越来越重要的位置上，将海洋科技纳入国家发展战略，只有更好地了解海洋，才能更合理地开发利用海洋，才能更好地保护海洋。不过随着研究的深入，我们越来越清楚地认识到海洋之大，海洋之博，在这个研究过程之中，产生越来越多的数据，为了更好的存储数据，更快的计算数据，更便利的展示数据，就必然要结合当下比较流行的大数据技术，使用大数据技术来协助相关的研究工作。使用大数据技术，需要部署和维护用于处理大数据任务的服务器集群(简称大数据集群)，并通过集群管理软件分发任务、监控资源使用情况，通过集群服务器的协同工作，提高效率，就像我们的海洋大数据集群就是一个这样的服务器集群。在海洋大数据集群的管理和使用过程中，如何获取和维护整个集群的海量监控数据是一个不可避免的难题。同时，同一服务器上存在监控数据重复采集的问题，这从长远来看，造成了巨大的资源浪费。海洋大数据集群的监控数据主要记录了集群中所有的服务器运行状态，具体包括服务器工作日志、服务器资源使用量监控数据、任务完成情况监控数据等几个部分。这些监控数据有不同的特征，根据其特征被分布在工作服务器或集中式任务调度节点上。海洋大数据集群由相关主节点，以及大量的工作节点构成。运行状态监控数据记录了集群中所有服务器的实时运行情况，多由主节点采集和存储。服务器工作日志记录了服务器执行任务的详细信息，包含了程序级的调试数据、警告数据、错误数据等输出，多为文本形式且数据量较大，因此通常存放在服务器本地磁盘；在需要做日志分析的时候，日志分析工作通常也在服务器本地完成。服务器资源使用量监控数据记录了服务器的CPU、内存、磁盘、网络等主要资源的实时用量，为任务资源申请和调度提供依据。任务完成情况监控数据记录了某项大数据处理任务在工作节点的工作状态。综上所述，海洋大数据集群的监控数据表现多元化，其来源、数据量、数据语义各不相同，某些数据反映集群的长期工作状态，对其存储和处理具有重要的意义；而其他一些数据的价值较低，长期存放和处理的性价比不高。本专利技术技术方案提供一种面向海洋大数据集群的日志存储方法，以实现对海洋大数据集群的日志进行存储的问题。
技术实现思路
本专利技术技术方案提供了一种面向海洋大数据集群的日志存储方法及系统，以解决如何对海洋大数据集群的日志进行存储的问题。为了解决上述问题，本专利技术提供了一种面向海洋大数据集群的日志存储方法，所述方法包括：获取与海洋大数据集群相关联的本地日志，对所述本地日志进行解析以获取关键数据，所述关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；对本地日志中的每条日志进行分析，以确定每条日志的存储类型，所述存储类型包括：删除型、压缩型以及常用型；为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；接收针对于日志的查询请求，确定所述查询请求所涉及的日志的类型；如果是压缩型，则从历史存储区中读取；如果是常用型，则从日志存储系统的常规存储区中读取。优选地，将所述海洋大数据按照不同的粒度分别存储在相对应的数据表中；所述海洋大数据包括：分钟级监控数据、小时级监控数据、日级监控数据和月级监控数据。优选地，所述海洋大数据粒度包括分钟级监控数据，将所述分钟级监控数据存储于分表数据表中；对所述分钟级监控数据进行循环存储。优选地，还包括：对不同粒度的海洋大数据进行展示，包括：对指定的工作节点的海洋大数据进行展示；或对当前集群整体的海洋大数据进行展示。优选地，所述对不同粒度的海洋大数据进行展示，还包括：分别按照分钟级监控数据、小时级监控数据、日级监控数据和月级监控数据的粒度对指定的工作节点的海洋大数据进行展示；分别按照小时级监控数据、日级监控数据和月级监控数据的粒度对当前集群整体的海洋大数据进行展示。基于本专利技术的另一方面，提供一种面向海洋大数据集群的日志存储系统，所述系统包括：获取单元，用于获取与海洋大数据集群相关联的本地日志，对所述本地日志进行解析以获取关键数据，所述关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；分析单元，用于对本地日志中的每条日志进行分析，以确定每条日志的存储类型，所述存储类型包括：删除型、压缩型以及常用型；删除单元，用于为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置单元，用于设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；查询单元，用于接收针对于日志的查询请求，确定所述查询请求所涉及的日志的类型；如果是压缩型，则从历史存储区中读取；如果是常用型，则从日志存储系统的常规存储区中读取。优选地，还包括存储单元，用于将所述海洋大数据按照不同的粒度分别存储在相对应的数据表中；所述海洋大数据包括：分钟级监控数据、小时级监控数据、日级监控数据和月级监控数据。优选地，海洋大数据粒度包括分钟级监控数据，将所述分钟级监控数据存储于分表数据表中；对所述分钟级监控数据进行循环存储。优选地，还包括展示单元：用于对不同粒度的海洋大数据进行展示，还用于：对指定的工作节点的海洋大数据进行展示；或对当前集群整体的海洋大数据进行展示。优选地，所述展示单元用于对不同粒度的海洋大数据进行展示，还用于：分别按照分钟级监控数据、小时级监控数据、日级监控数据和月级监控数据的粒度对指定的工作节点的海洋大数据进行展示；分别按照小时级监控数据、日级监控数据和月级监控数据的粒度对当前集群整体的海洋大数据进行展示。本专利技术技术方案提供一种面向海洋大数据集群的日志存储方法及系统，其中方法包括：获取与海洋大数据集群相关联的本地日志，对本地日志进行解析以获取关键数据，关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；对本地日志中的每条日志进行分析，以确定每条日志的存储类型，存储类型包括：删除型、压缩型以及常用型；为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；接收针对于日志的查询请求，确定查询请求所涉及的日志的类型，如果是压缩型，则从历史存储区中读取；如果是常用型，则从日志存储系统的常规存储区中读取。本专利技术技术方案涉及：根据其来源或用途对监控数据进行了分类；根据不同类型监控数据的价值确定的数据采集方式；根据不同类型监控数据的规模确定的数据存储方式和策略；一种海洋大数据集群监控模块的设计方法等。将不同类型的监控数据区分对待，根据本文档来自技高网...

【技术保护点】
1.一种面向海洋大数据集群的日志存储方法，所述方法包括：获取与海洋大数据集群相关联的本地日志，对所述本地日志进行解析以获取关键数据，所述关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；对本地日志中的每条日志进行分析，以确定每条日志的存储类型，所述存储类型包括：删除型、压缩型以及常用型；为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；接收针对于日志的查询请求，确定所述查询请求所涉及的日志的类型；如果是压缩型，则从历史存储区中读取；如果是常用型，则从日志存储系统的常规存储区中读取。

【技术特征摘要】
1.一种面向海洋大数据集群的日志存储方法，所述方法包括：获取与海洋大数据集群相关联的本地日志，对所述本地日志进行解析以获取关键数据，所述关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；对本地日志中的每条日志进行分析，以确定每条日志的存储类型，所述存储类型包括：删除型、压缩型以及常用型；为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；接收针对于日志的查询请求，确定所述查询请求所涉及的日志的类型；如果是压缩型，则从历史存储区中读取；如果是常用型，则从日志存储系统的常规存储区中读取。2.根据权利要求1所述的方法，将所述海洋大数据按照不同的粒度分别存储在相对应的数据表中；所述海洋大数据包括：分钟级监控数据、小时级监控数据、日级监控数据和月级监控数据。3.根据权利要求2所述的方法，所述海洋大数据粒度包括分钟级监控数据，将所述分钟级监控数据存储于分表数据表中；对所述分钟级监控数据进行循环存储。4.根据权利要求2所述的方法，还包括：对不同粒度的海洋大数据进行展示，包括：对指定的工作节点的海洋大数据进行展示；或对当前集群整体的海洋大数据进行展示。5.根据权利要求4所述的方法，所述对不同粒度的海洋大数据进行展示，还包括：分别按照分钟级监控数据、小时级监控数据、日级监控数据和月级监控数据的粒度对指定的工作节点的海洋大数据进行展示；分别按照小时级监控数据、日级监控数据和月级监控数据的粒度对当前集群整体的海洋大数据进行展示。6.一种面向海洋大数据集群的日志存储系统，所述系统包括：...

【专利技术属性】
技术研发人员：杨永全，邢彪，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37