分布式服务器集群日志数据处理方法、装置及系统制造方法及图纸

本申请实施例提供一种分布式服务器集群日志数据处理方法、装置及系统，方法包括：获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析；本申请能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性。

【技术实现步骤摘要】
分布式服务器集群日志数据处理方法、装置及系统
本申请涉及计算机
，具体涉及一种分布式服务器集群日志数据处理方法、装置及系统。
技术介绍
随着社会信息化程度越来越高，业务系统数据处理量越来越大，分布式微服务架构成为当前系统建设普遍采用的架构模式。为了提高系统的处理性能和可靠性，业务系统被分布式部署在数量庞大的服务器集群中。分布式部署带来性能提升的同时，也给系统运维带来了新的挑战。现有技术中的日志采集处理模式为分布式采集或集中处理，即在每台服务器都部署日志采集程序，采集日志后统一将日志发送到Kafka消息服务器，服务端通过流式处理程序Spark、Flink从Kafka中不断读取采集过来的日志，经过解析和计算后，存储到后端存储中，如HIVE、ES、HDFS等。专利技术人发现，在现有技术中，日志采集端只负责采集日志，并将日志发送到服务器端，所有计算都在服务器端运行，由于所有逻辑后移到服务端，增加了服务器端计算负载，延长了计算时间，而且采集端所有日志都需要采集到服务端集中处理，其中包含了太多无用的信息，无用的信息将大量占用网本文档来自技高网...

【技术保护点】
1.一种分布式服务器集群日志数据处理方法，其特征在于，所述方法包括：/n获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；/n根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。/n

【技术特征摘要】
1.一种分布式服务器集群日志数据处理方法，其特征在于，所述方法包括：
获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。


2.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，包括：
确定所述初始日志数据中的起始标识符和对应的终止标识符；
将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。


3.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，在所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理之前，包括：
根据所述业务日志片段的业务类型，确定对应的日志解析规则；
根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。


4.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。


5.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。


6.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。


7.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。


8.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，包括：
对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。


9.一种分布式服务器集群日志数据处理方法，其特征在于，所述方法包括：
接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的；
根据所述业务日志片段进行对应的业务日志分析。


10.根据权利要求9所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据所述业务日志片段进行对应的业务日志分析，包括：
依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。


11.一种分布式服务器集群日志数据处理装置，其特征在于，包括：
业务日志片段划分模块，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
业务日志片段预处理模块，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中国人民银行清算总中心，
类型：发明
国别省市：北京;11