【技术实现步骤摘要】
本专利技术涉及日志数据管理，尤其涉及一种分布式集群中的日志数据管理方法及装置
技术介绍
1、数字化时代下，大规模分布式系统中产生的日志数据量不断增加，这些日志数据包含了关键的业务信息和运行状态，对于系统的运维、监控和故障排查方面至关重要。传统的处理器和通用图形处理器可以对日志数据进行处理，然而，对于大规模分布式日志处理系统中的高性能要求，传统的处理器性能会受到限制，导致处理速度较慢；通用图形处理器具有图形处理的特性，无法充分发挥其计算能力，而且需要大量的功耗，导致能源消耗较高，这些处理器无法满足高性能数据处理的需求。除了高性能数据处理之外，系统的稳定性和可靠性直接影响到日志数据处理的连续性和正确性。因此，如何在高效处理实时日志数据的同时，确保系统稳定运行并具备故障转移能力，是该领域亟待解决的核心问题。
技术实现思路
1、鉴于此，本专利技术实施例提供了一种分布式集群中的日志数据管理方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决了现有技术中处理日志数据时速度慢、能耗高、缺乏稳定性和缺乏可靠性的问题。
2、本专利技术的一个方面提供了一种分布式集群中的日志数据管理方法，该方法包括以下步骤：
3、初始化所述数据处理器，建立与所述分布式集群中计算机节点的通信连接；
4、基于预设的负载均衡策略，接收所述分布式集群中产生的实时日志数据；
5、采用预设的并行化数据处理算法，对所述实时日志数据进行格式标准化、存储和实时分析；
7、当检测出所述数据处理单元硬件状态或处理任务执行状态异常时，执行故障记录和诊断分析；
8、根据所述诊断分析的结果启动预设的故障转移机制，将受影响的所述实时日志数据处理任务分配至其他正常工作的数据处理单元。
9、在一些实施例中，基于预设的负载均衡策略，接收所述分布式集群中产生的实时日志数据，包括：
10、采用哈希函数对所述分布式集群中的节点计算哈希值；
11、将各节点对应的哈希值采用取模运算的形式映射到一个可用的目标数据处理单元节点，并将各节点产生的日志数据发送至对应的所述目标数据处理单元进行处理。
12、在一些实施例中，所述预设的并行化数据处理算法，包括：消息传递接口、开放式多处理器和统一计算架构。
13、在一些实施例中，对所述实时日志数据进行格式标准化、存储和实时分析之后，还包括：
14、基于预设的数据保留策略对所述实时日志数据及其实时分析结果进行压缩归档；
15、和/或，对所述实时日志数据和处理过程进行可视化呈现。
16、在一些实施例中，对所述数据处理单元自身的硬件状态和所述实时日志数据的处理任务执行状态进行监测，并执行异常状态识别，包括：
17、采集所述数据处理单元的性能指标，当所述性能指标的波动超出第一设定阈值时，判断硬件状态异常；所述性能指标包括：处理器利用率、内存利用率和硬盘利用率；
18、跟踪对所述实时日志数据处理任务的执行状态，当执行时间内超出第二设定阈值时，判断任务状态异常。
19、在一些实施例中，执行故障记录和诊断分析，包括：
20、采用预训练的机器学习模型和/或时间序列分析方法，对所述数据处理单元自身的硬件状态异常和所述实时日志数据的任务状态异常进行故障分析，得到故障类型；
21、记录发生故障的数据处理单元标识，标记故障信息，发生故障的时间戳和所述故障类型。
22、在一些实施例中，所述故障转移机制包括：
23、对于发生故障的数据处理单元中正在执行的处理任务，记录未完成的任务内容并恢复至其他正常工作的数据处理单元继续执行；
24、对于发生故障的数据处理单元中等待执行的处理任务，直接重新转发至其他正常工作的数据处理单元继续执行。
25、在一些实施例中，所述方法还包括：
26、定期生成健康状态报告，并通过设定链路向目标对象进行反馈和展示。
27、另一方面，本专利技术还提供一种分布式集群中的日志数据管理装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述方法的步骤。
28、另一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。
29、本专利技术的有益效果至少是：
30、本专利技术提供一种分布式集群中的日志数据管理方法及装置。本专利技术所述的一种分布式集群中的日志数据管理方法及装置，采用了数据处理单元作为专门的数据处理加速器，所述数据处理单元具有优化的硬件指令集和硬件模块，使得所述分布式集群能够实现高效地处理数据并且保持所述分布式集群的稳定性和可靠性。初始化所述数据处理器并接收所述分布式集群中产生的实时日志数据，对所述实时日志数据进行格式标准化、存储和实时分析，监测所述数据处理单元自身的硬件状态和所述实时日志数据的处理任务执行状态，当检测出所述数据处理单元硬件状态或处理任务执行状态异常时，执行故障记录和诊断分析并启动预设的故障转移机制，将受影响的所述实时日志数据处理任务分配至其他正常工作的数据处理单元。
31、进一步的，本专利技术通过故障转移机制将受影响的任务根据优先级和依赖关系重新分配至其他正常工作的数据处理单元，确保数据处理的连续性和分布式集群的稳定性；在故障转移过程中，系统会进行正常工作的数据处理单元间的负载均衡，优化整个分布式集群的性能。
32、本专利技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本专利技术的实践而获知。本专利技术的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
33、本领域技术人员将会理解的是，能够用本专利技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本专利技术能够实现的上述和其他目的。
本文档来自技高网...【技术保护点】
1.一种分布式集群中的日志数据管理方法，其特征在于，所述方法用于在数据处理单元运行，所述数据处理单元部署在分布式集群中，该方法包括以下步骤：
2.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，基于预设的负载均衡策略，接收所述分布式集群中产生的实时日志数据，包括：
3.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，所述预设的并行化数据处理算法，包括：消息传递接口、开放式多处理器和统一计算架构。
4.根据权利要求3所述的分布式集群中的日志数据管理方法，其特征在于，对所述实时日志数据进行格式标准化、存储和实时分析之后，还包括：
5.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，对所述数据处理单元自身的硬件状态和所述实时日志数据的处理任务执行状态进行监测，并执行异常状态识别，包括：
6.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，执行故障记录和诊断分析，包括：
7.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，所述故障转移机制
8.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，所述方法还包括：
9.一种分布式集群中的日志数据管理装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种分布式集群中的日志数据管理方法，其特征在于，所述方法用于在数据处理单元运行，所述数据处理单元部署在分布式集群中，该方法包括以下步骤：
2.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，基于预设的负载均衡策略，接收所述分布式集群中产生的实时日志数据，包括：
3.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，所述预设的并行化数据处理算法，包括：消息传递接口、开放式多处理器和统一计算架构。
4.根据权利要求3所述的分布式集群中的日志数据管理方法，其特征在于，对所述实时日志数据进行格式标准化、存储和实时分析之后，还包括：
5.根据权利要求1所述的分布式集群中的日志数据管理方法，其特征在于，对所述数据处理单元自身的硬件状态和所述实时日志数据的处理任务执...
【专利技术属性】
技术研发人员：黄云鹏，黄明亮，鄢贵海，
申请(专利权)人：中科驭数北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。