分区均衡性异常检测方法技术

本公开提供一种分区均衡性异常检测方法

【技术实现步骤摘要】
分区均衡性异常检测方法、装置、设备、介质及产品


[0001]本公开涉及大数据
，可以应用于金融科技
，特别涉及一种分区均衡性异常检测方法
、
装置
、
设备
、
介质及产品
。

技术介绍

[0002]随着数据中心服务器规模呈现爆发性增长，给运维人员的工作带来巨大的挑战
。Kafka
是一个基于磁盘进行数据存储的分布式发布订阅消息系统，具有高性能
、
高吞吐
、
低延时
、
可持久化
、
可水平扩展等特点，对于大数据的数据处理和分析，
Kafka
无疑是一个不可多得的选择
。
在使用过程中，
Kafka
可以将主题
(Topic)
划分为多个分区
(Partition)
，会根据分区规则将消息分布到不同的分区中，以此实现负载均衡和水平扩展
。
那分区规则设置的是否合理，直接影响到消息是否被均匀分布
。
[0003]在这样的背景下，对
Kafka
分区均衡性的监控也成了极其重要的关注点
。
面对服务器规模较大的
Kkafka
集群和其下大量的主题及分区，传统的人工手动式检查工作很难及时发现某个集群的某个主题分区分配不均衡，更无法适应集群
、
主题和分区规模日益增长下的监控需求，亟需自动化的监控系统，在满足高效性与普适性的要求下，以快速发现数据中心
Kafka
分区分配不均衡，主动且自发地解决生产问题
。

技术实现思路

[0004]有鉴于此，本公开的主要目的是提供一种分区均衡性异常检测方法
、
装置
、
设备
、
介质及产品，旨在至少部分解决传统的人工手动式检查工作很难及时发现某个集群的某个主题分区分配不均衡，更无法适应集群
、
主题和分区规模日益增长下的监控需求的技术问题
。
[0005]为实现上述目的，本公开实施例的第一方面提供一种分区均衡性异常检测方法，包括：获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量；以及根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题
。
[0006]根据本公开的实施例，其中，所述获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量包括：获取预设时间段内每个主题中每个分区的最大生产位移和最小生产位移；以及分别将与每个分区对应的所述最大生产位移与所述最小生产位移之间的差值确定为所述每个分区的生产数据量
。
[0007]根据本公开的实施例，其中，所述获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量还包括：调用结构化查询语句从性能容量管理数据库中获取所述最大生产位移和所述最小生产位移；以所主题的名称和所述分区的名称对所述最大生产位移和所述最小生产位移进行排序；以及以所主题的名称和所述分区的名称为索引存储排序后的所述最大生产位移和所述最小生产位移
。
[0008]根据本公开的实施例，其中，所述根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题包括：对于每一个主题，执行以下操作：确定所述主题中生产
数据量等于零的分区的数量；以及响应于所述主题中生产数据量等于零的分区的数量不为零且小于所述主题中分区的总数量，确定所述主题存在分区均衡性异常
。
[0009]根据本公开的实施例，其中，所述根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题还包括：对于每一个主题，执行以下操作：计算所述主题中所有分区的生产数据量的标准差；响应于所述生产数据量的标准差大于生产数据量波动可控阈值，确定所述主题存在分区均衡性异常，其中，所述生产数据量波动可控阈值是根据所述集群的稳定状况确定的
。
[0010]根据本公开的实施例，还包括：在确定存在分区均衡性异常的主题的情况下，发送预警信息，其中，发送预警信息的方法包括邮件式预警
、
短信预警
、
监控系统预警
、
运维网页展示预警中的至少之一
。
[0011]根据本公开的实施例，其中，所述预警信息包括预警类型，预警等级，存在分区均衡性异常的集群名称，存在分区均衡性异常的主题名称，存在分区均衡性异常的主题中数据异常分区的最大生产位移
、
最小生产位移和生产数据量等于零的分区的数量，存在分区均衡性异常的主题的生产位移随时间的变化趋势
。
[0012]根据本公开的实施例，其中，所述预警信息按照预警类型，预警等级，存在分区均衡性异常的集群名称，存在分区均衡性异常的主题名称，存在分区均衡性异常的主题中数据异常分区的最大生产位移
、
最小生产位移和生产数据量等于零的分区的数量，存在分区均衡性异常的主题的生产位移随时间的变化趋势依次递进的方式进行排列
。
[0013]根据本公开的实施例，还包括：编写定时监控程序；设置多线程，其中，每一个集群对应配置一个线程；调用所述定时监控程序开启多线程并行任务，使每一个线程对与该线程对应的集群进行独立的分区均衡性异常检测
。
[0014]本公开实施例第二方面提供一种分区均衡性异常检测装置，包括：获取模块，用于获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量；以及确定模块，用于根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题
。
[0015]本公开实施例第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据上述分区均衡性异常检测方法
。
[0016]本公开实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行根据上述分区均衡性异常检测方法
。
[0017]本公开实施例第五方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据上述分区均衡性异常检测方法
。
[0018]根据本公开实施例提供的分区均衡性异常检测方法
、
装置
、
设备
、
介质及产品，至少具备以下有益效果：
[0019]通过对集群的每个主题中每个分区的生成数据量进行监测来确定存在分区均衡性异常的主题，由于生成数据量能够准确地反馈分区的数据情况，因此，基于生成数据量直接进行分区均衡性异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分区均衡性异常检测方法，包括：获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量；以及根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题
。2.
根据权利要求1所述的分区均衡性异常检测方法，其中，所述获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量包括：获取预设时间段内每个主题中每个分区的最大生产位移和最小生产位移；以及分别将与每个分区对应的所述最大生产位移与所述最小生产位移之间的差值确定为所述每个分区的生产数据量
。3.
根据权利要求2所述的分区均衡性异常检测方法，其中，所述获取预设时间段内
Kafka
集群管理系统对集群划分的每个主题中每个分区的生产数据量还包括：调用结构化查询语句从性能容量管理数据库中获取所述最大生产位移和所述最小生产位移；以所主题的名称和所述分区的名称对所述最大生产位移和所述最小生产位移进行排序；以及以所主题的名称和所述分区的名称为索引存储排序后的所述最大生产位移和所述最小生产位移
。4.
根据权利要求2所述的分区均衡性异常检测方法，其中，所述根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题包括：对于每一个主题，执行以下操作：确定所述主题中生产数据量等于零的分区的数量；以及响应于所述主题中生产数据量等于零的分区的数量不为零且小于所述主题中分区的总数量，确定所述主题存在分区均衡性异常
。5.
根据权利要求2所述的分区均衡性异常检测方法，其中，所述根据所述每个主题中每个分区的生产数据量确定存在分区均衡性异常的主题还包括：对于每一个主题，执行以下操作：计算所述主题中所有分区的生产数据量的标准差；响应于所述生产数据量的标准差大于生产数据量波动可控阈值，确定所述主题存在分区均衡性异常，其中，所述生产数据量波动可控阈值是根据所述集群的稳定状况确定的
。6.
根据权利要求1所述的分区均衡性异常检测方法，还包括：在确定存在分区均衡性异常的主题的情况下，发送预警信息，其中，发送预警信息的方法包括邮件式预警
...

【专利技术属性】
技术研发人员：邹萌萍，朱杰，类铭辰，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：