一种Kafka的缓存调整的方法、装置、介质及设备制造方法及图纸

一种Kafka的缓存调整的方法、装置、介质及设备，可用于分布式领域或金融领域。Kafka部署于集群设备，该方法包括获取所述集群设备的上游数据在第一预设时间段内的多个瞬时流量值；根据所述多个瞬时流量值生成时间序列；根据自回归滑动平均模型和所述时间序列预测所述上游数据在第二预设时间段内的瞬时流量值；根据所述第二预设时间段内的瞬时流量值，对所述集群设备的缓存配置参数进行调整。利用该方法，在上游数据的负载变大的时候可以提前预警，进而提早修改Kafka的缓存配置策略，使得Kafka能够一直保持较高的吞吐性能。该方法增强系统对环境的适应能力，并且不依赖于人工对配置参数进行调整，还节省了人力成本。还节省了人力成本。还节省了人力成本。

【技术实现步骤摘要】
一种Kafka的缓存调整的方法、装置、介质及设备


[0001]本申请涉及分布式领域，尤其涉及一种Kafka的缓存调整的方法、装置、存储介质及电子设备。

技术介绍

[0002]Kafka为一个开源流处理平台，作为一个分布式流式处理组件，Kafka凭借其高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性在大数据应用中得到广泛的使用。
[0003]Kafka作为一个消息中间件，在处理流式数据中起到了数据缓冲的作用，能够将上游的大量的流式数据接入到Kafka中。但是，上游的数据流并不是固定不变，会存在数据波动，数据流负载波动会对Kafka的性能造成影响，Kafka的吞吐性能和消息延时与系统配置具有极强的相关性，当数据量大时原先的配置可能就无法支撑现有的数据流，导致Kafka的性能降低，这时就需要去调整配置策略。
[0004]目前配置策略的调整往往需要人为的调整，而且这种调整都是延时调整，一般都是Kafka的性能出现问题时才会考虑去调整它的配置参数，滞后于上游的数据波动，这样对于实时要求较高的系统而言会产生很大的影响，也即此时Kafk本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Kafka的缓存调整的方法，其特征在于，所述Kafka部署于集群设备，所述方法包括：获取所述集群设备的上游数据在第一预设时间段内的多个瞬时流量值；根据所述多个瞬时流量值生成时间序列；根据自回归滑动平均模型和所述时间序列预测所述上游数据在第二预设时间段内的瞬时流量值；根据所述第二预设时间段内的瞬时流量值，对所述集群设备的缓存配置参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述根据自回归滑动平均模型和所述时间序列预测所述上游数据在第二预设时间段内的瞬时流量值，具体包括：根据所述自回归滑动平均模型和所述时间序列，预测得到第二预设时间段内的时间序列；根据所述第二预设时间段内的时间序列，确定所述上游数据在第二预设时间段内的瞬时流量值。3.根据权利要求1所述的方法，其特征在于，所述根据所述第二预设时间段内的瞬时流量值，对所述集群设备的缓存配置参数进行调整，具体包括：当所述第二预设时间段内的瞬时流量值的平均值大于当前的瞬时流量值时，增大所述集群设备的缓存配置参数；当所述第二预设时间段内的瞬时流量值的平均值小于当前的瞬时流量值时，减小所述集群设备的缓存配置参数。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二预设时间段内的瞬时流量值，对所述集群设备的缓存配置参数进行调整后，所述方法还包括：获取缓存配置参数调整后，所述集群设备在第三预设时间段内的数据吞吐量；根据所述第三预设时间段内的数据吞吐量调整所述集群设备的缓存配置参数。5.根据权利要求4所述的方法，其特征在于，所述根据所述第三预设时间段内的数据吞吐量调整所述集群设备的缓存配置参数，具体包括：当所述第三预设时间段内的数据吞吐量小于或等于所述第一时间段内的数据吞吐量时，增大所述集群设备的缓存配置参数；当所述第三预设时间段内的数据吞吐量大于所述第一时间段内的数据吞吐量时，记录调整后的缓存配置参数和所述第一预设时间段内的多个瞬时流量值的对应关系。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述集群设备的上游数据在所述第二预设时间段内的瞬时流量真实值；当所述第二预设时间段内的瞬时流量值，与所述第二预设时间段内的瞬时流量真实值的差值...

【专利技术属性】
技术研发人员：张旭，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：