【技术实现步骤摘要】
一种数据处理方法及电子设备
本申请涉及数据处理领域，特别涉及一种数据处理方法及电子设备。
技术介绍
在电子设备的系统中需要对中间数据进行流转，实现对数据流的处理，包括对消息的生产、存储以及消费等过程，多个消息生产者生产了消息后，将其存储在多个存储单元中，而多个消息消费者会对存储单元存储的消息进行消费，以实现数据的处理。例如Kafka是一个开源的消息队列，在许多系统中需要用到Kafka作为消息分发以及缓存的中间件使用。但是，在使用的过程中起初无法确定出最合适当前使用环境的存储单元(Partition)数量，随着处理的消息数量的提升，现有的存储单元(Partition)数量无法满足需要，特别是消息在多个存储单元中存储的极为不均衡，使得消息不能被相应的消息消费者(Consumer)及时处理，这就会导致已有消息在存储单元(Partition)内堆积，造成数据处理不畅，甚至出现错误。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法及电子设备，该方法可以对系统中的消息的处理方式进行调节，使得对消息的消费达到...
【技术保护点】
1.一种数据处理方法，包括：/n检测多个存储单元的消息消费信息，其中所述消息消费信息包括第一消费组中的消息消费者对消息生产者生产的消息的消费情况；/n根据所述消息消费信息判断所述存储单元对应的消费均衡度；/n在所述消费均衡度超过预设均衡阈值的情况下，基于所述消息消费信息对所述存储单元与所述消息生产者之间的关联关系，和/或对所述存储单元与所述消息消费者之间的关联关系进行调整，其中包括：利用第二消费组，对在使用所述第一消费组进行消息消费的过程中，出现所述消费均衡度超过所述预设均衡阈值的所述存储单元进行负载均衡操作。/n
【技术特征摘要】
1.一种数据处理方法，包括：
检测多个存储单元的消息消费信息，其中所述消息消费信息包括第一消费组中的消息消费者对消息生产者生产的消息的消费情况；
根据所述消息消费信息判断所述存储单元对应的消费均衡度；
在所述消费均衡度超过预设均衡阈值的情况下，基于所述消息消费信息对所述存储单元与所述消息生产者之间的关联关系，和/或对所述存储单元与所述消息消费者之间的关联关系进行调整，其中包括：利用第二消费组，对在使用所述第一消费组进行消息消费的过程中，出现所述消费均衡度超过所述预设均衡阈值的所述存储单元进行负载均衡操作。
2.根据权利要求1所述的数据处理方法，所述的利用第二消费组，对在使用所述第一消费组进行消息消费的过程中，出现所述消费均衡度超过所述预设均衡阈值的所述存储单元进行负载均衡操作，包括：
将消费均衡度超过预设均衡阈值对应的所述存储单元设置为目标存储单元；
利用选定的第二消费组中的消息消费者对于所述目标存储单元存储的消息进行消费，其中包括将所述目标存储单元存储的至少部分消息转存到满足预设存储条件的其他存储单元中。
3.根据权利要求2所述的数据处理方法，消费均衡度具体为消息滞后数值，相应的，预设均衡阈值为预设滞后标准值，所述方法还包括：
获取每个所述存储单元对应的消息滞后数值；
将消息滞后数值超过预设滞后标准值的所述存储单元确定为所述目标存储单元。
4.根据权利要求2所述的数据处理方法，所述的利用选定的第二消费组中的消息消费者对于所述目标存储单元存储的消息进行消费，包括：
获取所述第一消费组对应的第一偏移量，其中所述第一偏移量表征所述第一消费组中的消息消费者，消费所述存储单元中的消息的位置信息；
基于所述第一偏移量，确定所述第二消费组的第二偏移量，其中所述第二偏移量表征所述第二消费组中的消息消费者，消费所述存储单元中的消息的位置信息；
基于所述第二偏移量，建立所述第二消费组中的消息消费者与所述目标存储单元的关联关系，以利用所述第二消费组中的消息消费者，对所述目标存储单元存储的消息进行消费。
5.根据权利要求4所述的数据处理方法，所述的利用所述第二消费组中的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。