数据写入方法、装置、系统及存储介质制造方法及图纸

本申请提供一种数据写入方法、装置、系统及存储介质，涉及分布式存储技术领域。该方法包括：获取kafka集群的配置信息和计算集群的配置信息；根据kafka集群的配置信息和计算集群的配置信息，将kafka集群创建的目标主题中的所有分区第一次轮询分配至计算集群中的节点组；其中，节点组内有主节点；将分配到节点组中的所有分区第二次轮询分配至主节点包含的消息消费者，以供消息消费者从对应的分区中拉取对应的分区的数据，并写入到分布式数据库中存储。上述方式通过双轮询分配方式能够保证在节点间以及消息消费者之间分配的负载均衡性，进而提高数据写入性能。进而提高数据写入性能。进而提高数据写入性能。

【技术实现步骤摘要】
数据写入方法、装置、系统及存储介质


[0001]本申请涉及分布式存储
，尤其涉及一种数据写入方法、装置、系统及存储介质。

技术介绍

[0002]随着软件和硬件技术的飞速发展，数据量也随之膨胀。在消费kafka数据时，使用者也更加渴望更高的性能及更高的可用性。
[0003]目前的主流消费方案，有诸如clickhouse等多主架构的分布式数据库，在该数据库中，虽然每个消息消费者之间在一定程度上获得了分区分配结果均衡，但是各节点间获取到的分区数量可能存在较大的差距。假如计算集群的各个节点上的consumer个数相同，在kafka数据的分区总数不是consumer个数的整数倍时，部分节点可能分配到更多的kafka分区，从而导致计算集群内各节点之间的负载显著不均衡，最终导致计算集群的写入性能下降。
[0004]因此，现有技术存在因节点之间的负载显著不均衡导致的写入性能下降的技术问题。

技术实现思路

[0005]本申请提供了一种数据写入方法、装置、系统及存储介质，用以解决现有技术存在的因节点之间的负载显著不均衡导致的写本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据写入方法，其特征在于，包括：获取kafka集群的配置信息和计算集群的配置信息；根据所述kafka集群的配置信息和所述计算集群的配置信息，将所述kafka集群创建的目标主题中的所有分区第一次轮询分配至所述计算集群中的节点组；其中，所述节点组内有主节点；将分配到所述节点组中的所有分区第二次轮询分配至所述主节点包含的消息消费者，以供所述消息消费者从对应的分区中拉取所述对应的分区的数据，并写入到分布式数据库中存储。2.根据权利要求1所述的方法，其特征在于，所述kafka集群的配置信息包括分区的总数量，所述计算集群的配置信息包括所述节点组的总数量和所述节点组的标识信息；则所述根据所述kafka集群的配置信息和所述计算集群的配置信息，将所述kafka集群创建的目标主题中的所有分区第一次轮询分配至所述计算集群中的节点组，包括：根据所述分区的总数量和所述节点组的总数量，利用预设第一计算公式，计算分配到各所述节点组的分区的数量；其中，分配到各所述节点组的分区的数量之间的差值小于等于1；根据分配到各所述节点组的分区的数量和各所述节点组的标识信息，将所述kafka集群创建的目标主题中的所有分区分配至对应的节点组。3.根据权利要求1或2所述的方法，其特征在于，所述计算集群的配置信息还包括所述节点组中的消息消费者的数量和消息消费者的命名信息；则所述将分配到所述节点组中的所有分区第二次轮询分配至所述主节点包含的消息消费者，包括：根据分配到所述节点组的分区的数量和所述节点组中的消息消费者的数量，利用预设第二计算公式，计算分配至各所述消息消费者的分区的数量；其中，分配到各所述消息消费者的分区的数量之间的差值小于等于1；根据分配到所述消息消费者的分区的数量和所述消息消费者的命名信息，将分配到所述节点组中的所有分区分配至对应的消息消费者。4.根据权利要求1所述的方法，其特征在于，获取所述计算集群的配置信息，包括：按照预设格式命名所述计算集群中的所有消息消费者，得到所述消息消费者的命名信息；其中，所述消息消费者的命名信息包括：所述消息消费者所属节点所在节点组的标识信息、所述消息消费者的编号信息和所述消息消费者的副本标识信息；根据预设排序方式，对所述计算集群中的所有...

【专利技术属性】
技术研发人员：李求实，
申请(专利权)人：广州睿帆科技有限公司，
类型：发明
国别省市：