本申请涉及一种业务数据处理方法、装置、计算机设备和存储介质，其中，方法包括：当侦测到使用kafka消息的任务时，查询kafka消息对应的当前topic；访问kafka服务器，获取当前topic的分区信息；根据分区信息识别空闲分区；基于空闲分区ID，发送kafka消息至kafka服务器。整个过程中，针对kafka消息的任务基于当前topic，识别kafka服务器中空闲分区ID，基于空闲分区ID发送kafka消息至kafka服务器，实现数据的合理、有序发送，可以实现高效的业务数据处理。
【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着计算机技术的发展，出现了消息队列技术，通过消息队列技术可以实现海量数据的有序传输，显著提升了数据传输、处理效率。
2、传统技术中，消息队列的数据通常使用分区来存储，使用分区便于合理使用存储资源，实现负载均衡的效果。同时提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。
3、然而，由于生产者向分区发送数据是通过指定或者随机的方式来分配，在多租户的模式下，在同一个topic（消息类型）内，某个租户的数据消费堆积，另一个租户的数据如果也被分配同一个分区，可能会导致其他租户的消费排在后面，出现延迟消费的情况，从而导致数据处理效率低下。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种的高效的业务数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种业务数据处理方法。所述方法包括：
3、当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic；
4、访问kafka服务器，获取所述当前topic的分区信息；
5、根据所述分区信息识别空闲分区；
6、基于空闲分区id，发送所述kafka消息至所述kafka服务器。
7、在其中一个实施例中，所述根据所述分区信息识别空闲分区包括：
8、根据所述分区信息，分析每个分区的消费偏移量；
9、查询所述kafka消息对应的当前租户；
10、根据所述消费偏移量，计算所述当前topic和所述当前租户对应的分区里待消费数值；
11、选取待消费数值最小对应的分区作为空闲分区。
12、在其中一个实施例中，所述访问kafka服务器，获取所述当前topic的分区信息包括：
13、调用预设分区接口访问kafka服务器，获取所述当前topic的分区信息。
14、在其中一个实施例中，所述调用预设分区接口访问kafka服务器，获取所述当前topic的分区信息之前，还包括：
15、获取kafka服务器中根据业务创建的topic集合、分区key和租户集合；
16、根据所述topic集合、所述分区key和所述租户集合，生成topic、分区key以及租户之间的对应关系；
17、以所述对应关系为接口配置参数，生成动态分配kafka分区的预设分区接口。
18、在其中一个实施例中，所述当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic包括：
19、当侦测到使用kafka消息的任务时，获取业务需求数据；
20、根据所述业务需求数据，识别需要定制分区策略的topic集合；
21、在所述需要定制分区策略的topic集合中查询kafka消息对应的当前topic。
22、在其中一个实施例中，所述基于空闲分区id，发送所述kafka消息至所述kafka服务器包括：
23、提取所述kafka消息对应的当前消息；
24、在所述当前消息对应的实体类中添加空闲分区id字段，得到组合消息；
25、发送所述组合消息至所述kafka服务器。
26、在其中一个实施例中，所述发送所述组合消息至所述kafka服务器之后，还包括：
27、当侦测到与所述组合消息对应的二次消费消息时，将所述二次消费消息发送至所述kafka服务器中空闲分区。
28、第二方面，本申请还提供了一种业务数据处理装置。所述装置包括：
29、查询模块，用于当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic；
30、访问模块，用于访问kafka服务器，获取所述当前topic的分区信息；
31、空闲分区识别模块，用于根据所述分区信息识别空闲分区；
32、发送模块，用于基于空闲分区id，发送所述kafka消息至所述kafka服务器。
33、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
34、当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic；
35、访问kafka服务器，获取所述当前topic的分区信息；
36、根据所述分区信息识别空闲分区；
37、基于空闲分区id，发送所述kafka消息至所述kafka服务器。
38、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
39、当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic；
40、访问kafka服务器，获取所述当前topic的分区信息；
41、根据所述分区信息识别空闲分区；
42、基于空闲分区id，发送所述kafka消息至所述kafka服务器。
43、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
44、当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic；
45、访问kafka服务器，获取所述当前topic的分区信息；
46、根据所述分区信息识别空闲分区；
47、基于空闲分区id，发送所述kafka消息至所述kafka服务器。
48、上述业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品，当侦测到使用kafka消息的任务时，查询kafka消息对应的当前topic；访问kafka服务器，获取当前topic的分区信息；根据分区信息识别空闲分区；基于空闲分区id，发送kafka消息至kafka服务器。整个过程中，针对kafka消息的任务基于当前topic，识别kafka服务器中空闲分区id，基于空闲分区id发送kafka消息至kafka服务器，实现数据的合理、有序发送，可以实现高效的业务数据处理。
本文档来自技高网...
【技术保护点】
1.一种业务数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述分区信息识别空闲分区包括：
3.根据权利要求1所述的方法，其特征在于，所述访问kafka服务器，获取所述当前topic的分区信息包括：
4.根据权利要求3所述的方法，其特征在于，所述调用预设分区接口访问kafka服务器，获取所述当前topic的分区信息之前，还包括：
5.根据权利要求1所述的方法，其特征在于，所述当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic包括：
6.根据权利要求1所述的方法，其特征在于，所述基于空闲分区ID，发送所述kafka消息至所述kafka服务器包括：
7.根据权利要求6所述的方法，其特征在于，所述发送所述组合消息至所述kafka服务器之后，还包括：
8.一种业务数据处理装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...
【技术特征摘要】
1.一种业务数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述分区信息识别空闲分区包括：
3.根据权利要求1所述的方法，其特征在于，所述访问kafka服务器，获取所述当前topic的分区信息包括：
4.根据权利要求3所述的方法，其特征在于，所述调用预设分区接口访问kafka服务器，获取所述当前topic的分区信息之前，还包括：
5.根据权利要求1所述的方法，其特征在于，所述当侦测到使用kafka消息的任务时，查询所述kafka消息对应的当前topic包括：
6.根据权利要求1所述...
【专利技术属性】
技术研发人员：张勇，乐天，李勇，宋静波，章书焓，
申请(专利权)人：深圳竹云科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。