公众号用户标签的管理系统及方法技术方案

技术编号:26504351 阅读:14 留言:0更新日期:2020-11-27 15:31
本发明专利技术公开了一种公众号用户标签的管理系统及方法,其中,该方法包括:比较模块将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;Kafka集群的每个生产者节点将多个待更新用户标签数据分批次存储至Kafka集群的消息队列,其中,每个批次的待更新用户标签数据的数据量根据实时采集的公众号接口的调用频率实时调整;Kafka集群的每个消费者节点将多个待更新用户标签数据分批次从Kafka集群的消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据。本发明专利技术可以提高用户标签数据的处理效率,提高公众号用户标签的管理系统的稳定性。

【技术实现步骤摘要】
公众号用户标签的管理系统及方法
本专利技术涉及数据处理
,特别涉及一种公众号用户标签的管理系统及方法。
技术介绍
对于大量的公众号用户标签数据的管理,现有技术一般通过分批次操作的方式来实现,每个批次的数据采用单线程处理,随着公众号用户标签数据量的不断增大,单线程处理的效率较低,此外,在管理公众号用户标签数据时需要调用公众号接口,由于公众号接口的调用频率有限制,如果对公众号接口的调用频率超出限制,会导致公众号接口调用失败,在用户标签数据量较大的情况下,可能会出现多次接口调用失败,影响公众号用户标签的管理系统的稳定性。针对上述问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供一种公众号用户标签的管理系统,用以提高用户标签的管理效率和公众号用户标签的管理系统的稳定性,该系统包括:比较模块和Kafka集群,其中:比较模块,用于将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;Kafka集群包括:多个生产者节点、消息队列和多个消费者节点,其中:每个生产者节点用于将多个待更新用户标签数据分批次存储至消息队列,其中,每个批次的待更新用户标签数据的数据量根据实时采集的公众号接口的调用频率实时调整;每个消费者节点用于将多个待更新用户标签数据分批次从消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据。本专利技术实施例提供一种公众号用户标签的管理方法,该方法应用于上述公众号用户标签的管理系统,用以提高用户标签的管理效率和公众号用户标签的管理系统的稳定性,该方法包括:比较模块将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;Kafka集群的每个生产者节点将多个待更新用户标签数据分批次存储至Kafka集群的消息队列,其中,每个批次的待更新用户标签数据的数据量根据实时采集的公众号接口的调用频率实时调整;Kafka集群的每个消费者节点将多个待更新用户标签数据分批次从Kafka集群的消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据。本专利技术实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述公众号用户标签的管理方法。本专利技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有执行上述公众号用户标签的管理方法。本专利技术实施例通过:比较模块将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;Kafka集群的每个生产者节点将多个待更新用户标签数据分批次存储至Kafka集群的消息队列,Kafka集群的每个消费者节点将多个待更新用户标签数据分批次从Kafka集群的消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据,基于Kafka集群实现了用户标签数据的分批次多线程处理,提高了用户标签数据的处理效率,根据实时采集的公众号接口的调用频率实时调整待更新用户标签的数据量,可以避免大量的接口调用失败,提高公众号用户标签的管理系统的稳定性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:图1为本专利技术实施例中公众号用户标签的管理系统结构的示意图;图2为本专利技术实施例中公众号用户标签的管理系统整体框架的示意图;图3为本专利技术实施例中公众号用户标签的管理系统另一结构的示意图;图4为本专利技术实施例中公众号用户标签的管理方法流程的示意图;图5为本专利技术实施例中定时存储和取出流程的示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本领域技术技术人员知道,本专利技术的实施方式可以实现为一种系统、装置、方法或计算机程序产品。因此,本专利技术公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。为了解决现有的公众号用户标签的管理系统在用户标签数据量较大时基于单线程处理效率低,以及公众号用户标签的管理系统的稳定性差的技术问题,本专利技术实施例提供一种公众号用户标签的管理系统,用以提高用户标签的管理效率和公众号用户标签的管理系统的稳定性,图1为本专利技术实施例中公众号用户标签的管理系统结构的示意图,如图1所示该系统包括:比较模块01和Kafka集群02,其中:比较模块01,用于将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;Kafka集群02包括:多个生产者节点021、消息队列022和多个消费者节点023,其中:每个生产者节点021用于将多个待更新用户标签数据分批次存储至消息队列022,其中,每个批次的待更新用户标签数据的数据量根据实时采集的公众号接口的调用频率实时调整;每个消费者节点023用于将多个待更新用户标签数据分批次从消息队列022中取出,调用公众号接口处理各个批次的待更新用户标签数据。如图1所示,本专利技术实施例通过:比较模块将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;Kafka集群的每个生产者节点将多个待更新用户标签数据分批次存储至Kafka集群的消息队列,Kafka集群的每个消费者节点将多个待更新用户标签数据分批次从Kafka集群的消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据,基于Kafka集群实现了用户标签数据的分批次多线程处理,提高了用户标签数据的处理效率,根据实时采集的公众号接口的调用频率实时调整待更新用户标签的数据量,可以避免大量的接口调用失败,提高公众号用户标签的管理系统的稳定性。具体实施时,图2为本专利技术实施例中公众号用户标签的管理系统整体框架的示意图,如图2所示,比较模块01可以批量的将外部应用程序发送的用户标签数据与本地预先存储的用户标签数据进行比较,确定多个待更新用户标签数据,即哪些用户需要建立新的标签,哪些用户需要取消已有标签,可以生成待更新用户标签数据表,将待更新用户标签数据表存储至数据库中。Kafka集群02包括:多个生产者节点021、消息队列022和多个消费者节本文档来自技高网...

【技术保护点】
1.一种公众号用户标签的管理系统,其特征在于,包括:比较模块和Kafka集群,其中:/n比较模块,用于将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;/nKafka集群包括:多个生产者节点、消息队列和多个消费者节点,其中:/n每个生产者节点用于将多个待更新用户标签数据分批次存储至消息队列,其中,每个批次的待更新用户标签数据的数据量根据实时采集的公众号接口的调用频率实时调整;/n每个消费者节点用于将多个待更新用户标签数据分批次从消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据。/n

【技术特征摘要】
1.一种公众号用户标签的管理系统,其特征在于,包括:比较模块和Kafka集群,其中:
比较模块,用于将外部应用程序发送的用户标签数据与预先存储的用户标签数据进行比较,确定多个待更新用户标签数据;
Kafka集群包括:多个生产者节点、消息队列和多个消费者节点,其中:
每个生产者节点用于将多个待更新用户标签数据分批次存储至消息队列,其中,每个批次的待更新用户标签数据的数据量根据实时采集的公众号接口的调用频率实时调整;
每个消费者节点用于将多个待更新用户标签数据分批次从消息队列中取出,调用公众号接口处理各个批次的待更新用户标签数据。


2.如权利要求1所述的系统,其特征在于,还包括,定时模块,用于:
根据实时采集的公众号接口的调用频率,确定多个待更新用户标签数据的存储时刻和取出时刻;
每个生产者节点还用于:
根据多个待更新用户标签数据的存储时刻,将多个待更新用户标签数据定时存储至消息队列;
每个消费者节点还用于:
根据多个待更新用户标签数据的取出时刻,将多个待更新用户标签数据定时从消息队列中取出。


3.如权利要求1所述的系统,其特征在于,还包括:信息推送模块,用于:
在多个待更新用户标签数据处理完成后,根据处理完成后的用户标签数据,向用户推送与用户标签数据相关的信息。


4.如权利要求1所述的系统,其特征在于,每个消费者节点处理各个批次的待更新用户标签数据,包括:
对各个批次的待更新用户标签数据进行打标签处理和/或取消标签处理。


5.一种公众号用户标签的管理方法,其特征在于,该方法应用于权利要求1至4任一项所述公众号用户标签的管理系统,该方法包括:
比较模块将外部应...

【专利技术属性】
技术研发人员:陈优阳
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1