基于消息队列的用户人群数据传输方法、装置、终端制造方法及图纸

本发明专利技术公开了基于消息队列的用户人群数据传输方法、装置、智能终端及介质，方法包括：获取需要发送的人群数据集，将所述人群数据集按照Kafka消息格式，同时进行主键取模，得到取模后的人群数据集；获取主键取模的取模值，并将取模后的人群数据集中的各人群数据分别通过明细格式和结束符号格式，发送到所述取模值对应的Kafka中分区，进行分布式存储；分别读取分布式存储的各人群数据，当读到对应人群数据的结束符号，则对应人群数据代表接收完成。本发明专利技术基于Kafka消息队列及特有的属性，将用户人群数据进行稳定传输，可彻底解决发送端的瓶颈、接收端的瓶颈、中间存储的瓶颈等弊端，为用户的使用提供了方便。户的使用提供了方便。户的使用提供了方便。

【技术实现步骤摘要】
基于消息队列的用户人群数据传输方法、装置、终端


[0001]本专利技术涉及用户人群数据处理
，尤其涉及基于消息队列的用户人群数据传输方法、装置、智能终端及存储介质。

技术介绍

[0002]随着科技的发展和互联网技术的不断提高，各种用户画像技术的使用越来越普及。
[0003]用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。
[0004]用户画像系统已经在各大互联网公司兴起，然而在业务操作过程和人群画像展示之间，存在这人群明细数据的传输。基于这个数据的传输每家公司不同，也会存在很多弊端，例如发送端的瓶颈例如数据量大发送不成功、接收端的瓶颈、中间存储的瓶颈等。
[0005]因此，现有技术还有待改进和提高。

技术实现思路

[0006]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于消息队列的用户人群数据传输方法、装置、智能终端及存储介质，本专利技术专利基于Kafka消息队列及特有的属性，将用户人群数据进行稳定传输，可彻底解决发送端的瓶颈、接收端的瓶颈、中间存储的瓶颈等弊端，为用户的使用提供了方便。
[0007]为了解决上述技术问题，本专利技术第一方面提供一种基于消息队列的用户人群数据传输方法，上述方法包括：
[0008]一种基于消息队列的用户人群数据传输方法，其中，所述方法包括：
[0009]获取需要发送的人群数据集，将所述人群数据集按照Kafka消息格式，同时进行主键取模，得到取模后的人群数据集；
[0010]获取主键取模的取模值，并将取模后的人群数据集中的各人群数据分别通过明细格式和结束符号格式，发送到所述取模值对应的Kafka中分区，进行分布式存储；
[0011]分别读取分布式存储的各人群数据，当读到对应人群数据的结束符号，则对应人群数据代表接收完成。
[0012]所述基于消息队列的用户人群数据传输方法，其中，所述获取需要发送的人群数据集，将所述人群数据集按照Kafka消息格式，同时进行主键取模，得到取模后的人群数据集的步骤包括：
[0013]收集获取用户画像数据，将一个用户画像人群的主键定义为人群ID和人群版本，一个人群对应N个用户，以预备生产人群数据；
[0014]对所述人群数据根据人群和版本两个主键，进主键取模，得到取模后的人群数据集。
[0015]所述的基于消息队列的用户人群数据传输方法，其中，所述收集获取用户画像数
据，将一个用户画像人群的主键定义为人群ID和人群版本，一个人群对应N个用户，以预备生产人群数据的步骤包括：
[0016]将收集获取用户画像数据中的人群明细作为一个Json格式进行准备；
[0017]将收集获取用户画像数据中的人群结束作为一个Json格式进行准备，用于当所有明细发送完成，在发送结束符号，代表这个人群已经发送完成。
[0018]所述的基于消息队列的用户人群数据传输方法，其中，所述对所述人群数据根据人群和版本两个主键，进主键取模，得到取模后的人群数据集的步骤还包括：
[0019]预先建立Kafka的Partition分区；
[0020]对所述人群数据根据人群和版本两个主键，按照Hash取模算法得到Partition分区，且所述Partition分区的取模的值设置在0～9之间。
[0021]所述的基于消息队列的用户人群数据传输方法，其中，所述获取主键取模的取模值，并将取模后的人群数据集中的各人群数据分别通过明细格式和结束符号格式，发送到所述取模值对应的Kafka中分区，进行分布式存储的步骤包括：
[0022]获取主键取模的取模值，并根据取模的值，按照Hash取模算法得到对应的分区；
[0023]根据得到的分区，将取模后的人群数据集中的各人群数据，分别通过对应的明细格式和结束符号格式，依次将每个用户人群数据的明细和对应的结结束符，进行发送，发送到所述取模值对应的Kafka中分区，进行分布式存储。
[0024]所述的基于消息队列的用户人群数据传输方法，其中，所述发送到所述取模值对应的Kafka中分区，进行分布式存储的步骤还包括：
[0025]将人群数据中的明细数据的Json数据按照程序加工成对象进行存储。
[0026]所述的基于消息队列的用户人群数据传输方法，其中，所述分别读取分布式存储的各人群数据，当读到对应人群数据的结束符号，则对应人群数据代表接收完成的步骤包括：
[0027]分别读取分布式存储的各人群数据；
[0028]当读取每个人群数据时、读到对应人群数据的结束符号，则对应人群数据代表接收完成。
[0029]一种基于消息队列的用户人群数据传输装置，其中，所述装置包括：
[0030]数据生成模块，用于获取需要发送的人群数据集，将所述人群数据集按照Kafka消息格式，同时进行主键取模，得到取模后的人群数据集；
[0031]数据发送与存储模块，用于获取主键取模的取模值，并将取模后的人群数据集中的各人群数据分别通过明细格式和结束符号格式，发送到所述取模值对应的Kafka中分区，进行分布式存储；
[0032]数据消费模块，用于分别读取分布式存储的各人群数据，当读到对应人群数据的结束符号，则对应人群数据代表接收完成。
[0033]一种智能终端，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。
[0034]一种非临时性计算机可读存储介质，其中，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行中任意一项所述的方法。
[0035]有益效果：与现有技术相比，本专利技术提供了一种稳定及高效的传输方法，本专利技术采用首先发送端进行指定Topic的分区发送人群明细之后再发送人群结束符，接收端只需要接收数据等待人群明细和结束符，发送和接收都是独立运行没有任何依赖关系。中间存储是Kafka自身特有的性能，能保存7天人群数据；本专利技术基于Kafka消息队列及特有的属性，将用户人群数据进行稳定传输，可彻底解决发送端的瓶颈、接收端的瓶颈、中间存储的瓶颈等弊端，为用户的使用提供了方便。
附图说明
[0036]图1为本专利技术实施例提供的基于消息队列的用户人群数据传输方法的具体实施方式的流程图。
[0037]图2为本专利技术实施例提供的基于消息队列的用户人群数据传输方法的具体应用实施例主步骤示意图。
[0038]图3为本专利技术实施例提供的基于消息队列的用户人群数据传输方法的具体应用实施数据细化过程示意图。
[0039]图4是本专利技术实施例提供的基于消息队列的用户人群数据传输装置的原理框图。
[0040]图5是本专利技术实施例提供的智能终端的内部结构原理框图。
具体实施方式
[0041]为使本专利技术的目的、技术方案及效果更加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息队列的用户人群数据传输方法，其特征在于，所述方法包括：获取需要发送的人群数据集，将所述人群数据集按照Kafka消息格式，同时进行主键取模，得到取模后的人群数据集；获取主键取模的取模值，并将取模后的人群数据集中的各人群数据分别通过明细格式和结束符号格式，发送到所述取模值对应的Kafka中分区，进行分布式存储；分别读取分布式存储的各人群数据，当读到对应人群数据的结束符号，则对应人群数据代表接收完成。2.根据权利要求1所述基于消息队列的用户人群数据传输方法，其特征在于，所述获取需要发送的人群数据集，将所述人群数据集按照Kafka消息格式，同时进行主键取模，得到取模后的人群数据集的步骤包括：收集获取用户画像数据，将一个用户画像人群的主键定义为人群ID和人群版本，一个人群对应N个用户，以预备生产人群数据；对所述人群数据根据人群和版本两个主键，进主键取模，得到取模后的人群数据集。3.根据权利要求2所述的基于消息队列的用户人群数据传输方法，其特征在于，所述收集获取用户画像数据，将一个用户画像人群的主键定义为人群ID和人群版本，一个人群对应N个用户，以预备生产人群数据的步骤包括：将收集获取用户画像数据中的人群明细作为一个Json格式进行准备；将收集获取用户画像数据中的人群结束作为一个Json格式进行准备，用于当所有明细发送完成，在发送结束符号，代表这个人群已经发送完成。4.根据权利要求2所述的基于消息队列的用户人群数据传输方法，其特征在于，所述对所述人群数据根据人群和版本两个主键，进主键取模，得到取模后的人群数据集的步骤还包括：预先建立Kafka的Partition分区；对所述人群数据根据人群和版本两个主键，按照Hash取模算法得到Partition分区，且所述Partition分区的取模的值设置在0～9之间。5.根据权利要求1所述的基于消息队列的用户人群数据传输方法，其特征在于，所述获取主键取模的取模值，并将取模后的人群数据集中的各人群数据分别通过明细格式和结束符号格式，发送到所述取模值对应的Kafka中分...

【专利技术属性】
技术研发人员：余辉，
申请(专利权)人：深圳市酷开网络科技股份有限公司，
类型：发明
国别省市：