数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：接收第一消息数据；根据预设映射关系匹配得到与所述目标关键字对应的候选聚合节点分组；其中，候选聚合节点分组包括至少一个候选聚合节点，不同的目标关键字对应不同的候选聚合节点分组；从所述候选聚合节点分组中确定所述第一消息数据的目标聚合节点；将所述第一消息数据发送至所述目标聚合节点，以便所述目标聚合节点根据所述目标关键字对所述第一消息数据进行聚合处理。通过本公开实施例能够将包含目标关键字的同类消息数据发送至一个或多个专门的目标聚合节点上进行聚合处理，以便消息数据的聚合处理结果既能满足聚合效果，又能满足均匀分片的效果。的效果。的效果。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，产生了越来越多的消息数据，并且这些消息数据的应用也越来越多，例如将消息数据存储至数据库中，或者将消息数据按照接收时间的顺序转发至数据订阅者等。为了减少消息数据的处理次数，例如存储次数或转发次数等，在接收消息数据的一端通常会将数据进行聚合，例如将多条键值相同的数据聚合成一条数据进行存储或转发等。可见，消息数据聚合效率直接影响到消息数据的处理效率，因此如何提高数据聚合效率是目前数据聚合相关领域的技术人员致力于解决的主要问题之一。

技术实现思路

[0003]本公开实施例提供一种数据处理方法、装置、电子设备及存储介质。
[0004]第一方面，本公开实施例中提供了一种数据处理方法。
[0005]具体的，所述数据处理方法，包括：
[0006]接收第一消息数据；其中，所述第一消息数据中包括目标关键字；
[0007]根据预设映射关系匹配得到与所述目标关键字对应的候选聚合节点分组；其中，候选聚合节点分组包括至少一个候选聚合节点，不同的目标关键字对应不同的候选聚合节点分组；
[0008]从所述候选聚合节点分组中确定所述第一消息数据的目标聚合节点；
[0009]将所述第一消息数据发送至所述目标聚合节点，以便所述目标聚合节点根据所述目标关键字对所述第一消息数据进行聚合处理。
[0010]结合第一方面，本公开在第一方面的第一种实现方式中，所述候选聚合节点分组中所述候选聚合节点的数目与所述目标关键字的出现概率相关；其中，所述目标关键字的出现概率为在预设时间段内接收到的第二消息数据中，包含所述目标关键字的所述第二消息数据的数量占所述第二消息数据的总数量的比例。
[0011]结合第一方面和/或第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，还包括：
[0012]根据所述目标关键字的所述出现概率为所述目标关键字分配所述候选聚合节点分组。
[0013]结合第一方面、第一方面的第一种实现方式和/或第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，根据所述目标关键字的出现概率为所述目标关键字分配所述候选聚合节点分组，包括：
[0014]统计预设时间段内接收到的所述第二消息数据中所包含的关键字，得到关键字集合；
[0015]针对所述关键字集合中的所述关键字，确定包含同一所述关键字的所述第二消息数据的第一数量；
[0016]根据所述第一数量以及所述预设时间段内接收到的所述第二消息数据的总数量确定所述关键字的出现概率；
[0017]根据所述出现概率确定所述关键字的候选聚合节点分组。
[0018]结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和/或第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，根据所述出现概率确定所述关键字的候选聚合节点分组，包括：
[0019]根据所述出现概率确定能够分配给所述关键字的所述候选聚合节点的目标计算能力；
[0020]根据所述目标计算能力从具有未被分配给任意所述关键字的剩余计算能力的可用候选聚合节点中确定所述候选聚合节点分组。
[0021]结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和/或第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，根据所述出现概率确定能够分配给所述关键字的所述候选聚合节点的目标计算能力，包括：
[0022]在根据所述关键字集合中所述关键字的出现概率确定所述可用候选聚合节点的总数量，满足以所述可用候选聚合节点的整体为单位为所述关键字分配所述候选聚合节点时，根据所述关键字的出现概率乘以所述总数量确定能够分配给所述关键字的所述候选聚合节点的第二数量；
[0023]根据所述目标计算能力从具有未被分配给任意所述关键字的剩余计算能力的所述可用候选聚合节点中确定所述候选聚合节点分组，包括：
[0024]选取第二数量个未分配的所述可用候选聚合节点加入所述关键字的所述候选聚合节点分组。
[0025]结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和/或第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，根据所述出现概率确定能够分配给所述关键字的所述候选聚合节点的目标计算能力，包括：
[0026]根据所述出现概率以及所述可用候选聚合节点的总计算能力确定能够分配给所述关键字的所述候选聚合节点的目标计算能力。
[0027]结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式和/或第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，根据所述目标计算能力从具有未被分配给任意所述关键字的剩余计算能力的可用候选聚合节点中确定所述候选聚合节点分组，包括：
[0028]按照优先为同一个所述关键字分配同一个所述可用候选聚合节点的方式确定所述候选聚合节点分组。
[0029]结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式、第一方面
的第六种实现方式和/或第一方面的第七种实现方式，本公开在第一方面的第八种实现方式中，从所述候选聚合节点分组中确定所述第一消息数据的目标聚合节点，包括：
[0030]以将包括所述目标关键字的消息数据均匀分发到所述目标关键字对应的所述候选聚合节点分组中的所述候选聚合节点的方式确定所述目标聚合节点。
[0031]第二方面，本公开实施例中提供了一种数据处理装置。
[0032]具体的，所述数据处理装置，包括：
[0033]接收模块，被配置为接收第一消息数据；其中，所述第一消息数据中包括目标关键字；
[0034]匹配模块，被配置为根据预设映射关系匹配得到与所述目标关键字对应的候选聚合节点分组；其中，候选聚合节点分组包括至少一个候选聚合节点，不同的目标关键字对应不同的候选聚合节点分组；
[0035]确定模块，被配置为从所述候选聚合节点分组中确定所述第一消息数据的目标聚合节点；
[0036]发送模块，被配置为将所述第一消息数据发送至所述目标聚合节点，以便所述目标聚合节点根据所述目标关键字对所述第一消息数据进行聚合处理。
[0037]结合第二方面，本公开在第二方面的第一种实现方式中，所述候选聚合节点分组中所述候选聚合节点的数目与所述目标关键字的出现概率相关；其中，所述目标关键字的出现概率为在预设时间段内接收到的第二消息数据中，包含所述目标关键字的所述第二消息数据的数量占所述第二消息数据的总数量的比例。
[0038]结合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收第一消息数据；其中，所述第一消息数据中包括目标关键字；根据预设映射关系匹配得到与所述目标关键字对应的候选聚合节点分组；其中，候选聚合节点分组包括至少一个候选聚合节点，不同的目标关键字对应不同的候选聚合节点分组；从所述候选聚合节点分组中确定所述第一消息数据的目标聚合节点；将所述第一消息数据发送至所述目标聚合节点，以便所述目标聚合节点根据所述目标关键字对所述第一消息数据进行聚合处理。2.根据权利要求1所述的方法，其特征在于，所述候选聚合节点分组中所述候选聚合节点的数目与所述目标关键字的出现概率相关；其中，所述目标关键字的出现概率为在预设时间段内接收到的第二消息数据中，包含所述目标关键字的所述第二消息数据的数量占所述第二消息数据的总数量的比例。3.根据权利要求2所述的方法，其特征在于，还包括：根据所述目标关键字的所述出现概率为所述目标关键字分配所述候选聚合节点分组。4.根据权利要求3所述的方法，其特征在于，根据所述目标关键字的出现概率为所述目标关键字分配所述候选聚合节点分组，包括：统计预设时间段内接收到的所述第二消息数据中所包含的关键字，得到关键字集合；针对所述关键字集合中的所述关键字，确定包含同一所述关键字的所述第二消息数据的第一数量；根据所述第一数量以及所述预设时间段内接收到的所述第二消息数据的总数量确定所述关键字的出现概率；根据所述出现概率确定所述关键字的候选聚合节点分组。5.根据权利要求4所述的方法，其特征在于，根据所述出现概率确定所述关键字的候选聚合节点分组，包括：根据所述出现概率确定能够分配给所述关键字的所述候选聚合节点的目标计算能力；根据所述目标计算能力从具有未被分配给任意所述关键字的剩余计算能力的可用候选聚合节点中确定所述候选聚合节点分组。6.根据权利要求5所述的方法，其特征在于，根据所述出现...

【专利技术属性】
技术研发人员：朱杰，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：