数据处理方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法、装置、电子设备和计算机可读存储介质；在本申请实施例中，获取原始数据，并对原始数据进行划分，得到多块行为数据；从多块行为数据中筛选出相邻的候选块行为数据；获取候选块行为数据中的目标用户的候选相邻用户的行为数据，生成目标用户与候选相邻用户的行为数据之间的映射关系，并将映射关系存储于缓存中；从多块行为数据中筛选出除了候选块行为数据之外的相邻的后续块行为数据；获取后续块行为数据的后续用户的后续相邻用户的行为数据，并将后续用户与后续相邻用户的行为数据替换映射关系中的目标用户与候选相邻用户的行为数据。本申请实施例可以节省缓存。实施例可以节省缓存。实施例可以节省缓存。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及数据处理
，具体涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着互联网的发展，使用互联网的用户越来越多。为了更好地服务用户，一般会对用户的行为数据进行统计分析。
[0003]目前，当对用户进行分析时，会统计与用户的相邻用户的行为数据，并将相邻用户的行为数据的统计结果作为用户的特征。因此，当获取到一条用户行为数据时，会获取该用户行为数据对应的用户的相邻用户的行为数据，然后进行统计。该方法需要存储所有用户的相邻用户的行为数据，导致需要消耗的大量的缓存。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、装置、电子设备和计算机可读存储介质，可以解决需要消耗的大量的缓存的技术问题。
[0005]一种数据处理方法，包括：
[0006]获取原始数据，并对上述原始数据进行划分，得到多块行为数据；
[0007]从上述多块行为数据中筛选出相邻的候选块行为数据；
[0008]获取上述候选块行为数据中的目标用户的候选相邻用户的行为数据，生成上述目标用户与上述候选相邻用户的行为数据之间的映射关系，并将上述映射关系存储于缓存中；
[0009]从上述多块行为数据中筛选出除了上述候选块行为数据之外的相邻的后续块行为数据；
[0010]获取上述后续块行为数据的后续用户的后续相邻用户的行为数据，并将上述后续用户与上述后续相邻用户的行为数据替换上述映射关系中的上述目标用户与上述候选相邻用户的行为数据。
[0011]相应地，本申请实施例提供一种数据处理装置，包括：
[0012]第一获取模块，用于获取原始数据，并对所述原始数据进行划分，得到多块行为数据；
[0013]第一筛选模块，用于从所述多块行为数据中筛选出相邻的候选块行为数据；
[0014]第二获取模块，用于获取所述候选块行为数据中的目标用户的候选相邻用户的行为数据，生成所述目标用户与所述候选相邻用户的行为数据之间的映射关系，并将所述映射关系存储于缓存中；
[0015]第二筛选模块，用于从所述多块行为数据中筛选出除了所述候选块行为数据之外的相邻的后续块行为数据；
[0016]第三获取模块，用于获取所述后续块行为数据的后续用户的后续相邻用户的行为
数据，并将所述后续用户与所述后续相邻用户的行为数据替换所述映射关系中的所述目标用户与所述候选相邻用户的行为数据。
[0017]可选地，上述相邻的候选块行为数据包括第一块行为数据和第二块行为数据，上述相邻的后续块行为数据包括第三块行为数据和第四块行为数据；
[0018]相应地，上述第二获取模块具体用于执行：
[0019]获取上述第一块行为数据中的第一目标用户的第一候选相邻用户的行为数据，并生成上述第一目标用户与上述第一候选相邻用户的行为数据之间的第一映射关系；
[0020]获取上述第二块行为数据中的第二目标用户的第二候选相邻用户的行为数据，并生成上述第二目标用户与上述第二候选相邻用户的行为数据之间的第二映射关系；
[0021]将上述第一映射关系和上述第二映射关系存储于缓存中。
[0022]第三获取模块具体用于执行：
[0023]获取上述第三块行为数据中的第一后续用户的第一后续相邻用户的行为数据，以及获取上述第四块行为数据中的第二后续用户的第二后续相邻用户的行为数据；
[0024]将上述第一后续用户与上述第一后续相邻用户的行为数据替换上述第一映射关系中的上述第一目标用户与上述第一候选相邻用户的行为数据；
[0025]将上述第二后续用户与上述第二后续相邻用户的行为数据替换上述第二映射关系中的上述第二目标用户与上述第二候选相邻用户的行为数据。
[0026]可选地，上述第二获取模块具体用于执行：
[0027]将上述候选块行为数据划分为各个候选子块行为数据，各个上述候选子块行为数据的数量之间的差值在预设数值区间内；
[0028]每次向外部数据库获取一块上述候选子块行为数据的目标用户的候选相邻用户的行为数据，直至上述候选块行为数据的目标用户的候选相邻用户的行为数据获取完成。
[0029]可选地，上述第二获取模块具体用于执行：
[0030]采用一致性哈希算法，将上述候选块行为数据划分为各个候选子块行为数据。
[0031]可选地，上述映射关系为状态管理函数；
[0032]相应地，上述第二获取模块具体用于执行：
[0033]获取上述候选块行为数据中的目标用户的候选相邻用户；
[0034]将上述目标用户的标识和上述候选相邻用户的标识存储在上述状态管理函数中的第一变量中；
[0035]获取上述候选相邻用户的行为数据；
[0036]将上述候选相邻用户的标识和上述候选相邻用户的行为数据存储在上述状态管理函数中的第二变量中；
[0037]将上述状态管理函数存储于缓存中。
[0038]可选地，第二获取模块具体用于执行：
[0039]将上述目标用户的标识和上述候选相邻用户的标识的数据类型转换为整数类型，得到整数类型的目标用户的标识和整数类型的候选相邻用户的标识；
[0040]将上述整数类型的目标用户的标识和上述整数类型的候选相邻用户的标识存储在上述状态管理函数中的第一变量中。
[0041]可选地，该数据处理装置还包括：
[0042]同步模块，用于将上述候选块行为数据同步至各个执行服务器中的执行器中。
[0043]发送模块，用于生成存储完成信息，并将上述存储完成信息发送给驱动服务器，以使上述驱动服务器确定执行服务器中执行器的标识，执行器的标识对应的执行器用于基于上述候选块行为数据对上述映射关系中的行为数据进行统计。
[0044]此外，本申请实施例还提供一种电子设备，包括处理器和存储器，上述存储器存储有计算机程序，上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的数据处理方法。
[0045]此外，本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序适于处理器进行加载，以执行本申请实施例所提供的任一种数据处理方法。
[0046]此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例所提供的任一种数据处理方法。
[0047]在本申请实施例中，先获取原始数据，并对原始数据进行划分，得到多块行为数据。然后从多块行为数据中筛选出相邻的候选块行为数据。接着获取候选块行为数据中的目标用户的候选相邻用户的行为数据，生成目标用户与候选相邻用户的行为数据之间的映射关系，并将映射关系存储于缓存中。其次从多块行为数据中筛选出除了候选块行为数据之外的相邻的后续块行为数据。最后获取后续块行为数据的后续用户的后续相邻用户的行为数据，并将后续用户与后续相邻用户的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取原始数据，并对所述原始数据进行划分，得到多块行为数据；从所述多块行为数据中筛选出相邻的候选块行为数据；获取所述候选块行为数据中的目标用户的候选相邻用户的行为数据，生成所述目标用户与所述候选相邻用户的行为数据之间的映射关系，并将所述映射关系存储于缓存中；从所述多块行为数据中筛选出除了所述候选块行为数据之外的相邻的后续块行为数据；获取所述后续块行为数据的后续用户的后续相邻用户的行为数据，并将所述后续用户与所述后续相邻用户的行为数据替换所述映射关系中的所述目标用户与所述候选相邻用户的行为数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述相邻的候选块行为数据包括第一块行为数据和第二块行为数据，所述相邻的后续块行为数据包括第三块行为数据和第四块行为数据；相应地，所述获取所述候选块行为数据中的目标用户的候选相邻用户的行为数据，生成所述目标用户与所述候选相邻用户的行为数据之间的映射关系，并将所述映射关系存储于缓存中，包括：获取所述第一块行为数据中的第一目标用户的第一候选相邻用户的行为数据，并生成所述第一目标用户与所述第一候选相邻用户的行为数据之间的第一映射关系；获取所述第二块行为数据中的第二目标用户的第二候选相邻用户的行为数据，并生成所述第二目标用户与所述第二候选相邻用户的行为数据之间的第二映射关系；将所述第一映射关系和所述第二映射关系存储于所述缓存中；所述获取所述后续块行为数据的后续用户的后续相邻用户的行为数据，并将所述后续用户与所述后续相邻用户的行为数据替换所述映射关系中的所述目标用户与所述候选相邻用户的行为数据，包括：获取所述第三块行为数据中的第一后续用户的第一后续相邻用户的行为数据，以及获取所述第四块行为数据中的第二后续用户的第二后续相邻用户的行为数据；将第一后续用户与第一后续相邻用户的行为数据替换所述第一映射关系中的第一目标用户与所述第一候选相邻用户的行为数据；将第二后续用户与第二后续相邻用户的行为数据替换所述第二映射关系中的第二目标用户与所述第二候选相邻用户的行为数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述获取所述候选块行为数据中的目标用户的候选相邻用户的行为数据，包括：将所述候选块行为数据划分为各个候选子块行为数据，各个所述候选子块行为数据的数量之间的差值在预设数值区间内；每次向外部数据库获取一块所述候选子块行为数据的目标用户的候选相邻用户的行为数据，直至所述候选块行为数据的目标用户的候选相邻用户的行为数据获取完成。4.根据权利要求3所述的数据处理方法，其特征在于，所述将所述候选块行为数据划分为各个候选子块行为数据，包括：采用一致性哈希算法，将所述候选块行为数据划分为各个候选子块行为数据。
5.根据权利要求1所述的数据处理方法，其特征在于，所述映射关系为状态管理函...

【专利技术属性】
技术研发人员：石志林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：