【技术实现步骤摘要】
操作数据处理方法、装置、计算机设备和存储介质
[0001]本申请涉及计算机
,特别是涉及一种操作数据处理方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着计算机技术的快速发展,计算机设备每时每刻都需要运行庞大的数据,例如用户对业务的请求数据、浏览数据、验证数据等操作数据。计算机设备通过对用户的操作数据的解析和处理,实现对各种业务需求的数据支持。
[0003]而传统的对操作数据的处理,一般是采用批处理技术,但批处理技术对处理资源的要求较高,在处理资源有限的情况下容易造成拥堵,导致处理效率低。
技术实现思路
[0004]基于此,有必要针对上述技术问题,提供一种能够实现负载均衡、提高数据处理效率的操作数据处理方法、装置、计算机设备和存储介质。
[0005]一种操作数据处理方法,所述方法包括:
[0006]获取对各目标资源进行操作所得到的操作数据;所述操作数据包括对象标识和关联的资源标识;
[0007]将各所述对象标识分别转换为对应的哈希数据,并通过各所述哈希数据在预 ...
【技术保护点】
【技术特征摘要】
1.一种操作数据处理方法,其特征在于,所述方法包括:获取对各目标资源进行操作所得到的操作数据;所述操作数据包括对象标识和关联的资源标识;将各所述对象标识分别转换为对应的哈希数据,并通过各所述哈希数据在预设索引表中分别查找对应的目标索引;确定各所述目标索引对应的位置上所保存的地址,并将各所述对象标识和关联的资源标识,分发至处于相应地址的处理单元;通过各所述处理单元基于所接收到的对象标识获取对应的对象特征,并基于所接收到的资源标识获取对应的资源特征;通过各所述处理单元,将各所述对象标识的对象特征与所述对象标识相关联的资源标识的资源特征进行拼接,得到目标特征数据;所述目标特征数据用于对预测模型进行训练,所述预测模型用于预测待处理资源的资源点击率。2.根据权利要求1所述的方法,其特征在于,所述获取对各目标资源进行操作所得到的操作数据,包括:每隔预设时长,获取对各目标资源进行操作所得到的操作数据;所述方法还包括:从所述操作数据中获取对象标识和对象特征,并将所述对象标识和对应的对象特征关联存储至缓存空间;从所述操作数据中获取各所述目标资源分别对应的资源标识和资源特征,并将每个所述资源标识和对应的资源特征关联存储至缓存空间。3.根据权利要求1所述的方法,其特征在于,所述将各所述对象标识分别转换为对应的哈希数据,并通过各所述哈希数据在预设索引表中分别查找对应的目标索引,包括:通过哈希函数将各所述对象标识分别转换为对应的哈希数据,根据各所述哈希数据和预设索引表的长度,确定每个所述对象标识分别对应的转换值;通过各所述转换值在所述预设索引表中分别查找对应的目标索引。4.根据权利要求1所述的方法,其特征在于,所述预设索引表通过构建步骤得到,所述构建步骤包括:构建空索引表,并将各候选对象标识分别转换为对应的候选哈希数据;根据各所述候选哈希数据确定所述空索引表中各位置的索引;通过各处理单元的地址对所述空索引表中各索引对应的位置进行填充,得到预设索引表。5.根据权利要求4所述的方法,其特征在于,所述通过各处理单元的地址对所述空索引表中各索引对应的位置进行填充,得到预设索引表,包括:通过两个随机哈希函数和各处理单元的单元标识,生成每个所述处理单元的列表中的随机值;每个所述处理单元的列表中随机值的数量和所述空索引表中位置的数量相同;基于各所述处理单元的列表中的随机值,将各所述处理单元的地址填充至所述空索引表中的各位置,得到预设索引表。6.根据权利要求5所述的方法,其特征在于,所述通过两个随机哈希函数和各处理单元的单元标识,生成每个所述处理单元的列表中的随机值,包括:
基于第一哈希函数、各处理单元的单元标识和空索引表的长度,确定每个所述处理单元分别对应的偏移量;基于第二哈希函数、各处理单元的单元标识和所述空索引表的长度,确定每个所述处理单元分别对应的跳跃量;所述第二哈希函数不同于所述第一哈希函数;根据各所述处理单元对应的偏移量和跳跃量,确定每个所述处理单元的列表中的随机值。7.根据权利要求5所述的方法,其特征在于,所述基于各所述处理单元的列表中的随机值,将各所述处理单元的地址填充至所述空索引表中的各位置,得到预设索引表,包括:从各所述处理单元的列表中选取目标...
【专利技术属性】
技术研发人员:石志林,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。