数据处理方法及装置、存储介质及电子设备制造方法及图纸

技术编号:24853852 阅读:28 留言:0更新日期:2020-07-10 19:07
本发明专利技术提供了一种数据处理方法及装置、存储介质及电子设备,该方法包括:在信息推荐的过程中,获取目标模块进行数据处理的过程数据和结果数据,目标模块为推荐系统中的任意一个模块,获取目标模块的上一模块的模块处理标识,并生成目标模块的模块处理标识,将过程数据、结果数据、目标模块的上一模块的模块处理标识、以及目标模块的模块处理标识,组成目标模块对应的埋点数据,并对目标模块对应的埋点数据进行解析,得到解析结果,并将解析结果进行存储。本技术方案,通过获取信息推荐过程中每个模块各自对应的埋点数据,并将埋点数据进行解析并存储,实现推荐系统中的数据使用情况的可追溯,从而提高信息推荐过程的数据使用的透明度和可解释性。

【技术实现步骤摘要】
数据处理方法及装置、存储介质及电子设备
本专利技术涉及计算机应用领域,尤其涉及一种数据处理方法及装置、存储介质及电子设备。
技术介绍
随着移动互联网用户的不断增多、以及用户生成内容(UserGeneratedContent,UGC)的兴起,大量的内容信息导致用户信息过载,为了缓解信息过载,推荐系统应运而生。现有的推荐系统主要包含画像模块、召回模块、排序模块、以及推荐引擎模块,在画像模块生成用户画像以及物品画像,在召回模块中结合用户画像、物品画像以及用户历史行为数据,筛选出用户可能感兴趣的多个物品,在排序模块对筛选出的物品进行排序,最后由推荐引擎模块生成推荐结果进行信息推荐。现有的推荐系统采用异步处理的方式部署画像模块、召回模块、排序模块、以及推荐引擎,即推荐系统中各个模块的数据处理方式为异步处理,使得无法追溯推荐系统中的数据使用情况,导致数据使用的可解释性差。
技术实现思路
本申请提供了一种数据处理方法及装置、存储介质及电子设备,目的在于解决推荐系统中各个模块的数据处理方式为异步处理,使得无法追溯推荐系统中的本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,应用于推荐系统,所述推荐系统包括画像模块、召回模块、排序模块、以及推荐引擎模块,所述方法包括:/n在信息推荐的过程中,获取目标模块进行数据处理的过程数据和结果数据;所述目标模块为所述推荐系统中的任意一个模块;/n获取所述目标模块的上一模块的模块处理标识;/n生成所述目标模块的模块处理标识;/n将所述过程数据、所述结果数据、所述目标模块的上一模块的模块处理标识、以及所述目标模块的模块处理标识,组成所述目标模块对应的埋点数据;/n依据预设的与所述目标模块对应的数据解析策略,对所述目标模块对应的埋点数据进行解析,得到解析结果,并将所述解析结果进行存储。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于推荐系统,所述推荐系统包括画像模块、召回模块、排序模块、以及推荐引擎模块,所述方法包括:
在信息推荐的过程中,获取目标模块进行数据处理的过程数据和结果数据;所述目标模块为所述推荐系统中的任意一个模块;
获取所述目标模块的上一模块的模块处理标识;
生成所述目标模块的模块处理标识;
将所述过程数据、所述结果数据、所述目标模块的上一模块的模块处理标识、以及所述目标模块的模块处理标识,组成所述目标模块对应的埋点数据;
依据预设的与所述目标模块对应的数据解析策略,对所述目标模块对应的埋点数据进行解析,得到解析结果,并将所述解析结果进行存储。


2.根据权利要求1所述的方法,其特征在于,所述生成所述目标模块的模块处理标识,包括:
启动预设的标识生成算法,生成所述目标模块的数据处理标识;
获取预设的所述目标模块对应的数据处理逻辑;
将所述数据处理标识和所述数据处理逻辑组成所述目标模块的模块处理标识。


3.根据权利要求1所述的方法,其特征在于,所述依据预设的与所述目标模块对应的数据解析策略,对所述目标模块对应的埋点数据进行解析,包括:
确定预设的所述目标模块对应的数据解析策略中包含的各个关键字段;
解析所述目标模块对应的埋点数据,从所述埋点数据中提取每个所述关键字段各自对应的数据项。


4.根据权利要求1所述的方法,其特征在于,所述将所述过程数据、所述结果数据、所述目标模块的上一模块的模块处理标识、以及所述目标模块的模块处理标识,组成所述目标模块对应的埋点数据之后,还包括:
将所述目标模块对应的埋点数据存储至预先构建的数据库中。


5.根据权利要求4所述的方法,其特征在于,还包括:
按预设周期,对所述数据库中存储的各个埋点数据进行统计,得到统计结果;
对所述统计结果进行显示。


6.根据权利要求5所述的方法,其特征在于,所述对所述数据库中存储的各个埋点数据进行统计,包括:
依据所述数据库中存储的各个埋点数据,确定预设周期内的埋点数据;
依据所述预设周期内的埋点数据,计算推荐系统中包含的每个模块的数据使用率;每个模块的数据使用率用于表征所述模块...

【专利技术属性】
技术研发人员:尹学正
申请(专利权)人:北京搜狐新动力信息技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1