信息推荐的倒排索引构建方法、装置、设备及存储介质制造方法及图纸

技术编号:39261531 阅读:27 留言:0更新日期:2023-10-30 12:14
本申请提供了一种信息推荐的倒排索引构建处理方法、装置、设备及存储介质;涉及人工智能的信息推荐领域;方法包括:针对推荐系统的信息库中的多个信息,分配一一对应的多个全局标识,其中,每个全局标识用于在信息库中表征所对应的信息;针对多个开发端分配多个索引域,其中,不同的开发端分配到的索引域不同;接收每个开发端发送的数据,其中,数据包括多个信息在开发端分配到的索引域下的标签、以及标签的推荐参数;基于多个开发端分别发送的数据、以及多个全局标识,构建多个索引域下分别对应的倒排索引,其中,倒排索引用于推荐系统进行多个信息的推荐。通过本申请,能够提高推荐场景下倒排索引的构建效率。荐场景下倒排索引的构建效率。荐场景下倒排索引的构建效率。

【技术实现步骤摘要】
信息推荐的倒排索引构建方法、装置、设备及存储介质


[0001]本申请涉及互联网
,尤其涉及一种信息推荐的倒排索引构建方法、装置、设备及存储介质。

技术介绍

[0002]相关技术中,倒排索引的做法是给每个文档创建一个内部的标识(例如Local ID),例如一台机器上有1000000个文档,那么对应的Local ID就是从0~999999。针对文档中不同的字段来建立倒排索引,其中,键(Key)是字段名和字段值用连接符连接在一起,例如“Hobby:滑雪”,而值(Value)是一个数组,对应的是字段“Hobby”中包含关键词“滑雪”的文档的Local ID和得分(Score),这里的Score代表这篇文档与“滑雪”的相关度或者热度等度量。
[0003]可以看出,相关技术提供的方案是将文档的倒排字段捆绑在一起更新,这大大限制了开发端的并行开发和挖掘,这是因为每个开发端可能只负责挖掘几十个倒排字段中的几个,那么挖掘好的倒排字段更新到文档里,到生效、以及最终上线会互相依赖和耦合,这样在效率上会互相受到制约,导致倒排索引的构建效率低下。
本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种信息推荐的倒排索引构建方法,其特征在于,所述方法包括:针对推荐系统的信息库中的多个信息,分配一一对应的多个全局标识,其中,每个所述全局标识用于在所述信息库中表征所对应的所述信息;针对多个开发端分配多个索引域,其中,不同的所述开发端分配到的所述索引域不同;接收每个所述开发端发送的数据,其中,所述数据包括所述多个信息在所述开发端分配到的所述索引域下的标签、以及所述标签的推荐参数;基于所述多个开发端分别发送的所述数据、以及所述多个全局标识,构建所述多个索引域下分别对应的倒排索引,其中,所述倒排索引用于所述推荐系统进行所述多个信息的推荐。2.根据权利要求1所述的方法,其特征在于,所述基于所述多个开发端分别发送的所述数据、以及所述多个全局标识,构建所述多个索引域下分别对应的倒排索引,包括:针对每个所述开发端发送的所述数据,执行以下处理:从所述数据中提取所述多个信息在所述开发端分配到的所述索引域下的标签;以所述标签为键,以所述标签所关联的多个所述信息的多个所述全局标识、以及所述标签与所关联的多个所述信息分别对应的多个所述推荐参数为值,构建所述索引域下的倒排索引。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:按照多个所述推荐参数从大到小的顺序,对所述标签所关联的多个所述信息的多个所述全局标识进行排序,其中,所述推荐参数表征所述标签与所述信息之间的相关性。4.根据权利要求1所述的方法,其特征在于,所述针对多个开发端分配多个索引域,包括:创建多个索引域一一对应的多个索引域标识;针对多个开发端分配所述多个索引域标识,其中,不同的所述开发端分配到的所述索引域标识不同,且不同的所述开发端分配到的所述索引域标识的数量相同,或者与所述开发端的运算能力正相关。5.根据权利要求4所述的方法,其特征在于,所述多个索引域标识用于供所述多个开发端执行以下处理:从分配到的至少一个所述索引域标识中选取可用的索引域标识;针对每个所述信息,对所述信息进行标签生成处理和推荐参数计算处理,得到所述信息在所述可用的索引域标识对应的索引域下的标签、以及所述标签的推荐参数。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:针对每个所述全局标识执行以下处理:以所述全局标识为键,以所述全局标识对应的正排信息为值,构建所述推荐系统的正排索引,其中,所述对应的正排信息为所述全局标识所对应的所述信息包括的目标字段,所述正排信息用于对基于所述倒排索引召回的信息进行推荐参数计算、过滤、以及排序处理;将所述正排索引存储于缓存空间中。7.根据权利要求6所述的方法,其特征在于,所述缓存空间中存储的所述正排索引具有设定的存活时长;所述方法还包括:
响应于正排信息获取请求,从所述缓存空间中查询与所述获取请求携带的全局标识匹配的正排...

【专利技术属性】
技术研发人员:彭志成欧阳金华李翔刘晓聪冯世恺闫文山左御丁
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1