一种基于大语言模型的推荐方法、装置、设备及存储介质制造方法及图纸

技术编号:41244145 阅读:21 留言:0更新日期:2024-05-09 23:55
本申请涉及一种基于大语言模型的推荐方法、装置、电子设备及存储介质,其中,该基于大语言模型的推荐方法包括:获取目标数据;调取多个预训练后的推荐子模型,根据所述目标数据的语义理解向每个所述推荐子模型的适配器分配注意力权重;所述适配器被预先配置在对应的所述推荐子模型中;按照所述注意力权重对所述推荐子模型进行聚合,确定目标推荐模型;通过所述目标推荐模型对所述目标数据进行预测,根据预测结果确定是否向用户推荐所述目标数据。通过本申请只需要执行一次推理输出过程,效率更高,解决了现有的相关技术中存在的推荐模型的推理时间较长的问题。

【技术实现步骤摘要】

本申请涉及数据推荐,特别是涉及一种基于大语言模型的推荐方法、装置、电子设备及存储介质。


技术介绍

1、大语言模型(简称大模型)在文本理解和生成方面表现出卓越的能力,使其能够快速对齐到下游特定任务。作为个性化推荐的主要渠道,推荐系统可以利用大模型理解用户和物品,推动了基于大语言模型推荐范式的出现。目前利用推荐数据进行参数高效微调是大语言模型推荐的标准方法。然而,将推荐数据整合进大语言模型中,增加了通过语言模型的脆弱性而导致个人数据泄露的风险。为了保护用户的隐私,尤其是易受攻击的人群,大语言模型推荐的遗忘学习变得至关重要。

2、目前并没有解决大模型推荐遗忘学习的研究,只有部分针对大模型遗忘学习的研究。包括修改对遗忘数据的标签,并在这些修改标签上进行微调进行大模型的遗忘学习,或是利用“上下文遗忘学习”的技术通过反转遗忘数据的标签实现近似遗忘学习。还有工作利用梯度上身来消除遗忘数据对已训练模型的影响。这些方法都是近似的遗忘学习,并不能保证完全删除遗忘数据对模型产生的影响。而大模型推荐遗忘学习需要准确的遗忘,将用户的某段历史交互信息从模型中完全剔除。...

【技术保护点】

1.一种基于大语言模型的推荐方法,其特征在于,包括:

2.根据权利要求1所述的基于大语言模型的推荐方法,其特征在于,对所述推荐子模型进行训练的步骤包括:

3.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,所述获取训练集,包括:

4.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,对所述训练集进行划分,确定多个训练数据组,包括:

5.根据权利要求4所述的基于大语言模型的推荐方法,其特征在于,所述按照所述样本数据的隐向量对所述训练集进行划分,确定多个训练数据组之后,还包括:

6.根据权利要求1所述的基于大语言模...

【技术特征摘要】

1.一种基于大语言模型的推荐方法,其特征在于,包括:

2.根据权利要求1所述的基于大语言模型的推荐方法,其特征在于,对所述推荐子模型进行训练的步骤包括:

3.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,所述获取训练集,包括:

4.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,对所述训练集进行划分,确定多个训练数据组,包括:

5.根据权利要求4所述的基于大语言模型的推荐方法,其特征在于,所述按照所述样本数据的隐向量对所述训练集进行划分,确定多个训练数据组之后,还包括:

6.根据权利要求1所述的基于大语言模型的推荐方法,其特征在于,...

【专利技术属性】
技术研发人员:冯福利胡治宇张洋肖明昊何向南
申请(专利权)人:数据空间研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1