【技术实现步骤摘要】
本申请涉及数据推荐,特别是涉及一种基于大语言模型的推荐方法、装置、电子设备及存储介质。
技术介绍
1、大语言模型(简称大模型)在文本理解和生成方面表现出卓越的能力,使其能够快速对齐到下游特定任务。作为个性化推荐的主要渠道,推荐系统可以利用大模型理解用户和物品,推动了基于大语言模型推荐范式的出现。目前利用推荐数据进行参数高效微调是大语言模型推荐的标准方法。然而,将推荐数据整合进大语言模型中,增加了通过语言模型的脆弱性而导致个人数据泄露的风险。为了保护用户的隐私,尤其是易受攻击的人群,大语言模型推荐的遗忘学习变得至关重要。
2、目前并没有解决大模型推荐遗忘学习的研究,只有部分针对大模型遗忘学习的研究。包括修改对遗忘数据的标签,并在这些修改标签上进行微调进行大模型的遗忘学习,或是利用“上下文遗忘学习”的技术通过反转遗忘数据的标签实现近似遗忘学习。还有工作利用梯度上身来消除遗忘数据对已训练模型的影响。这些方法都是近似的遗忘学习,并不能保证完全删除遗忘数据对模型产生的影响。而大模型推荐遗忘学习需要准确的遗忘,将用户的某段历史交互信息从
...【技术保护点】
1.一种基于大语言模型的推荐方法,其特征在于,包括:
2.根据权利要求1所述的基于大语言模型的推荐方法,其特征在于,对所述推荐子模型进行训练的步骤包括:
3.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,所述获取训练集,包括:
4.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,对所述训练集进行划分,确定多个训练数据组,包括:
5.根据权利要求4所述的基于大语言模型的推荐方法,其特征在于,所述按照所述样本数据的隐向量对所述训练集进行划分,确定多个训练数据组之后,还包括:
6.根据权利要求
...【技术特征摘要】
1.一种基于大语言模型的推荐方法,其特征在于,包括:
2.根据权利要求1所述的基于大语言模型的推荐方法,其特征在于,对所述推荐子模型进行训练的步骤包括:
3.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,所述获取训练集,包括:
4.根据权利要求2所述的基于大语言模型的推荐方法,其特征在于,对所述训练集进行划分,确定多个训练数据组,包括:
5.根据权利要求4所述的基于大语言模型的推荐方法,其特征在于,所述按照所述样本数据的隐向量对所述训练集进行划分,确定多个训练数据组之后,还包括:
6.根据权利要求1所述的基于大语言模型的推荐方法,其特征在于,...
【专利技术属性】
技术研发人员:冯福利,胡治宇,张洋,肖明昊,何向南,
申请(专利权)人:数据空间研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。