System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于联邦学习的个性化学习推荐系统技术方案_技高网

一种基于联邦学习的个性化学习推荐系统技术方案

技术编号:41372783 阅读:22 留言:0更新日期:2024-05-20 10:17
本发明专利技术涉及个性化学习推荐技术领域,且公开了一种基于联邦学习的个性化学习推荐系统,个性化学习推荐模块包括:用于将不同来源的学习者数据分散存储在各自的设备或本地服务器中的数据分区与存储模块;用于跟踪记录每个用户在学习过程中掌握的知识点状态的知识点追踪模块;用于协调多个参与方共同训练一个全局模型的联邦学习模块;用于保证数据传输和模型更新过程中参数安全性和隐私性的隐私保护与加密模块;用于根据联邦学习获得的个性化模型为用户生成学习资源推荐的个性化推荐生成模块;所述联邦学习模块中设置有追踪模型训练模块、模型更新上传模块以及联合优化模块。

【技术实现步骤摘要】

本专利技术涉及个性化学习推荐,具体为一种基于联邦学习的个性化学习推荐系统


技术介绍

1、个性化推荐系统是利用机器学习算法来分析用户的行为、偏好和历史记录,以预测用户对不同内容的潜在兴趣,从而提供高度匹配的个性化内容推荐,联邦学习作为一种新兴的分布式机器学习技术应运而生,它允许在保持数据本地化的同时进行模型训练,每个参与方(如用户的设备、机构或组织)在本地存储和处理数据,并仅上传模型更新而非原始数据,通过加密通信和安全聚合技术,在不直接交换数据的情况下协同优化全局模型,而传统的推荐系统常常需要集中存储和处理大量用户数据,这有助于模型训练,但也带来了隐私泄露的风险,并且随着数据保护法规的完善以及公众对隐私意识的提高,企业和服务提供商面临着如何在不侵犯用户隐私的情况下有效利用数据以改善产品和服务的挑战,在教育、医疗、金融等领域,数据因法律法规限制和隐私伦理等原因很难集中在一起进行处理,所以,在此提出了一种基于联邦学习的个性化学习推荐系统。

2、经检索,专利号cn114510652b提出了一种基于纵向联邦学习的推荐方法及装置,具有有效缓解数据非独立同分布问题对模型性能的影响的优点,属于人工智能交互

3、但是,在缓解数据非独立同分布问题对模型性能的同时,对于多个场景中涉及的联邦个性化学习推荐技术,不同场景下的用户行为模式、数据分布和硬件环境都存在显著差异,会导致难以建立一个通用的联邦模型结构来适应所有用户的个性化需求,也会导致某些特定场景下联邦学习推荐系统的推荐性能和有效性不足,影响模型的性能,并出现数据孤岛现象,所以,在此提出了一种基于联邦学习的个性化学习推荐系统,联邦学习允许不同机构或设备间协同训练模型,通过联合优化全局模型,实现了跨机构、跨设备的数据利用,打破了数据孤岛现象,同时使用同态加密更好的保护隐私数据,提升了系统的安全性以及模型推荐效果。


技术实现思路

1、针对现有技术中存在隐私保护问题和数据孤岛问题的不足,本专利技术提供了一种基于联邦学习的个性化学习推荐系统,具备可以解决学习者隐私保护问题和数据孤岛问题的优点。

2、为实现上述目的,本专利技术提供如下技术方案:一种基于联邦学习的个性化学习推荐系统,个性化学习推荐模块包括:

3、用于将不同来源的学习者数据分散存储在各自的设备或本地服务器中的数据分区与存储模块;

4、用于跟踪记录每个用户在学习过程中掌握的知识点状态的知识点追踪模块;

5、用于协调多个参与方共同训练一个全局模型的联邦学习模块;

6、用于保证数据传输和模型更新过程中参数安全性和隐私性的隐私保护与加密模块;

7、用于根据联邦学习获得的个性化模型为用户生成学习资源推荐的个性化推荐生成模块;

8、所述联邦学习模块中设置有追踪模型训练模块、模型更新上传模块以及联合优化模块。

9、所述数据分区与存储模块从各个终端收集用户的行为数据和特征数据,包括学习历史、点击率、停留时间、测试成绩,使用用户id唯一标识符对数据进行分区,将每个用户的数据独立存储,形成用户数据子集,并对用户数据子集进行加密存储。

10、所述知识点追踪模块收集用户在学习过程中的交互数据完成习题、观看视频、笔记时间、得分、正确率指标,引入知识点追踪模型bkt估计用户对各个知识点的掌握程度,使用bkt模型公式:

11、p(l_k=learned|e_k)=p_a*p(e_k|l_k=learned)/[p(e_k|l_k=learned)*(1-p_e)+p(e_k|l_k=notlearned)*p_e]其中p(a)为未知到已知的转移概率;

12、p(e)为已知到未知的遗忘概率;

13、p(t)为已知状态下回答正确的概率;

14、p(l)为未知状态下偶然答对的概率;

15、l_k表示用户对第k个知识点的掌握状态;

16、e_k是用户在第k个知识点上的答题事件;然后将每个知识点作为一个节点,根据知识点之间的逻辑关系或前后依赖性构建边,形成知识图谱。

17、知识点追踪模块根据用户在不同知识点上的表现实时更新其在知识图谱中的掌握状态,基于累积证据更新公式:

18、e[l_k]=e[l_k]+update(e_k,l_k)

19、其中e[l_k]表示用户对第k个知识点掌握的累积证据分数;

20、update(e_k,l_k)是根据新的学习事件,e_k更新累积证据的函数,根据用户的知识点掌握状态和知识图谱结构,设计优化算法生成个性化的学习路径,基于公式:

21、path[i]=argmax_k{u(k)-c(k)}

22、其中u(k)为掌握知识点k的收益;

23、c(k)为学习知识点k的成本;

24、path[i]表示第i步的学习内容,选择收益最大减去成本后最高的知识点进行学习。

25、所述联邦学习模块中的追踪模型训练模块根据用户在接收到推荐内容后记录其对推荐内容的反应,然后将捕获到的用户响应数据与推荐内容对应的特征相结合,生成新的训练样本,使用生成的新训练样本在本地模型上进行重新训练或在线学习,更新模型参数,本地模型参数更新完成后,对这些更新进行加密处理,通过安全的通信协议将加密后的模型参数上传至中央服务器,中央服务器收到所有参与方上传的加密模型参数后,聚合这些参数,生成新的全局模型参数,基于:

26、w_new=sum(w_local_i)/n

27、其中w_new是新的全局模型参数,w_local_i是第i个参与方的本地模型参数更新,n是参与联邦学习的设备总数,更新后的全局模型参数被分发回各个参与方的本地设备,本地设备使用新的全局模型参数与自身本地模型参数进行融合,继续优化本地模型。

28、所述模型更新上传模块基于本地模型的更新训练完成后,每个客户端计算出本次训练相对于原有模型参数的增量,即模型参数的更新值,对于单个参数w,更新的数学表达式表示为:

29、δw=-η▽l(w)

30、其中δw是参数的更新量或增量;

31、η是学习率,即控制每次迭代时参数改变的幅度;

32、▽l(w)是损失函数l关于参数w的梯度,表示在当前参数设置下,损失函数减少最快的方向及其速率,对于整个模型的参数向量w,更新规则会扩展到所有参数上,基于公式:

33、δw=-η▽l(w)

34、对计算出的模型参数增量进行同态加密,然后通过预先建立的安全通信信道,将加密后的模型参数增量上传至中央服务器节点,所述联合优化模块通过中心服务器接收所有参与方上传的模型参数更新,进行聚合操作,进行平均化处理,基于:

35、w_new=sum(w_client_i)/k

36、其中w_new是更新后的全局模型参数;

37、w_client是第i个参本文档来自技高网...

【技术保护点】

1.一种基于联邦学习的个性化学习推荐系统,其特征在于:个性化学习推荐模块包括:

2.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述数据分区与存储模块(1)从各个终端收集用户的行为数据和特征数据,包括学习历史、点击率、停留时间、测试成绩,使用用户ID唯一标识符对数据进行分区,将每个用户的数据独立存储,形成用户数据子集,并对用户数据子集进行加密存储。

3.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述知识点追踪模块(2)收集用户在学习过程中的交互数据完成习题、观看视频、笔记时间、得分、正确率指标,引入知识点追踪模型BKT估计用户对各个知识点的掌握程度,使用BKT模型公式:

4.根据权利要求3所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述知识点追踪模块(2)根据用户在不同知识点上的表现实时更新其在知识图谱中的掌握状态,基于累积证据更新公式:

5.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述联邦学习模块(3)中的追踪模型训练模块(6)根据用户在接收到推荐内容后记录其对推荐内容的反应,然后将捕获到的用户响应数据与推荐内容对应的特征相结合,生成新的训练样本,使用生成的新训练样本在本地模型上进行重新训练或在线学习,更新模型参数,本地模型参数更新完成后,对这些更新进行加密处理,通过安全的通信协议将加密后的模型参数上传至中央服务器,中央服务器收到所有参与方上传的加密模型参数后,聚合这些参数,生成新的全局模型参数,基于:

6.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述模型更新上传模块(7)基于本地模型的更新训练完成后,每个客户端计算出本次训练相对于原有模型参数的增量,即模型参数的更新值,对于单个参数w,更新的数学表达式表示为:

7.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述隐私保护与加密模块(4)在本地训练完成后,基于同态加密模块(9)对每个参与方先对其更新的模型参数进行同态加密,将加密后的模型参数上传至中心服务器,中心服务器在不解密的情况下执行聚合操作,直接在密文上进行加法和乘法运算,对于模型参数的平均,将各个参与方加密的参数值进行累加,然后除以参与方总数,得到加密状态下的全局模型参数更新,保持加密状态下的模型更新,同时聚合之后的全球模型仍然是加密状态,只有拥有私钥的合法实体才能解密参数。

8.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述个性化推荐生成模块(5)基于个性化模型训练模块(10)收集的用户的本地行为数据,构建用户交互记录、属性信息特征的数据集,然后从原始数据中提取与用户个性化需求的用户偏好、行为模式特征,基于深度学习模型,将本地数据划分为训练集和验证集,利用用户本地数据训练模型,通过迭代优化,让模型学习用户特定的行为模式和需求特点,最后在验证集上评估模型性能,利用训练好的模型对用户未来感兴趣的内容进行预测,生成个性化推荐列表。

...

【技术特征摘要】

1.一种基于联邦学习的个性化学习推荐系统,其特征在于:个性化学习推荐模块包括:

2.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述数据分区与存储模块(1)从各个终端收集用户的行为数据和特征数据,包括学习历史、点击率、停留时间、测试成绩,使用用户id唯一标识符对数据进行分区,将每个用户的数据独立存储,形成用户数据子集,并对用户数据子集进行加密存储。

3.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述知识点追踪模块(2)收集用户在学习过程中的交互数据完成习题、观看视频、笔记时间、得分、正确率指标,引入知识点追踪模型bkt估计用户对各个知识点的掌握程度,使用bkt模型公式:

4.根据权利要求3所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述知识点追踪模块(2)根据用户在不同知识点上的表现实时更新其在知识图谱中的掌握状态,基于累积证据更新公式:

5.根据权利要求1所述的一种基于联邦学习的个性化学习推荐系统,其特征在于:所述联邦学习模块(3)中的追踪模型训练模块(6)根据用户在接收到推荐内容后记录其对推荐内容的反应,然后将捕获到的用户响应数据与推荐内容对应的特征相结合,生成新的训练样本,使用生成的新训练样本在本地模型上进行重新训练或在线学习,更新模型参数,本地模型参数更新完成后,对这些更新进行加密处理,通过安全的通信协议将加密后的模型参数上传至中央服务器,中央服务器收到所有参与方上传的加密模型参...

【专利技术属性】
技术研发人员:李康康朱守业
申请(专利权)人:江苏师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1