一种融合内容和图结构信息的慕课推荐算法制造技术

本发明专利技术公开了一种融合内容和图结构信息的慕课推荐算法，包括如下步骤：步骤S1、数据预处理，构建GEMRec模型和CNNMRec模型的输入数据；步骤S2、将邻接矩阵集合A输入到GEMRec模型，得到用户图嵌入向量和课程图嵌入向量；步骤S3、将用户图嵌入向量、课程图嵌入向量、用户词嵌入向量和课程词嵌入向量输入到CNNMRec模型，输出用户学习该课程的概率；步骤S4、训练时，使用二分类交叉熵损失函数，通过梯度下降法减小损失，推荐时，计算用户与所有候选课程的余弦相似度，为用户推荐相似度最大的前K门课程。本发明专利技术使模型自适应用户与课程之间的动态交互环境，提升了推荐效果。提升了推荐效果。提升了推荐效果。

【技术实现步骤摘要】
一种融合内容和图结构信息的慕课推荐算法


[0001]本专利技术涉及一种融合内容和图结构信息的慕课推荐算法，尤其是一种融合内容和图结构信息的慕课推荐算法。

技术介绍

[0002]慕课(MOOC)逐渐成为一种成熟的在线和远程教育方式，例如Coursera、 edX和Udacity这三大慕课平台为数百万用户提供了国际知名大学的众多课程。在中国，学堂在线(XuetangX)已提供1000余门课程，全球用户超过600万，是中国最大的慕课平台之一。线上教育是未来教育发展的一个必然趋势，更加凸显了线上学习的意义和重要性。慕课平台中课程种类繁多，课程推荐作为系统地指导用户学习的主要方式，如何让拥有不同学习背景的用户找到感兴趣的课程并捕捉用户随时间变化的动态兴趣实现精准的个性化推荐是目前一个具有挑战性的问题；
[0003]现有的课程推荐算法主要基于内容或协同过滤完成推荐，这些方法直接根据用户与课程之间的历史交互信息或用户与课程自身的内容信息向用户推荐课程会忽略不同用户的专业水平，可解释性不强。此外，仅使用单层面特征信息往往不能充分挖掘用户与课程之间的潜在关系，对推荐的准确性有很大影响。

技术实现思路

[0004]本专利技术需要解决的技术问题是提供一种融合内容和图结构信息的慕课推荐算法，针对
技术介绍
提到的问题，从文本内容和异构图结构信息两个层面挖掘用户与课程之间的复杂非线性关系，加强推荐的可解释性并提高推荐的准确性。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：一种融合内容和图结构信息的慕课推荐算法，包括如下步骤：
[0006]步骤S1、数据预处理，构建GEMRec模型和CNNMRec模型的输入数据；
[0007]步骤S2、将邻接矩阵集合A输入到GEMRec模型，得到用户图嵌入向量和课程图嵌入向量；
[0008]步骤S3、将用户图嵌入向量、课程图嵌入向量、用户词嵌入向量和课程词嵌入向量输入到CNNMRec模型，输出用户学习与课程之间的交互概率；
[0009]步骤S4、训练时，使用二分类交叉熵损失函数，通过梯度下降法减小损失，推荐时，计算用户与所有候选课程的余弦相似度，为用户推荐相似度最大的前K 门课程。
[0010]本专利技术技术方案的进一步改进在于：所述步骤S1的具体步骤如下：
[0011]步骤S11、利用用户、课程和知识概念构造用包含单位矩阵I的邻接矩阵集合A表示的异构信息网络；
[0012]步骤S12、去掉课程介绍文本中的HTML标签和首尾的转义字符，用[UNK] 标记替换文本中间的转义字符，长度超过512个字符的文本在第510个字符后进行截断；
[0013]步骤S13、将处理后的课程介绍输入到预训练模型BERT中，在输出层取[CLS] 标记
对应的特征向量作为该课程的词嵌入向量；
[0014]步骤S14、对用户学习过的课程序列中的每一门课程的词嵌入向量加权求和得到用户词嵌入向量，使用指数衰减法为课程分配权重，公式如下：
[0015][0016]其中，表示用户u
i
的词嵌入向量，表示用户u
i
学习的课程数量，t表示用户学习的第t门课程，表示第t门课程的词嵌入向量，表示用户最新学习的课程。
[0017]本专利技术技术方案的进一步改进在于：所述步骤S2的具体步骤如下：
[0018]步骤S21、邻接矩阵集合A输入到包含两个并行多通道1
×
1卷积神经网络的MG子层生成元路径邻接矩阵；
[0019]步骤S22、将图卷积网络应用于元路径邻接矩阵A
(l)
∈R
N
×
N
×
C
的每个通道，并将每个节点不同通道的表征进行拼接，公式如下：
[0020][0021]其中，||是拼接操作符，C表示通道数，σ为Sigmoid激活函数，是第i个通道带自连接的元路径邻接矩阵，是的度矩阵，W∈R
d
×
d
是跨通道共享的可训练权重矩阵，X∈R
N
×
d
是特征矩阵，Z包含了来自C个不同元路径图的节点表征，每个元路径邻接矩阵的长度是不一样的；
[0022]步骤S23、将Z中的用户表征作为状态输入到强化学习模型Policy Gradient 中，通过最大化得到的奖励更新异构信息网络，从而更新图中的节点表征，最终得到用户和课程的图嵌入向量。
[0023]本专利技术技术方案的进一步改进在于：所述步骤S21的具体步骤如下：
[0024]步骤S211、利用多通道1
×
1卷积从邻接矩阵集合A中软选择两个邻接矩阵 Q1、Q2，公式如下：
[0025][0026]其中，φ是卷积层，W
φ
∈R1×1×
K
是φ的参数，T
e
表示边类型的集合，是边类型t
i
在第l个MG子层的权重，是边类型t
i
对应的邻接矩阵；
[0027]步骤S212、根据软选择的两个邻接矩阵通过矩阵乘法Q1*Q2计算元路径邻接矩阵；
[0028]步骤S213、任意长度为l的元路径的邻接矩阵可通过堆叠MG子层实现，具体的计算公式如下：
[0029][0030]其中，A
P
表示元路径邻接矩阵。
[0031]本专利技术技术方案的进一步改进在于：所述步骤S23的具体步骤如下：
[0032]步骤S231、给定特定的用户，将用户图嵌入向量作为状态输入到PolicyGradient中，输出学习每门课程的概率，取概率最大的课程作为预测值，如果预测的课程是正确的，奖励设置为1，模型将通过在用户和正确推荐的课程之间添加边来更新异构信息网络，从而更新状态得到新的用户表征，继续输入到PolicyGradient，该回合继续进行；
[0033]步骤S232、如果预测的课程是错误的，奖励设置为
‑
1，则该回合结束，进行模型参数更新，具体过程如下：
[0034]步骤S2321、一个回合结束后获得的奖励是单个时间步获得奖励的累积，公式如下：
[0035][0036]其中，γ表示折扣因子，t和k表示时间步。
[0037]步骤S2322、所有回合的累积奖励的计算公式如下：
[0038][0039]其中，表示采取τ策略的发生概率，N为采样τ的数目；
[0040]步骤S2323、目标是最大化累积奖励如果将其作为损失函数，需要求解损失函数的最小值，即最小化通过求解其导数，进而求得极值点，求导过程的公式如下：；
[0041][0042]步骤S2324、每个回合结束后参数更新公式如下：
[0043][0044]步骤S2325、为了缓解强化学习中探索与利用之间权衡的特殊问题，采用熵正则化的方法，公式如下：
[0045][0046]步骤S2326、最终的目标函数公式如下：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合内容和图结构信息的慕课推荐算法，其特征在于：包括如下步骤：步骤S1、数据预处理，构建GEMRec模型和CNNMRec模型的输入数据；步骤S2、将邻接矩阵集合A输入到GEMRec模型，得到用户图嵌入向量和课程图嵌入向量；步骤S3、将用户图嵌入向量、课程图嵌入向量、用户词嵌入向量和课程词嵌入向量输入到CNNMRec模型，输出用户学习与课程之间的交互概率；步骤S4、训练时，使用二分类交叉熵损失函数，通过梯度下降法减小损失，推荐时，计算用户与所有候选课程的余弦相似度，为用户推荐相似度最大的前K门课程。2.根据权利要求1所述的一种融合内容和图结构信息的慕课推荐算法，其特征在于：所述步骤S1的具体步骤如下：步骤S11、利用用户、课程和知识概念构造用包含单位矩阵I的邻接矩阵集合A表示的异构信息网络；步骤S12、去掉课程介绍文本中的HTML标签和首尾的转义字符，用[UNK]标记替换文本中间的转义字符，长度超过512个字符的文本在第510个字符后进行截断；步骤S13、将处理后的课程介绍输入到预训练模型BERT中，在输出层取[CLS]标记对应的特征向量作为该课程的词嵌入向量；步骤S14、对用户学习过的课程序列中的每一门课程的词嵌入向量加权求和得到用户词嵌入向量，使用指数衰减法为课程分配权重，公式如下：其中，表示用户u
i
的词嵌入向量，表示用户u
i
学习的课程数量，t表示用户学习的第t门课程，表示第t门课程的词嵌入向量，表示用户最新学习的课程。3.根据权利要求2所述的一种融合内容和图结构信息的慕课推荐算法，其特征在于：所述步骤S2的具体步骤如下：步骤S21、邻接矩阵集合A输入到包含两个并行多通道1
×
1卷积神经网络的MG子层生成元路径邻接矩阵；步骤S22、将图卷积网络应用于元路径邻接矩阵A
(l)
∈R
N
×
N
×
C
的每个通道，并将每个节点不同通道的表征进行拼接，公式如下：其中，||是拼接操作符，C表示通道数，σ为Sigmoid激活函数，是第i个通道带自连接的元路径邻接矩阵，是的度矩阵，W∈R
d
×
d
是跨通道共享的可训练权重矩阵，X∈R
N
×
d
是特征矩阵，Z包含了来自C个不同元路径图的节点表征，每个元路径邻接矩阵的长度不一样；步骤S23、将Z中的用户表征作为状态输入到强化学习模型Policy Gradient中，通过最
大化得到的奖励更新异构信息网络，从而更新图中的节点表征，最终得到用户和课程的图嵌入向量。4.根据权利要求3所述的一种融合内容和图结构信息的慕课推荐算法，其特征在于：所述步骤S21的具体步骤如下：步骤S211、利用多通道1
×
1卷积从邻接矩阵集合A中软选择两个邻接矩阵Q1、Q2，公式如下：其中，φ是卷积层，W
φ
∈R1×1×
K
是φ的参数，T
e
表示边类型的集合，是边类型t
i
在第l个MG子层的权重，是边类型t
i
对应的邻接矩阵；步骤S212、根据软选择的两个邻接矩阵通过矩阵乘法Q1*Q2计算元路...

【专利技术属性】
技术研发人员：宫继兵，王成，方小涵，黄朝园，赵祎，丛方鹏，
申请(专利权)人：燕山大学，
类型：发明
国别省市：