基于贝叶斯概率矩阵分解的短视频推荐方法和系统技术方案

本发明专利技术公开了基于贝叶斯概率矩阵分解的短视频推荐方法和系统，包括如下步骤：通过数据采集模块获取用户原始稀疏评分数据；通过数据处理模块对数据预处理，将数据集合划分为训练集和测试集，并处理成评分矩阵；通过模型训练模块在概率矩阵分解模型基础上引入贝叶斯网络并加入约束矩阵和Logistic函数，搭建出受约束的贝叶斯概率矩阵分解模型，并使用马尔可夫链蒙特卡洛方法进行模型训练；加载预处理后的原始稀疏评分矩阵，通过预测模块使用训练好的模型预测未知的特定用户对短视频的评分信息，并根据预测结果填充原始的稀疏评分矩阵；最后通过推荐模块对填充后的评分矩阵中的评分数据进行降序排序，为特定用户推送对应的短视频。视频。视频。

【技术实现步骤摘要】
基于贝叶斯概率矩阵分解的短视频推荐方法和系统


[0001]本专利技术涉及互联网视频推荐
，具体说是基于贝叶斯概率矩阵分解的短视频推荐方法和系统。

技术介绍

[0002]随着信息技术的飞速发展，移动端和web端的软件产品数量迅速增长，为了吸引和留住用户，常常采用协同过滤算法(collaborative filtering algorithm)给用户推荐他们喜好的商品，以此保证软件的流量，以便获取更多的利润。由于协同过滤推荐算法不能很好解决评分稀疏用户的预测准确度低的问题。为了提高预测精度，一种基于概率矩阵分解模型的推荐方法被提出，尽管该方法降低了预测误差，但是需要手动调节正则化参数，并且该模型会使评分较少的用户的特征接近于先验分布的平均值，这将导致评分较少的用户的评分预测接近物品的平均分数，从而影响推荐的准确性；一种基于受约束概率矩阵分解模型的推荐方法被提出，尽管该方法避免了评分较少用户的特征接近先验分布的均值，但是预测准确率仍然偏低；一种基于隐式反馈的推荐异构相似度模型的推荐方法被提出，虽然提升了预测准确率，但是增加了算法复杂度，并且预测误差仍偏高。

技术实现思路

[0003]本专利技术的目的是针对上述协同过滤算法对于评分较少的用户预测误差高问题，提出基于贝叶斯概率矩阵分解的短视频推荐方法和系统，该方法能够很好地提升协同过滤算法在短视频推荐系统中的推荐准确率，在不增加时间复杂度的情况下，降低了推荐误差，提升了推荐性能。
[0004]本专利技术的目的是通过以下技术方案实现的：
[0005]基于贝叶斯概率矩阵分解的短视频推荐方法和系统，该系统主要包括五个模块，即数据采集模块，数据处理模块，模型训练模块，预测模块，推荐模块。
[0006]基于贝叶斯概率矩阵分解的短视频推荐方法和系统，该方法主要包括获取用户对短视频的原始评分数据，对获取的原始稀疏评分数据进行预处理，搭建使用Logistic函数的受约束的贝叶斯概率矩阵分解模型(L
‑
CBPMF模型)，使用马尔可夫链蒙特卡罗方法训练模型，根据训练好的模型预测，根据预测结果进行短视频推荐。
[0007]本专利技术的进一步设计方案中，所述数据采集模块获取数据信息，该数据信息包括用户信息，短视频信息，以及N位用户对M个短视频的评分信息；其中用户信息主要采集用户id，短视频信息主要采集短视频id，评分信息主要采集用户对某类短视频的点赞数量。
[0008]本专利技术的进一步设计方案中，所述数据处理模块对获取到的稀疏评分数据进行预处理，将数据按照8：2的比例划分训练集和测试集，其中80％为训练集，剩余20％为测试集，训练集用于训练模型，测试集用于对模型泛化能力进行评估。将N位用户对M个短视频的评分信息构建成稀疏评分矩阵，评分矩阵中已有数据为用户已对短视频的评分信息，评分矩阵中空缺部分是用户未对该短视频进行评分。
[0009]本专利技术的进一步设计方案中，所述模型训练模块在传统概率矩阵分解模型的基础上使用贝叶斯网络，并添加约束矩阵W
k
,通过该约束矩阵来约束用户特征，即给每个短视频一个除原始特征向量之外的约束向量，让每个用户评分的所有短视频约束向量的平均值影响用户的特征向量；并使用Logistic函数表示潜在因子的非线性关系，搭建使用Logistic函数的受约束的贝叶斯概率矩阵分解模型。加载预处理后的数据，使用马尔可夫链蒙特卡罗方法训练模型。
[0010]本专利技术的进一步设计方案中，所述预测模块使用训练好的模型预测未知的特定用户对短视频的评分信息，并根据预测结果填充原始稀疏评分矩阵，即将特定用户对特定短视频的评分数据填充到稀疏矩阵对应的位置。
[0011]本专利技术的进一步设计方案中，所述推荐模块对填充后的评分矩阵中的评分数据进行降序排序，为特定用户推荐对应的短视频，即根据用户的喜好程度给对应用户推送相应类别的短视频。
[0012]进一步地，所述使用Logistic函数的受约束的贝叶斯概率矩阵分解模型(L
‑
CBPMF)中，N位用户和M个短视频组成一个N
×
M维的评分矩阵R
ij
，矩阵R
ij
中的元素R表示用户i对短视频j的评分。在该模型中，默认用户的态度或偏好由少数未观察到的因素决定，设置潜在特征的个数为D，那么D
×
N维矩阵U代表用户的潜在特征矩阵，D
×
M维矩阵V表示短视频的潜在特征矩阵，U
i
表示用户i的潜在特征向量，V
j
表示短视频j的潜在特征向量；W0,W1,W2为单位矩阵，v0,v1,v2为自由度，Θ
U
,Θ
V
,Θ
W
,Θ
B
为该模型的超参数，μ
U
,μ
V
,μ
W
,μ
B
为高斯分布的均值参数，Λ
U
,Λ
V
,Λ
W
,Λ
B
为高斯分布的方差矩阵。
[0013]进一步地，为了更好地表达潜在因素之间的非线性关系，设置用户i对短视频j的评分R
ij
服从均值为B
i g(Y
T
V
j
)，方差为α
‑1的高斯分布。从而构建模型LCBPMF的概率目标函数，评分的条件分布如下：其中,I
ij
为指示函数，其中，用户已对短视频进行评分，则I
ij
＝1,反之，I
ij
＝0，B
i
表示用户i评分量表参数，矩阵R
ij
中的元素R表示用户i对短视频j的评分，表示高斯分布函数，g(x)为Logistic函数，用于传递潜在特征因子的非线性关系。
[0014]进一步地，该模型基于贝叶斯网络结构，在用户潜在特征向量中加入一个潜在的相似性约束矩阵W
k
，即为每一个短视频分配一个除特征向量以外的约束向量，让用户已经评分的约束向量来影响他们的特征值，防止用户特征值接近先验分布的平均值。
[0015]进一步地，基于公式可以提取并更新用户的特征向量，通过约束用户U
i
生成一个新的用户特征向量。指示函数I
ik
表示用户i是否对短视频k进行了评分。如果已经评分，则I
ik
＝1，否则I
ik
＝0。将用户i对所有短视频k的评分W
k
累加后，取其平均值，然后将得到的结果与用户i的先验分布平均值的偏移值相加，得到新的用户特征向量Y
i
。
[0016]进一步地，一般求解后验概率的过程比较复杂，联合概率一般不容易获得，本模型采用马尔可夫链蒙特卡罗方法提取样本，基于公式近似等于目标函数,其中，T为采样次数,样本是通过运行马尔可夫链生成的，其平稳分布是模型参数和超参数{U,V,W,B,Θ
U
...

【技术保护点】

【技术特征摘要】
1.基于贝叶斯概率矩阵分解的短视频推荐方法和系统，其特征在于，该系统主要包括五个模块，即数据采集模块，数据处理模块，模型训练模块，预测模块，推荐模块。通过数据采集模块获取用户原始稀疏评分数据；通过数据处理模块对数据预处理，将数据集合划分为训练集和测试集，并将数据处理成评分矩阵；通过模型训练模块搭建出新的受约束的贝叶斯概率矩阵分解模型，并使用马尔可夫链蒙特卡洛方法进行模型训练；通过预测模块用训练好的模型预测未知的特定用户对短视频的评分信息，并根据预测结果填充原始稀疏评分矩阵；通过推荐模块对填充后的评分矩阵中的评分数据进行降序排序，为特定用户推送对应的短视频。2.根据权利要求1所述的基于贝叶斯概率矩阵分解的短视频推荐方法和系统，其特征在于，所述数据采集模块获取数据信息，该数据信息包括用户信息，短视频信息，以及N位用户对M个短视频的评分信息；其中用户信息主要采集用户id，短视频信息主要采集短视频id，评分信息主要采集用户对某类短视频的点赞数量。3.根据权利要求1所述的基于贝叶斯概率矩阵分解的短视频推荐方法和系统，其特征在于，所述数据处理模块对获取到稀疏评分数据进行预处理，将数据按照8：2划分训练集和测试集，其中80％为训练集，剩余20％为测试集，并将N位用户对M个短视频的评分信息构建成原始稀疏评分矩阵。4.根据权利要求1所述的基于贝叶斯概率矩阵分解的短视频推荐方法和系统，其特征在于，所述模型训练模块在传统概率矩阵分解模型的基础上使用贝叶斯网络，并添加约束矩阵W
k
,通过该约束矩阵来约束用户特征，给每个短视频一个除原始特征向量之外的约束向量，并让每个用户评分的所有短视频约束向量的平均值影响用户的特征向量为每个短视频分配除特征向量之外的一个约束向量，让用...

【专利技术属性】
技术研发人员：王国栋，陈木生，吴俊华，谌诗宇，徐孩，何国伟，
申请(专利权)人：江西理工大学南昌校区，
类型：发明
国别省市：