一种基于深度学习的多目标优化推荐方法技术

本发明专利技术属于推荐系统排序算法技术领域，涉及一种基于深度学习的多目标优化推荐方法，包括以下步骤：建立训练及测试数据集，并设立模型学习目标；引入Embedding层解决数据特征稀疏性；构建高低阶特征交互，对CTR进行预测；引入门控网络；引入多级专家网络；建立目标之间依赖关系，构建加权多目标损失。本发明专利技术对于多目标的情况展示了促进目标互相合作、防止负迁移和跷跷板现象的好处，并且达到了满意度和准确率指标的实质性改善，可以广泛应用在各种场景下的多目标推荐领域，可以随着人们对于信息准确度、多样性需求的不断提高，通过推荐系统为用户找到感兴趣的物品并提高用户的使用感和满意度。和满意度。和满意度。

【技术实现步骤摘要】
一种基于深度学习的多目标优化推荐方法


[0001]本专利技术属于推荐系统排序算法
，涉及一种基于深度学习的多目标优化推荐方法。

技术介绍

[0002]随着大数据时代的到来和智能设备的快速发展，个性化推荐在各个应用上都发挥着重要的作用。推荐系统常常使用以用户的点击为目标的预估模型，没有足够考虑用户点击后产生的行为，从而让用户陷入越来越小的兴趣网络中，降低用户的参与度和满意度，导致推荐生态系统不均衡发展，使得企业利益下降。因此，应用多任务学习来同时模拟用户满意度和参与度从而进行多目标优化已经成为一种趋势。例如在视频推荐中，若只考虑点击转化率，则会倾向推荐包含标题党、擦边海报的视频；只考虑完成度，会倾向推荐时常较短的视频。而这些倾向都会影响用户体验，导致业务长期目标下降，损坏系统发展。因此，研究开始尝试引入多个相互关联但又不一致的目标进行综合考虑建模。经过实践表示，多目标学习在推荐系统中能够提升推荐的效果。但常用的多目标模型的预测通常对目标间的关系很敏感，因此，研究特定的目标与目标之间的关系建模是至关的重要事情。
[0003]Elkanky等人考虑到传统的基于内容的推荐系统中，用户特征难以获取的问题，通过分析用户的浏览记录和搜索记录提取用户的特征，从而丰富用户的特征表示。作者将深度结构化语义模型(Deep Structured Semantic Models，DSSM)进行扩展，提出了一种多视角深度神经网络模型(Multi
‑
View Deep Neural Network，Multi/>‑
View DNN)，该模型通过用户和项目两种信息实体的语义匹配来实现用户的项目推荐。Cheng等人通过利用用户特征、情境特征和项目特征等多源异构数据，提出了一种深广学习(Wide&Deep Learning)模型，模型同时具有了高的记忆能力和泛化能力。Guo等人基于Wide&Deep，结合因子化机和深度学习，提出了一种基于深度网络的因子化机模型(Factorization
‑
Machine based Neural Network，DeepFM)进行点击率预测，分别采用因子化机和深度神经网络建模低层次和高层次的特征交互。目前国内外许多大规模推荐系统已经采用了深度神经网络模型的多任务学习。研究人员已经报道了多目标模型可以通过利用正则化和转移学习来改进对所有目标的模型预测。然而，在实践中多目标模型并不总是在所有目标上优于相应的单目标模型。事实上，许多基于深度学习的多目标模型对目标之间的数据分布差异和关系等因素很敏感，多目标推荐常面临着样本数据稀疏，用户反馈中隐含的选择偏差，以及“跷跷板”现象等问题，来自目标差异的固有冲突会损害至少一些目标的预测，尤其是当模型参数在所有目标之间广泛共享时。

技术实现思路

[0004]本专利技术的目的是提供一种基于深度学习的个性化推荐多目标优化方法，以解决现有技术存在的单目标推荐体验感差、多目标推荐模型在目标差异大的复杂关系下难以共同优化且易产生冲突的问题。
[0005]为了达到本专利技术的目的，本专利技术所采用的技术方案是:
[0006]提供一种基于深度学习的多目标优化推荐方法，所述方法具体包括以下步骤：
[0007]步骤1：对原始视频推荐数据进行数据预处理与分类，建立训练及测试数据集，并设立模型学习目标；
[0008]步骤2：引入Embedding层解决数据特征稀疏性。
[0009]步骤3：构建高低阶特征交互，对CTR进行预测；
[0010]步骤4：为每个目标引入单独的门控网络；
[0011]步骤5：引入多级专家网络，使每个目标有独立的Expert，同时保留了共享的Expert；
[0012]步骤6：建立目标之间依赖关系，构建加权多目标损失。
[0013]进一步地，上述步骤1包括以下步骤：
[0014]步骤1.1：原始视频推荐数据的获取
[0015]采集用户在视频网站连续15天的用户日志，数据包括用户特征，视频内容特征，以及用户历史行为数据，且全部经过脱敏处理，得到数据标签；
[0016]步骤1.2：数据预处理与分类
[0017]分析各个数据标签在曝光场景与点击场景中的比重，并对其中的视频时长标签进行统计分析，将范围为0
‑
9的时长标签设置阈值为4，将时长标签大于4的设为有效时长，其他设为无效时长，得到训练及测试数据集。
[0018]步骤1.3：设立模型学习目标
[0019]选取数据标签中的点击标签和视频时长标签作为模型将要学习的两个目标。
[0020]进一步地，上述步骤2中，Embedding layer层为嵌入层，用于对高维稀疏的one
‑
hot数据向量做嵌入，得到低维稠密的Embedding向量。然后将通过嵌入层后得到的每个稠密向量横向拼接，作为模型的输入；
[0021]嵌入层的输出表示为：
[0022]a
(0)
＝[e1,e2,
…
,e
m
][0023]其中e
i
是第i个字段的嵌入，m是字段数。然后，a
(0)
被送入深度神经网络，前向传播过程为：
[0024]a
(l+1)
＝σ(W
(l)
a
(l)
+b
(l)
)
[0025]其中l是层深度，σ是激活函数。a
(l)
，W
(l)
，b
(l)
分别是第l层的输出、模型权重和偏差。之后，生成一个稠密的实值特征向量。
[0026]进一步地，上述步骤3包括以下步骤：
[0027]步骤3.1:构建高低阶特征交互
[0028]首先分别采用因子分解机和深度神经网络建模低层次和高层次的特征交互，把DeepFM的FM部分保留不变，把DeepFM的DNN部分换为硬参数共享的Shared
‑
Bottom结构，得到结合DeepFM和Shared
‑
Bottom的多目标基础模型；
[0029]步骤3.2:对CTR进行预测
[0030]FM子网络计算稀疏特征和稠密特征的二阶交叉分数，deep子网络将稠密特征和连续特征拼接输入进网络；将FM一阶、二阶分数和deep的最后一层输入拼接，经过sigmoid得到CTR的预估值。
[0031]进一步地，上述步骤4中，对每个目标k都添加一个单独的门控网络g
k
，任务k的输出为：
[0032]y
k
＝h
k
(f
k
(x))
[0033]门控网络针对各自的目标学习experts网络的不同组合模式，对experts网络的输出进行自适应加权。
[0034]进一步地，所述步骤5中，第k个子目标的第j个提取网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多目标优化推荐方法，其特征在于：所述方法具体包括以下步骤：步骤1：对原始视频推荐数据进行数据预处理与分类，建立训练及测试数据集，并设立模型学习目标；步骤2：引入Embedding层解决数据特征稀疏性；步骤3：构建高低阶特征交互，对CTR进行预测；步骤4：为每个目标引入单独的门控网络；步骤5：引入多级专家网络，使每个目标有独立的Expert，同时保留了共享的Expert；步骤6：建立目标之间依赖关系，构建加权多目标损失。2.根据权利要求1所述的一种基于深度学习的多目标优化推荐方法，其特征在于：所述步骤1包括以下步骤：步骤1.1：原始视频推荐数据的获取采集用户在视频网站连续15天的用户日志，数据包括用户特征，视频内容特征，以及用户历史行为数据，且全部经过脱敏处理，得到数据标签；步骤1.2：数据预处理与分类分析各个数据标签在曝光场景与点击场景中的比重，并对其中的视频时长标签进行统计分析，将范围为0
‑
9的时长标签设置阈值为4，将时长标签大于4的设为有效时长，其他设为无效时长，得到训练及测试数据集；步骤1.3：设立模型学习目标选取数据标签中的点击标签和视频时长标签作为模型将要学习的两个目标。3.根据权利要求2所述的一种基于深度学习的多目标优化推荐方法，其特征在于：所述步骤2中，Embedding layer层为嵌入层，用于对高维稀疏的one
‑
hot数据向量做嵌入，得到低维稠密的Embedding向量,然后将通过嵌入层后得到的每个稠密向量横向拼接，作为模型的输入；嵌入层的输出表示为：a
(0)
＝[e1,e2,...，e
m
]其中e
i
是第i个字段的嵌入，m是字段数。然后，a
(0)
被送入深度神经网络，前向传播过程为：a
(l+1)
＝σ(W
(l)
a
(l)
+b
(l)
)其中l是层深度，σ是激活函数,a
(l)
，W
(l)
，b
(l)
分别是第l层的输出、模型权重和偏差,之后，生成一个稠密的实值特征向量。4.根...

【专利技术属性】
技术研发人员：刘萍萍，路萍，张敏，陈言训，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：