一种基于强化学习和路径推理的可解释推荐方法技术

一种基于强化学习和路径推理的可解释推荐方法，包括以下步骤：(1)从各类推荐数据抽取用户、项目、属性等各类实体以及它们之间的关系，构建完整的知识图谱；(2)构建强化学习框架，过程如下：构建了一个强化学习框架，该框架可以在知识图谱上使用户找到对应的推荐项目和推荐理由，包括知识图谱嵌入、强化学习环境和动作选择三个模块；(3)推荐模型训练，通过上述训练得到的推荐模型可以为用户推荐项目，并以知识图谱路径的方式给出推荐理由。本发明专利技术融合知识图谱和强化学习方法，在为用户推荐相应项目的基础上，以路径的方式给出推荐依据，提高了推荐系统的可解释性。高了推荐系统的可解释性。高了推荐系统的可解释性。

【技术实现步骤摘要】
一种基于强化学习和路径推理的可解释推荐方法


[0001]本专利技术涉及知识图谱
、
推荐系统等领域，特别给出了一种基于强化学习和路径推理的可解释推荐方法
。

技术介绍

[0002]互联网的飞速发展一方面可以让用户更加方便快捷的获取各种各样的信息，另一方面也给用户带来了困扰，其中数据爆炸带来的问题尤其显著
。
而推荐系统的出现正好解决了这一问题，它根据用户的行为分析出用户对于某一方面知识或信息的喜好，并将对应的信息精准的推送给用户，从而改善用户体验并促进商业利润
。
[0003]近年来，基于知识图谱的推荐系统引起了研究人员的广泛关注
。
知识图谱
(KG)
是一个异构图，其中节点表示实体，边表示实体之间的关系，项目及其属性可以映射到知识图谱中，以了解项目之间的相互关系，用户之间的交互信息也可以集成到知识图谱中，以更准确捕获用户和项目之间的关系以及用户偏好
。
[0004]现有基于知识图谱的推荐系统可分为基于嵌入的推荐系统以及基于传播的推荐系统
。
基于嵌入的推荐系统利用知识图谱中丰富的事实来充实项目或用户的表示，该系统包括两个基本模块，图嵌入模块用于学习知识图谱中实体和关系的表示，推荐模块用于估计用户对具有学习特征的项目的偏好
。CKE(Special Interest Group on Knowledge Discovery and Data Mining,2016)
是一个基于协同过滤和知识图谱的推荐系统，引入了结构信息
、
文本数据
、
图像数据等信息来提升推荐系统的性能
。DKN(World Wide Web Conferences,2018)
提出了面向新闻内容的推荐系统，通过知识感知卷积神经网络提取语义信息和知识信息，对新闻特征进行建模，并采用注意力机制，实现了用户点击率预测
。KTUP(World Wide Web Conferences,2019)
定义了一组隐式的偏好向量来表达用户的兴趣，并与
TransH
模型生成的向量进行融合，让知识图谱中实体和关系具有更好的表示，提升推荐模型的性能
。CFKG(arXiv,2018)
在知识图谱的基础上设计了一种新的协同过滤框架，该框架重新定义了知识图谱嵌入模型中的距离函数，并且利用软匹配算法在知识图路径中构建模糊推理，提升性能的同时生成推荐项目的个性化说明
。
[0005]基于传播的推荐系统通过聚合知识图谱中多跳邻居的特征来细化实体表示，再通过用户和潜在项目的向量表示预测用户的偏好
。KGCN(International World Wide Web Conferences,2019)
在知识图谱上使用图卷积
(GCN)
的思想，在计算
KG
中给定实体的表示时，将其邻域的信息进行聚合，通过卷积的不断迭代，得到最后的实体表示
。KGAT(ACM Knowledge Discovery and Data Mining,2019)
在
KG
上使用图注意力网络进行邻域聚合，并且对每段关系施以不同的权重，以此来捕获用户的偏好兴趣，生成更精准的推荐项目
。RippleNet(ACM International Conference,2018)
沿着知识图中的链接自动扩展用户的潜在兴趣，从而刺激用户对一组知识实体的偏好的传播，因此，由用户以往单击过的项目激活的多个“涟漪”叠加起来，形成用户相对于候选项目的偏好分布，该分布可用于预测最终的单击概率
。
[0006]然而，现有推荐系统缺乏一定的可解释性，不能给出推荐的逻辑或理由
。
增强推荐系统性的可解释性有助于提高用户对推荐系统的理解和可信度，拓宽推荐系统的受众人群
。

技术实现思路

[0007]为了克服现有技术的不足，为了增强推荐系统的可解释性，本专利技术提出一种基于强化学习和路径推理的可解释性推荐系统，该方法引入基于路径的强化学习智能体，在知识图谱游走时学习并提取显式的可解释路径，同时引入注意力机制提取用户的行为模式和项目的相关性，获得具有可解释性的推荐结果
。
[0008]为了解决上述技术问题本专利技术提供如下的技术方案：
[0009]一种基于强化学习和路径推理的可解释性推荐系统，包括以下步骤：
[0010](1)
知识图谱构建，过程如下：
[0011]从用户
、
项目
、
属性以及交互关系中抽取各类实体和关系，构建知识图谱，其形式化定义如下：
[0012]定义
1、(
知识图谱
)
知识图谱是由许多实体和关系构成的结构化语义网络，用以描述用户和推荐项目间的交互关系，可以表示为
KG
＝
{(h,r,t)
│
h,t∈V,r∈R}
，其中
V
是实体集合，
R
是关系的集合，
h
为头实体，
r
为关系，
t
为尾实体；
[0013](2)
强化学习框架构建，过程如下：
[0014]构建了一个强化学习框架，该框架可以在知识图谱上使用户找到对应的推荐项目和推荐理由，包括知识图谱嵌入
、
强化学习环境和动作选择三个模块，如下：
[0015](2.1)
知识图谱嵌入
[0016]采用
TransE
模型将知识图谱中的实体和关系映射到低维向量空间，
TransE
模型假设实体和关系之间的关联可以通过将实体的嵌入向量平移来实现，计算公式如下：
[0017]L(h,r,t)
＝
max(0,d
pos
‑
d
neg
+margin)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]其中
h
为头实体，
r
为关系，
r
为尾实体，
d
pos
为正样本的距离值的范数，
d
neg
为负样本的距离值的范数，
margin
为边界值，模型的目标是学习实体和关系的嵌入向量，使得对于正确的三元组，头实体向量加上关系向量能够接近尾实体向量，而对于错误的三元组，它们之间的距离应当较远，经过训练后，对于知识图谱中的每个节点和关系，都会有对应的
d
维嵌入向量；
[0019](2.2)
强化学习环境
[0020]强化学习的任务包括两个，一是为给定用户找到知识图谱中的推荐项目，二是采样每个用户通向推荐项目的推理路径，作为项本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于强化学习和路径推理的可解释推荐方法，其特征在于，所述方法包括以下步骤：
(1)
构建知识图谱，过程如下：从用户
、
项目
、
属性以及交互关系中抽取各类实体和关系，构建知识图谱，其形式化定义如下：定义
1、
知识图谱是由许多实体和关系构成的结构化语义网络，用以描述用户和推荐项目间的交互关系，可以表示为
KG
＝
{(h,r,t)|h,t∈V,r∈R}
，其中
V
是实体集合，
R
是关系的集合，
h
为头实体，
r
为关系，
t
为尾实体；
(2)
构建强化学习框架，过程如下：构建了一个强化学习框架，该框架可以在知识图谱上使用户找到对应的推荐项目和推荐理由，包括知识图谱嵌入
、
强化学习环境和动作选择三个模块；如下：
(2.1)
知识图谱嵌入采用
TransE
模型将知识图谱中的实体和关系映射到低维向量空间，
TransE
模型假设实体和关系之间的关联通过将实体的嵌入向量平移来实现，计算公式如下：
L(h,r,t)
＝
max (0,d
pos
‑
d
neg
+margin)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
其中
h
为头实体，
r
为关系，
r
为尾实体，
d
pos
为正样本的距离值的范数，
d
neg
为负样本的距离值的范数，
margin
为边界值，模型的目标是学习实体和关系的嵌入向量，使得对于正确的三元组，头实体向量加上关系向量能够接近尾实体向量，而对于错误的三元组，它们之间的距离应当较远，经过训练后，对于知识图谱中的每个节点和关系，都会有对应的
d
维嵌入向量；
(2.2)
强化学习环境强化学习的任务包括两个，一是为给定用户找到知识图谱中的推荐项目，二是采样每个用户通向推荐项目的推理路径，作为项目的推荐理由；定义2：在智能体探索的第
t
步所处的状态
S
t
为其中
r
t
‑1为第
t
步与第
t
‑1步实体之间的关系向量，
e
t
为第
t
步所处的实体向量，为实体集，具体来说，令第
t
步状态中的实体
e
t
‑1为头实体，
V
i
则是与其关联的尾实体集合，这三个元素构成了状态的表示，而在初始状态下的定义为：定义3：在状态
S
t
下，其完整的动作空间为实体
e
t
的所有可能的出边：
A(S
t
)
＝
{(r
′
,e
′
)|(e
t
,r
′
,e
′
)}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
其中
e
′
是
e
t
的下一个实体向量，
r
′
是连接
e
t
与
e
′
的关系向量；定义4：在智能体到达最终状态，即步数
t
到达最大值
T
，其奖励分定义为：其中
r
i
为
purchase
关系的向量表示，
e
T
为智能体在最终状态
T
时的实体向量表示，
u
为用户实体的向量表示，
<
·
,
·
>
为向量的点积运算，
max
i∈I
<u+r
i
,i>
为在已知的所有用户购买
记录中，用户向量表示与商品向量表示的点积运算的最大值，
i
为商品的向量表示，
I
为商品的实体集合；定义5：由于知识图谱的特性，状态的表示由所处实体的位置决定，给定状态
S
t
和动作集合中某个被选中的动作
a
t+1
,
下一步的状态定义为：其中
r
t+1
,e
...

【专利技术属性】
技术研发人员：张元鸣，陈祥友，肖刚，程振波，徐雪松，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：