一种基于双通道超图兴趣建模的对话推荐算法制造技术

本发明专利技术公开了一种基于双通道超图兴趣建模的对话推荐算法，其包括如下步骤：S1：首先对知识图谱的实体进行使用关系型卷积神经网络进行编码，通过知识图谱引入外部知识提升推荐性能；S2：抽取用户历史对话中的物品信息，通过双通道超图建模的方式进行增强其表示；S3：为了让推荐结果首先关注当前的对话内容，避免过度拟合到历史兴趣上去，利用多头注意力机制进行检索与权衡；S4：构建了一个知识增强的编码器

【技术实现步骤摘要】
一种基于双通道超图兴趣建模的对话推荐算法


[0001]本专利技术涉及对话推荐算法，尤其是涉及一种基于双通道超图兴趣建模的对话推荐算法。

技术介绍

[0002]现有技术通过基于知识图谱的语义融合提升了对话推荐算法的性能。该技术引入实体级别和词汇级别的知识图谱，通过互信息最大化算法进行预训练，对实体和词汇的表示进行语义融合，在此基础上利用门控机制得到用户表示。基于得到的用户表示，该技术提出了知识增强的推荐模块和对话模块，以分别生成精确的推荐结果，以及附带有价值信息实体的回复语句。
[0003]但是，现有技术在对用户进行兴趣建模时，只考虑到当前正在进行对话的上下文信息，对用户理解的信息来源非常受限，面临比较严重的冷启动问题。这种情况下，系统推荐的结果难以符合用户真实的兴趣偏好，从而影响用户体验。
[0004]公开于该
技术介绍
部分的信息仅仅旨在加深对本专利技术的总体
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

[0005]本专利技术的目的在于提供一种基于双通道超图兴趣建模的对话推荐算法，本专利技术设计了一种基于双通道超图卷积神经网络对用户兴趣偏好进行建模的方法，通过将用户的历史对话记录进行结构化建模，得到基于对话的超图和基于知识的超图，通过超图卷积进行高阶信号传递，获取用户表示从而进行推荐。本技术有效缓解了对话推荐场景中面临的冷启动问题，提升了系统的推荐性能。
[0006]为了实现上述目的，本专利技术采用以下技术方案：<br/>[0007]本专利技术提供一种基于双通道超图兴趣建模的对话推荐算法，包括如下步骤：
[0008]S1：首先对知识图谱的实体进行编码，通过知识图谱引入外部知识提升推荐性能；
[0009]S2：抽取用户历史对话中的物品信息，通过双通道超图建模的方式进行增强其表示；
[0010]S3：为了让推荐结果首先关注当前的对话内容，避免过度拟合到历史兴趣上去，利用多头注意力机制进行检索与权衡；
[0011]S4：构建了一个编码器
‑
解码器框架，根据用户的兴趣偏好生成有意义的回复。
[0012]作为一种进一步的技术方案，步骤S1中对知识图谱的实体进行编码的具体方法如下：
[0013]使用关系型图卷积神经网络R
‑
GCN进行编码：
[0014][0015]其中，是节点e在第l层的向量表示，表示节点e在关系r下的邻居节点的集合，是邻居节点e
′
在第l层的向量表示，和W
(l)
分别是与关系相关和无关的权重参数矩阵；最终本专利技术得到知识图谱上所有实体的向量表示，它们组成矩阵N。
[0016]作为一种进一步的技术方案，步骤S1中为进一步提升模型对实体的表示能力，引入了基于对比学习的预训练过程；具体来说采用预训练任务是子图实例判别任务，从大量子图中判定相似子图和不相似子图；子图通过带重启的随机游走获得，随机游走序列从知识图谱上随机采样得到的点开始，每次游走以一定概率返回原点，最终从随机游走序列节点构建子图；两个起点相同的序列构成的子图构成相似子图，否则为不相似子图；设置两个独立的图编码器f
q
和f
k
，分别将查询子图和被查询子图序列编码为向量q和向量集合{k0，...，k
K
}，使用如下目标函数进行优化：
[0017][0018]其中为损失函数，q
T
为查询向量的转置，k
+
为正例键值向量，k
i
为被查询键值向量，τ为温度超参数。在训练时还采用基于动量的参数更新方式，记f
q
和
f
k的参数分别为Θ
q
和Θ
k
，更新规则为Θ
k
←
mΘ
k
+(1
‑
m)Θ
q
，其中m为动量超参数，最终只保留f
q
作为下游微调的图编码器。
[0019]作为一种进一步的技术方案，步骤S2具体为：
[0020]超图是图概念的扩展，其中的一条超边能够连接多个节点；超图的关联矩阵H表述了超边和节点的关系，其行数为节点个数，列数为超边个数；如果某行表示的节点在某列表示的超边中，则关联矩阵该位置的值为1，否则为0；超图节点的度定义为其所在超边个数，超边的度定义为其包含节点的个数，由此可得节点度矩阵D和超边度矩阵B；在此基础上，定义如下超图卷积层：
[0021]X
(l+1)
＝D
‑1HB
‑1H
T
X
(l)
Θ
(l)
，
[0022]其中X
(l)
是第l层所有节点的向量表示构成的矩阵，Θ是可学习参数矩阵；
[0023]为了对用户的历史兴趣偏好进行建模，将基于用户的历史物品构建两个超图；首先是基于对话的超图，它仅由历史物品构成，按照不同的历史对话划分为不同的超边，于是不同超边可能共享部分节点；该超图对应的关联矩阵、节点度矩阵和超边度矩阵分别为H
s
、D
s
、B
s
，从N中抽取历史物品对应的表示构成X
h
，经过超图卷积之后得到对话增强的物品表示：
[0024]N
s
＝HConv(H
s
，D
s
，B
s
，X
h
)，
[0025]其中HConv(
·
)为上述定义的超图卷积层；
[0026]其次是基于知识的超图，它由历史物品和它们在知识图谱上的一跳邻居构成，单个历史物品及其邻居构成一个超边，不同超边共享一些描述物品属性的实体节点；该超图对应的关联矩阵、节点度矩阵和超边度矩阵分别为H
k
、D
k
、B
k
，从N中抽取历史物品及其一跳邻居对应的表示构成X
k
，经过超图卷积的到知识增强的物品表示为：
[0027]X
′
k
＝HConv(H
k
，D
k
，B
k
，X
k
)，
[0028]再将其中每条超边进行平均池化得到各历史物品的表示N
k
；双通道超图卷积作用
于定义的两个超图上得到不同视角下增强的物品表示；其中，对话增强的物品表示代表对于用户历史对话信息的充分利用，而知识增强的物品表示代表对用户历史兴趣的深入探索。
[0029]作为一种进一步的技术方案，步骤S3具体为：利用多头注意力机制进行检索与权衡：
[0030]N
sk
＝MHA(N
c
，[N
s
；N
k
]，[N
s...

【技术保护点】

【技术特征摘要】
1.一种基于双通道超图兴趣建模的对话推荐算法，其特征在于，包括如下步骤：S1：首先对知识图谱的实体进行编码，通过知识图谱引入外部知识提升推荐性能；S2：抽取用户历史对话中的物品信息，通过双通道超图建模的方式进行增强其表示；S3：为了让推荐结果首先关注当前的对话内容，避免过度拟合到历史兴趣上去，利用多头注意力机制进行检索与权衡；S4：构建了一个编码器
‑
解码器框架，根据用户的兴趣偏好生成有意义的回复。2.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法，其特征在于，步骤S1中对知识图谱的实体进行编码的具体方法如下：使用关系型图卷积神经网络R
‑
GCN进行编码：其中，是节点e在第l层的向量表示，表示节点e在关系r下的邻居节点的集合，是邻居节点e
′
在第l层的向量表示，和W
(l)
分别是与关系相关和无关的权重参数矩阵；最终本发明得到知识图谱上所有实体的向量表示，它们组成矩阵N。3.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法，其特征在于，步骤S1中为进一步提升模型对实体的表示能力，引入了基于对比学习的预训练过程；具体来说采用预训练任务是子图实例判别任务，从大量子图中判定相似子图和不相似子图；子图通过带重启的随机游走获得，随机游走序列从知识图谱上随机采样得到的点开始，每次游走以一定概率返回原点，最终从随机游走序列节点构建子图；两个起点相同的序列构成的子图构成相似子图，否则为不相似子图；设置两个独立的图编码器f
q
和f
k
，分别将查询子图和被查询子图序列编码为向量q和向量集合{k0,
…
,k
K
}，使用如下目标函数进行优化：其中为损失函数，q
T
为查询向量的转置，k
+
为正例键值向量，k
i
为被查询键值向量，τ为温度超参数；在训练时还采用基于动量的参数更新方式，记f
q
和f
k
的参数分别为Θ
q
和Θ
k
，更新规则为Θ
k
←
mΘ
k
+(1
‑
m)Θ
q
，其中m为动量超参数，最终只保留f
q
作为下游微调的图编码器。4.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法，其特征在于，步骤S2具体为：超图是图概念的扩展，其中的一条超边能够连接多个节点；超图的关联矩阵H表述了超边和节点的关系，其行数为节点个数，列数为超边个数；如果某行表示的节点在某列表示的超边中，则关联矩阵该位置的值为1，否则为0；超图节点的度定义为其所在超边个数，超边的度定义为其包含节点的个数，由此可得节点度矩阵D和超边度矩阵B；在此基础上，定义如下超图卷积层：X
(l+1)
＝D
‑1HB
‑1H
T
X
(l)
Θ
(l)
,
其中X
(l)
是第l层所有节点的向量表示构成的矩阵，Θ是可学习参数矩阵；为了对用户的历史兴趣偏好进行建模，将基于用户的历史物品构建两个超图；首先是基于对话的超图，它仅由历史物品构成，按照不同的历史对话划分为不同的超边，于是不同超边可能共享部分节点；该超图对应的关联矩阵、节点度矩阵和超边度矩阵分别为H
s
、D
s
、B
s
，从N中抽取历史物品对应的表示构成X
h
，经过超图卷积之后得到对话增强的物品表示：N
s
＝HConv(H
s
,D
s
,B
s
,X
h
),其中HConv(
·
)为上述定义的超图卷积层；其次是基于知识的超图，它由历史物品和它们在知识图谱上的一跳邻居构成，单个历史物品及其邻居构成一个超边，不同超边共享一些描述物品属性的实体节点；该超图对应的关联矩...

【专利技术属性】
技术研发人员：赵鑫，尚琛展，侯宇蓬，张静，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：