基于知识图谱的智能对话推荐方法及装置制造方法及图纸

本发明专利技术提供一种基于知识图谱的智能对话推荐方法及装置，该方法包括：获取用户端的语音信息；将语音信息输入到训练好的语言模型中，得到语音信息对应的自然语言回复，训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；样本对话历史表示是通过对样本对话历史内容进行编码得到的；样本用户画像是通过对样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。本发明专利技术通过对不同对话意图下实体推理的过程进行建模，有效地提高智能对话推荐的准确性与语言生成的流畅性。流畅性。流畅性。

【技术实现步骤摘要】
基于知识图谱的智能对话推荐方法及装置


[0001]本专利技术涉及自然语言处理
，尤其涉及一种基于知识图谱的智能对话推荐方法及装置。

技术介绍

[0002]在当今信息爆炸时代，基于互联网的大型电商平台彻底改变了人们的生活方式。面对平台上海量的商品信息，用户常常陷入选择和比较的困境中，如何快速的了解用户喜好，精准地推荐用户心仪的产品成为一个难题。
[0003]传统推荐系统需要大量的用户历史数据，在历史数据缺失的冷启动(Cold Start)场景下，现有推荐系统无法完成精准推荐的需求。结合近年来对话系统的快速发展，对话推荐系统(Conversational Recommendation System，简称CRS)应运而生。在对话推荐的场景下，系统需要通过对话引导用户表达自身需求，快速建立用户画像，并结合已有商品数据完成针对用户的精准推荐。其中，大规模的知识图谱常用来存储海量的商品信息，并用来刻画商品之间的各种关系。
[0004]现有对话推荐系统往往对传统推荐系统和对话系统进行简单的耦合：在知识图谱上寻找推荐对象，再将推荐对象引入生成的自然语言中。然而，此类方法未能有效建模该场景下系统端的多种对话意图，包括不同对话意图下的知识推理以及对话策略生成，从而导致推荐性能和语言生成性能不理想。因此，现在亟需一种基于知识图谱的智能对话推荐方法及装置来解决上述问题。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种基于知识图谱的智能对话推荐方法及装置。
[0006]本专利技术提供一种基于知识图谱的智能对话推荐方法，包括：
[0007]获取用户端的语音信息；
[0008]将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；
[0009]其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
[0010]根据本专利技术提供的一种基于知识图谱的智能对话推荐方法，所述训练好的语言模型通过以下步骤得到：
[0011]根据样本问法和所述样本问法对应的样本回复，构建每轮次对话的样本历史对话内容，所述样本问法为用户端样本对话内容，所述样本回复为系统端样本对话内容；
[0012]基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示；
[0013]基于预训练的R
‑
GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像；
[0014]通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树；
[0015]根据所述样本意图推理树和所述样本历史对话内容，构建训练样本集，并将所述训练样本集输入到预训练的GPT
‑
2模型进行微调，以根据训练好的GPT
‑
2模型，得到训练好的语言模型，所述训练好的语言模型包括所述预训练的BERT模型、所述预训练的R
‑
GCN模型和所述训练好的GPT
‑
2模型。
[0016]根据本专利技术提供的一种基于知识图谱的智能对话推荐方法，所述基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示，包括：
[0017]基于预训练的BERT模型，对每轮次对话的样本历史对话内容进行编码，得到每轮次对话的对话表示：
[0018]BERT([y
t
‑1；x
t
])；
[0019]其中，x
t
表示第t轮次对话中的用户端样本对话内容，y
t
‑1表示第t
‑
1轮次对话中的系统端样本对话内容；所述预训练的BERT模型的输出层连接一个LSTM层；
[0020]通过所述LSTM层，根据对话的时序关系，对所有轮次对话的对话表示按照时序关系进行编码，得到样本对话历史表示u
t
；
[0021]u
t
＝LSTM(u
t
‑1，BERT([y
t
‑1；x
t
]))。
[0022]根据本专利技术提供的一种基于知识图谱的智能对话推荐方法，所述基于预训练的R
‑
GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像，包括：
[0023]基于预训练的R
‑
GCN模型，对知识图谱中每个节点进行编码，得到每个节点在所述预训练的R
‑
GCN模型中每一层的表示：
[0024][0025]其中，表示与节点e有关系r的节点集合；与为训练参数；R
‑
GCN模型第L层的节点表示为h
e
∈R
d
；e
′
表示与节点e有关系r的节点；
[0026]根据所述样本对话历史内容中提及到的知识图谱的节点，将对应的编码后的节点构成目标节点矩阵M
t
：
[0027][0028][0029]基于自注意力机制，根据所述目标节点矩阵，生成对应的样本用户画像p
t
：
[0030]p
t
＝α
t
*M
t
；
[0031]α
t
＝softmax(w
p
·
tanh(W
p
M
t
))；
[0032]其中，α
t
表示第t轮次对话的权重向量，w
p
与W
p
表示训练参数。
[0033]根据本专利技术提供的一种基于知识图谱的智能对话推荐方法，所述通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树，包括：
[0034]根据样本对话历史表示和样本用户画像，对预设对话意图在知识图谱上进行单步推理，得到对应的推理上下文向量c
t
：
[0035][0036][0037]其中，i
t
表示第t个轮次对话中每个对话意图的训练向量表示，u
t
表示样本对话历史表示，p
t
表示样本用户画像，h
e
表示知识图谱中编码后的节点，γ
(n)
表示推理跳数为n时的权重值；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识图谱的智能对话推荐方法，其特征在于，包括：获取用户端的语音信息；将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。2.根据权利要求1所述的基于知识图谱的智能对话推荐方法，其特征在于，所述训练好的语言模型通过以下步骤得到：根据样本问法和所述样本问法对应的样本回复，构建每轮次对话的样本历史对话内容，所述样本问法为用户端样本对话内容，所述样本回复为系统端样本对话内容；基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示；基于预训练的R
‑
GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像；通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树；根据所述样本意图推理树和所述样本历史对话内容，构建训练样本集，并将所述训练样本集输入到预训练的GPT
‑
2模型进行微调，以根据训练好的GPT
‑
2模型，得到训练好的语言模型，所述训练好的语言模型包括所述预训练的BERT模型、所述预训练的R
‑
GCN模型和所述训练好的GPT
‑
2模型。3.根据权利要求2所述的基于知识图谱的智能对话推荐方法，其特征在于，所述基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示，包括：基于预训练的BERT模型，对每轮次对话的样本历史对话内容进行编码，得到每轮次对话的对话表示：BERT([y
t
‑1；x
t
])；其中，x
t
表示第t轮次对话中的用户端样本对话内容，y
t
‑1表示第t
‑
1轮次对话中的系统端样本对话内容；所述预训练的BERT模型的输出层连接一个LSTM层；通过所述LSTM层，根据对话的时序关系，对所有轮次对话的对话表示按照时序关系进行编码，得到样本对话历史表示u
t
；u
t
＝LSTM(u
t
‑1,BERT([y
t
‑1；x
t
]))。4.根据权利要求2所述的基于知识图谱的智能对话推荐方法，其特征在于，所述基于预训练的R
‑
GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像，包括：基于预训练的R
‑
GCN模型，对知识图谱中每个节点进行编码，得到每个节点在所述预训练的R
‑
GCN模型中每一层的表示：
其中，表示与节点e有关系r的节点集合；与为训练参数；R
‑
GCN模型第L层的节点表示为h
e
∈R
d
；e
′
表示与节点e有关系r的节点；根据所述样本对话历史内容中提及到的知识图谱的节点，将对应的编码后的节点构成目标节点矩阵M
t
：：基于自注意力机制，根据所述目标节点矩阵，生成对应的样本用户画像p
t
：p
t

【专利技术属性】
技术研发人员：黄民烈，马文畅，
申请(专利权)人：清华大学，
类型：发明
国别省市：