一种基于提示学习方法的对话推荐系统技术方案

本发明专利技术公开了一种基于提示学习方法的对话推荐系统，包括如下步骤：S1：通过基于实体预测的自监督学习融合对话文本和知识图谱的语义信息作为任务共享的提示，为预训练语言模型补充用于对话推荐系统所需要的知识信息；S2：通过对话任务特定的提示设计，驱动预训练语言模型生成带有物品槽位的模板语句作为回复的中间结果；S3：通过推荐任务特定的提示，驱动预训练语言模型生成用户感兴趣的物品。本发明专利技术借助知识图谱增强的提示学习技术，在固定大规模预训练语言模型的情况下，通过添加任务共享和任务特定的提示，使得一个模型可以高质量地完成对话和推荐两个任务，并生成结果相一致的回复语句和推荐物品。复语句和推荐物品。复语句和推荐物品。

【技术实现步骤摘要】
一种基于提示学习方法的对话推荐系统


[0001]本专利技术涉及人工智能自然语言处理领域和推荐系统领域，尤其是涉及一种基于提示学习方法的对话推荐系统。

技术介绍

[0002]在大数据时代，信息呈现爆炸式增长，为了缓解信息过载，从中挖掘商业价值，推荐系统逐渐兴起。它旨在根据用户偏好和需求，为其推荐感兴趣的信息或物品。推荐系统因其价值得到了广泛应用，例如电子商务平台淘宝，京东等。传统的推荐系统通过一次性的单向交互过程向用户提供推荐服务，由于用户无法告知系统其当前偏好与需求，系统往往通过分析用户的历史行为，例如点击历史、购物记录、商品评价等，来估计其偏好，然后向用户给出推荐结果。这种设计存在两个问题，一是用户的历史行为往往是有限的，难以从中有效地估计出其偏好，二是用户的需求随着时间不断变化，系统无法通过一次性的单向交互感知其当下的最新需求。这些问题导致推荐系统提供的服务存在用户体验不佳，推荐物品相关性不高等问题，影响了其商业价值实现。
[0003]伴随着智能助理的兴起，越来越多的人通过对话和机器进行交互，机器通过语音语义技术感知用户需求，帮助其完成相应任务。对话作为一种媒介，可以有效打破用户和系统之间的信息不对称，更好地帮助系统感知用户偏好，并根据用户反馈做出调整，从而给用户提供更好的使用体验。
[0004]因此，为了提升推荐系统的服务质量，本专利技术提出了一种基于提示学习方法的对话推荐系统，该系统能够通过知识增强的提示来驱动大规模预训练模型根据和用户的历史对话推断其偏好，进而生成高质量的推荐物品和回复语句。
[0005]大规模预训练模型被广泛应用于自然语言处理领域设计语言理解与生成的各项任务中。在本专利技术中，预训练模型用于建模对话文本等上下文信息，并预测要推荐的物品和生成回复用户的语句。
[0006]提示学习技术可以用于预训练模型的轻量化微调，它可以在固定预训练模型的情况下，通过添加少量可学习的参数，将预训练模型迁移至下游任务，极大减轻了将预训练模型部署至多个业务场景的训练和存储成本。在本专利技术中，提示学习能够建模对话任务和推荐任务的语义信息，从而仅仅使用一个预训练大模型就可以解决这两个任务。
[0007]知识图谱在推荐系统中得到了大量应用，它可以丰富物品的语义信息。在本专利技术中，知识图谱可以帮助系统更好地理解对话中提及的实体，建模用户对于这些实体的偏好，从而提升在对话和推荐任务上的性能。
[0008]目前，主要有应用以下两种技术的对话推荐系统：
[0009]技术一(模型如图1所示)：基于互信息最大化技术融合面向单词和面向实体的知识图谱，并基于此设计了知识增强的推荐模块和对话模块，分别用于生成要推荐给用户的物品和回复用户的语句。首先，通过基于互信息最大化的损失函数对两个知识图谱的表示进行预训练，然后，采用门控机制融合单词级别和实体级别的信息作为用户表示，通过和物
品表示进行匹配对候选物品进行排序，最后，采用基于Transformer的编码器
‑
解码器模型根据历史对话，并结合单词级别和实体级别的信息，生成回复用户的语句。
[0010]技术一分别采用不同模型作为对话模块和推荐模块。生成回复时，对话模块的模型无法感知到推荐模块预测的物品，导致生成的回复存在与推荐的物品不一致的情况，极大地影响了用户体验。
[0011]技术二(模型如图2所示)：采用针对物品的评论作为外部知识来丰富对话的语义信息。具体而言，首先，采用一个基于Transformer的模型检索出和对话历史蕴含的情感相一致的评论文本，然后，从中抽取出实体，通过自注意力机制融合对话历史中包含的实体作为用户表示，和物品表示进行匹配对候选物品进行排序，最后，采用基于Transformer的编码器
‑
解码器模型根据对话历史，并结合实体信息和评论文本，生成回复用户的语句。
[0012]技术二将评论文本作为外部知识，这就要求维护一个关于物品评论的数据库，带来了额外开销，此外，受到曝光度偏差的影响，部分物品的评论数据十分有限，对于新物品而言，完全没有可以利用的评论数据，这些问题都限制了技术二的可扩展性和易维护性。
[0013]公开于该
技术介绍
部分的信息仅仅旨在加深对本专利技术的总体
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

[0014]本专利技术的目的在于提供一种基于提示学习方法的对话推荐系统，提出了一种基于提示学习方法的对话推荐系统，所述系统基于大规模预训练模型，通过添加任务共享和任务特定的提示，驱动模型生成结果相一致的高质量回复语句和推荐物品。
[0015]本专利技术首先通过面向实体的预训练任务融合对话中实体和文本的语义信息，作为对话任务和推荐任务共享的提示，然后为对话任务添加特定的连续型提示，驱动模型生成带有物品槽位的模板作为回复，最后将该模板和推荐任务特定的连续型提示一起用于驱动模型生成要推荐的物品列表，并根据槽位数目，选取推荐概率最高的物品填入模板，得到最终的回复语句。
[0016]为了实现上述目的，本专利技术采用以下技术方案：
[0017]本专利技术提供一种基于提示学习方法的对话推荐系统，其特征在于，包括如下步骤：
[0018]S1：通过自监督学习融合对话文本和知识图谱的语义信息作为任务共享的提示，为预训练模型补充用于对话推荐系统所需要的知识；
[0019]S2：通过对话任务特定的提示设计，驱动预训练模型生成带有物品槽位的模板语句作为回复的中间结果；
[0020]S3：通过推荐任务特定的提示，驱动预训练模型生成用户感兴趣的物品。
[0021]作为一种进一步的技术方案，步骤S1具体为：
[0022]从对话文本中抽取出单词和实体这两种基本的语义单元，分别用于表征文本级别和物品级别的知识，并设计交叉融合机制和基于自监督学习的预训练任务，来融合这两种类型的知识；
[0023]首先对单词和实体这两种语义单元进行编码；对于单词，采用基于双向Transformer的预训练模型RoBERTa作为编码器，为了减少训练和存储开销，RoBERTa模型的
权重保持固定，每个单词的编码被拼接起来得到文本级别的表示(是单词i的表示，n
W
是单词的数目)；对于实体，采用实体链接技术将对话文本链接至知识图谱DBpedia，通过关系图神经网络R
‑
GCN进行编码得到每个实体的表示，并将其拼接起来得到物品级别的表示(是实体i的表示，n
E
是实体的数目)；
[0024]得到上述两种级别的表示之后，为了消除它们之间的语义鸿沟，基于双线性变换的交叉融合机制关联这两种语义单元：
[0025][0026][0027][0028]其中，A是这两种表示之间的相似性矩阵，它通过引入变换矩阵W1得到，和分别对应语义融合后的单词表示和实体表示；
[0029]为了学习上述过程引入的参数，设计一个自监督任务，让模型根据对话文本预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于提示学习方法的对话推荐系统，其特征在于，包括如下步骤：S1：通过自监督学习融合对话文本和知识图谱的语义信息作为任务共享的提示，为预训练模型补充用于对话推荐系统所需要的知识；S2：通过对话任务特定的提示设计，驱动预训练模型生成带有物品槽位的模板语句作为回复的中间结果；S3：通过推荐任务特定的提示，驱动预训练模型生成用户感兴趣的物品。2.根据权利要求1所述的基于提示学习方法的对话推荐系统，其特征在于，步骤S1具体为：从对话文本中抽取出单词和实体这两种基本的语义单元，分别用于表征文本级别和物品级别的知识，并设计交叉融合机制和基于自监督学习的预训练任务，来融合这两种类型的知识；首先对单词和实体这两种语义单元进行编码；对于单词，采用基于双向Transformer的预训练模型RoBERTa作为编码器，为了减少训练和存储开销，RoBERTa模型的权重保持固定，每个单词的编码被拼接起来得到文本级别的表示其中，是单词i的表示，n
W
是单词的数目；对于实体，采用实体链接技术将对话文本链接至知识图谱DBpedia，通过关系图神经网络R
‑
GCN进行编码得到每个实体的表示，并将其拼接起来得到物品级别的表示其中，是实体i的表示，n
E
是实体的数目；得到上述两种级别的表示之后，为了消除它们之间的语义鸿沟，基于双线性变换的交叉融合机制关联这两种语义单元：元：元：其中，A是这两种表示之间的相似性矩阵，它通过引入变换矩阵W1得到，和分别对应语义融合后的单词表示和实体表示；为了学习上述过程引入的参数，设计一个自监督任务，让模型根据对话文本预测链接出的实体中被去掉的部分，其计算方法如下：其中，e表示要预测的实体，是添加了实体表示的对话上下文，是模型经过编码得到的上下文表示，h
e
是实体e经过语义融合后得到的表示；采用交叉熵损失函数来优化语义融合引入的参数Θ
fuse
，Θ
plm
保持固定，无需优化。3.根据权利要求1所述的基于提示学习方法的对话推荐系统，其特征在于，步骤S2具体为：对话任...

【专利技术属性】
技术研发人员：赵鑫，王晓磊，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：