基于路径推理的对象推荐方法、装置、电子设备制造方法及图纸

本申请公开了一种基于路径推理的对象推荐方法，属于计算机技术领域，有助于提升推荐对象与用户的匹配度。所述方法包括：通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到实体的第一向量表示；其中，实体包括用户和推荐对象；基于实体的第一向量表示，通过执行强化学习的路径推理模型确定实体间的若干路径；对若干路径表达的实体之间的关系进行学习，并根据学习结果更新实体的第一向量表示，并迭代执行路径推理模型，直至路径推理模型的执行结果满足预设迭代终止条件，从最终推理得到的若干路径中筛选用户至推荐对象的路径；并根据筛选得到的用户至推荐对象的路径，向用户推荐推荐对象。

【技术实现步骤摘要】
基于路径推理的对象推荐方法、装置、电子设备
本申请实施例涉及计算机
，特别是涉及一种基于路径推理的对象推荐方法、装置、电子设备及计算机可读存储介质。
技术介绍
现有技术中，在对用户进行商品、信息、服务等对象的推荐时，采用的一种基于路径推理的推荐方法为：根据用户到商品的决策记录构建静态知识图谱，基于静态知识图谱的结构推理用户到商品的多跳路径，基于推理得到的多跳路径对用户进行商品推荐。现有技术中的基于路径推理的推荐方法，将路径游走问题建模为马尔科夫决策过程，并使用强化学习方法中的动作-策略网络求解图谱中用户到商品的多跳路径，该方法中的动作-策略网络依赖于静态图谱上预训练好的节点或实体的向量表示，预训练向量表示的质量对最终模型的性能影响较大。当预训练向量表示的质量低下时，会导致推荐的商品与用户的匹配度降低。现有技术中的基于路径推理的对象推荐方法还有待改进。
技术实现思路
本申请实施例提供一种基于路径推理的对象推荐方法，有助于提升推荐对象与用户的匹配度。第一方面，本申请实施例提供了一种基于路径推理的对象推荐方法，包括：通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到所述实体的第一向量表示；其中，所述实体包括第一实体和第二实体，所述第一实体包括：用户；所述第二实体包括：推荐对象；基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径；响应于所述执行强化学习的路径推理模型的执行结果不满足预设迭代终止条件，对所述若干路径表达的所述实体之间的关系进行学习，并根据学习结果更新所述实体的第一向量表示，之后，跳转至执行所述基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径的步骤；响应于所述执行强化学习的路径推理模型的执行结果满足预设迭代终止条件，从所述若干路径中筛选所述用户至所述推荐对象的所述路径；根据筛选得到的所述用户至所述推荐对象的所述路径，向用户推荐所述推荐对象。第二方面，本申请实施例提供了一种基于路径推理的对象推荐装置，包括：第一向量表示学习模块，用于通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到所述实体的第一向量表示；其中，所述实体包括第一实体和第二实体，所述第一实体包括：用户；所述第二实体包括：推荐对象；路径推理模块，用于基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径；向量更新模块，用于响应于所述路径推理模块的执行结果不满足预设迭代终止条件，对所述若干路径表达的所述实体之间的关系进行学习，并根据学习结果更新所述实体的第一向量表示，之后，跳转至执行所述路径推理模块；路径筛选模块，用于响应于所述路径推理模块的执行结果满足预设迭代终止条件，从所述若干路径中筛选所述用户至所述推荐对象的所述路径；对象推荐模块，用于根据筛选得到的所述用户至所述推荐对象的所述路径，向用户推荐所述推荐对象。第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的基于路径推理的对象推荐方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的基于路径推理的对象推荐方法的步骤。本申请实施例公开的基于路径推理的对象推荐方法，通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到所述实体的第一向量表示；其中，所述实体包括：用户和推荐对象；基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径；响应于路径推理模型的执行结果不满足预设迭代终止条件，对所述若干路径表达的所述实体之间的关系进行学习，并根据学习结果更新所述实体的第一向量表示，并迭代执行路径推理模型，直至路径推理模型的执行结果满足预设迭代终止条件，然后，从所述若干路径中筛选所述用户至所述推荐对象的所述路径；并根据筛选得到的所述用户至所述推荐对象的所述路径，向用户推荐所述推荐对象，有助于提升推荐对象与用户的匹配度。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1是本申请实施例一的基于路径推理的对象推荐方法流程图；图2是本申请实施例一中的第一知识图谱示意图；图3是本申请实施例二的基于路径推理的对象推荐装置结构示意图；图4示意性地示出了用于执行根据本申请的方法的电子设备的框图；以及图5示意性地示出了用于保持或者携带实现根据本申请的方法的程序代码的存储单元。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例一本申请实施例公开的一种基于路径推理的对象推荐方法，如图1所示，所述方法包括：步骤100至步骤160。步骤100，通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到所述实体的第一向量表示。其中，所述实体包括第一实体和第二实体，所述第一实体进一步包括：用户；所述第二实体进一步包括以下一种或多种：推荐对象、用户属性、推荐对象属性。本申请实施例中所述的基于路径推理的对象推荐方法适用于向用户推荐商品、服务、信息等应用页面或者网页可以浏览、点击的对象。例如，所述对象可以为菜品、图书、服装、旅游景点、娱乐项目等对象。所述对象可以通过页面显示的图像、文本的形式推荐给用户，也可以以其他渠道或载体触达到用户，本申请对具体的对象推荐渠道和形式不做限定。本申请实施例中所述的预设实体包括：第一实体，本申请实施例中所述的第一实体指用户。本申请实施例中所述的预设实体还包括：第二实体，所述第二实体为区别于第一实体的实体，所述第二实体包括：推荐对象、用户属性、推荐对象属性。对应不同的推荐场景，所述第二实体有所不同。例如，在向用户推荐菜品的应用场景中，所述推荐对象包括：菜品，所述用户属性包括：口味偏好、常驻商圈等，所述推荐对象属性包括：菜系、口味、食材、商家等。又例如，在向用户推荐服装的应用场景中，所述推荐对象包括：服装本文档来自技高网...

【技术保护点】
1.一种基于路径推理的对象推荐方法，其特征在于，包括：/n通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到所述实体的第一向量表示；其中，所述实体包括第一实体和第二实体，所述第一实体包括：用户；所述第二实体包括：推荐对象；/n基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径；/n响应于所述执行强化学习的路径推理模型的执行结果不满足预设迭代终止条件，对所述若干路径表达的所述实体之间的关系进行学习，并根据学习结果更新所述实体的第一向量表示，之后，跳转至执行所述基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径的步骤；/n响应于所述执行强化学习的路径推理模型的执行结果满足预设迭代终止条件，从所述若干路径中筛选所述用户至所述推荐对象的所述路径；/n根据筛选得到的所述用户至所述推荐对象的所述路径，向用户推荐所述推荐对象。/n

【技术特征摘要】
1.一种基于路径推理的对象推荐方法，其特征在于，包括：
通过第一图卷积神经网络，对表达预设实体之间的关系的第一知识图谱进行学习，得到所述实体的第一向量表示；其中，所述实体包括第一实体和第二实体，所述第一实体包括：用户；所述第二实体包括：推荐对象；
基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径；
响应于所述执行强化学习的路径推理模型的执行结果不满足预设迭代终止条件，对所述若干路径表达的所述实体之间的关系进行学习，并根据学习结果更新所述实体的第一向量表示，之后，跳转至执行所述基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径的步骤；
响应于所述执行强化学习的路径推理模型的执行结果满足预设迭代终止条件，从所述若干路径中筛选所述用户至所述推荐对象的所述路径；
根据筛选得到的所述用户至所述推荐对象的所述路径，向用户推荐所述推荐对象。


2.根据权利要求1所述的方法，其特征在于，所述对所述若干路径表达的所述实体之间的关系进行学习，并根据学习结果更新所述实体的第一向量表示的步骤，包括：
根据所述若干路径构建第二知识图谱，其中，所述第二知识图谱用于表达所述若干路径对应的实体序列中包括的所述实体之间的关系；
通过第二图卷积神经网络对所述第二知识图谱中的结构特征进行学习，得到所述实体的第二向量表示；
通过所述实体的第二向量表示更新相应实体的所述第一向量表示。


3.根据权利要求1所述的方法，其特征在于，所述基于所述实体的第一向量表示，通过执行强化学习的路径推理模型，确定所述实体间的若干路径的步骤，包括：
执行预先构建的马尔科夫决策过程模型，求解所述实体之间的若干路径；所述马尔科夫决策过程的要素包括：状态、动作、策略和奖励，其中，
当前步的所述状态表示为：由求解的所述多跳路径的起始实体的第一向量表示、所述多跳路径的当前步所达到的实体的第一向量表示，以及对应当前步的历史状态构成的三元组；
当前步的所述动作表示为：当前步的所述状态对应的动作空间中执行偏好最高的预设数量个动作；
所述策略表示为：当前步的所述状态执行下一个所述动作的概率分布；
所述奖励表示为：所述多跳路径达到指定的所述第二实体，获得正向奖励，否则，不获得奖励。


4.根据权利要求3所述的方法，其特征在于，所述当前步的所述状态对应的动作空间中执行偏好最高的预设数量个动作通过以下方法确定：
根据所述第一知识图谱确定当前步的所述状态的动作空间，
通过预设多头注意力机制网络，根据所述当前步的所述状态...

【专利技术属性】
技术研发人员：张路浩，方瑞玉，胡懋地，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11