一种模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种模型训练方法、装置、电子设备及存储介质，该方法基于获取的样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型，其中，样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱，从而缓解数据稀疏和流行性偏差的问题，增强跨域连接，进而提高召回结果的多样性；在每轮迭代确定子损失值时，对扩充前后样本图谱中的各个设定属性信息进行域内对比学习，以提高了召回过程中各个设定属性信息的可靠性表示，进而提高召回性能。进而提高召回性能。进而提高召回性能。

【技术实现步骤摘要】
一种模型训练方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，公开了一种模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]个性化推荐是根据对象的画像和历史行为推荐其感兴趣的内容，已广泛应用在生活中的各个领域。目前，推荐系统通常采用召回
‑
推荐两阶段架构。其中，召回用于生成推荐的候选文本，旨在从大量语料库中高效地检索出部分(通常是数百个)个性化的高质量内容。召回的结果决定了排序的输入，因此，召回比排序更注重推荐结果的多样性。
[0003]实际推荐过程中，对象行为反映对象偏好，若仅根据对象的偏好来推送其感兴趣的内容，会导致该对象浏览的内容局限于单一领域，形成茧房效应。为了解决该问题，目前推荐系统大多采用跨域推荐方法。
[0004]跨域推荐(Cross
‑
domain Recommendation，CDR)方法通过将不同源域学习到的知识迁移到目标域以平衡推荐结果。一个好的CDR召回应从不同目标域综合传递对象的不同偏好。
[0005]然而，传统的CDR召回中，源域和目标域之间的知识迁移，对对象和对象行为的依赖性较强。针对对象行为较少的冷启动领域以及内容曝光率较低的非流行领域，因数据稀疏和流行性偏差，导致召回结果中很少包含这些领域的内容，降低了推荐结果的多样性；此外，考虑到对象行为有限，无法涉及到各个领域，导致不同领域间的关联信息得不到充分的学习，知识表示的可靠性较差。

技术实现思路

[0006]本申请实施例提供一种模型训练方法、装置、电子设备及存储介质，用以提高召回阶段知识表示的可靠性，进而提高推荐结果的多样性。
[0007]第一方面，本申请实施例提供一种跨域对比推荐模型的训练方法，包括：
[0008]获取样本图谱集合；所述样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱；
[0009]基于所述样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型，其中，每次迭代过程中，执行以下操作：
[0010]采用所述待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取所述各个样本图谱各自对应的各个设定属性信息的属性特征向量；其中，所述各个设定属性信息通过关联的样本推荐文本实现图谱连接；
[0011]基于获得的所述各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算所述各个设定属性信息在相应样本域中的子损失值；
[0012]基于获得的各子损失值，确定目标损失值，并基于所述目标损失值对所述待训练的跨域对比推荐模型进行参数调整。
[0013]第二方面，本申请实施例提供一种推荐装置，包括：
[0014]样本获取模块，用于获取样本图谱集合；所述样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱；
[0015]模型训练模块，用于基于所述样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型；其中，所述模型训练模块包括特征提取单元、损失值计算单元、参数调整单元；
[0016]在每次迭代过程中：
[0017]所述特征提取单元，用于采用所述待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取所述各个样本图谱各自对应的各个设定属性信息的属性特征向量；其中，所述各个设定属性信息通过关联的样本推荐文本实现图谱连接；
[0018]所述损失值计算单元，用于基于获得的所述各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算所述各个设定属性信息在相应样本域中的子损失值；
[0019]所述参数调整单元，用于基于获得的各子损失值，确定目标损失值，并基于所述目标损失值对所述待训练的跨域对比推荐模型进行参数调整。
[0020]可选的，还包括样本图谱搭建模块，用于：
[0021]针对各个样本域，分别执行以下操作：将一个样本域中的各个设定属性信息分别作为相应的图谱节点，将所述一个样本域中所述各个设定属性信息连接的样本推荐文本分别作为相应的图谱边，基于各个节点和连接所述各个节点的图谱边，构建所述一个样本域对应的样本图谱。
[0022]可选的，所述样本图谱搭建模块，还用于：
[0023]删除所述一个样本域对应的样本图谱中的至少一个节点；
[0024]删除所述一个样本域对应的样本图谱中的至少一条边。
[0025]可选的，所述特征提取单元，具体用于：
[0026]针对所述各个样本图谱中的一个样本图谱中的所述各个设定属性信息，分别执行以下操作：
[0027]根据一个设定属性信息连接的样本推荐文本，确定所述一个设定属性信息对应的相邻设定属性信息集合；
[0028]分别确定所述相邻设定属性信息集合中，各个相邻设定属性信息各自与所述一个设定属性信息的相似度；
[0029]根据确定的各个相似度，分别确定相应的相邻设定属性信息与所述一个设定属性信息的多头注意力系数；
[0030]根据确定的各个多头注意力系数，对所述各个相邻设定属性信息的属性特征向量进行加权，得到所述一个设定属性信息的属性特征向量。
[0031]可选的，所述损失值计算单元具体用于：
[0032]针对非扩充的第一类样本图谱中的各个设定属性信息，分别执行以下操作：
[0033]根据一个设定属性信息的属性特征向量，与相邻设定属性信息的属性特征向量之间的相似度，以及，所述一个设定属性信息的属性特征向量，与非相邻设定属性信息的属性特征向量之间的相似度，确定所述一个设定属性信息在相应样本域中的子损失值；以及
[0034]针对扩充后的第二类样本图谱中的各个设定属性信息，分别执行以下操作：
[0035]根据一个设定属性信息的属性特征向量，与扩充前的样本图谱中相应的设定属性信息的属性特征向量之间的相似度，以及，所述相应的设定属性信息的属性特征向量，分别与所述一个设定属性信息的非相邻设定属性信息的属性特征向量之间的相似度，确定所述一个设定属性信息在相应样本域中的子损失值。
[0036]可选的，所述损失值计算单元还用于：
[0037]基于所述各个样本域对应的样本图谱中各个设定属性信息的属性特征向量，计算所述各个样本域之间的子损失值。
[0038]可选的，所述各个样本图谱至少包括源域对应的第一样本图谱，目标域对应的第二样本图谱；所述损失值计算单元具体用于：
[0039]基于所述第一样本图谱和所述第二样本图谱中，相同的设定属性信息的属性特征向量，计算所述源域和所述目标域之间的第一损失值；
[0040]基于所述第一样本图谱和所述第二样本图谱本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨域对比推荐模型的训练方法，其特征在于，所述方法包括：获取样本图谱集合；所述样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱；基于所述样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型，其中，每次迭代过程中，执行以下操作：采用所述待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取所述各个样本图谱各自对应的各个设定属性信息的属性特征向量；其中，所述各个设定属性信息通过关联的样本推荐文本实现图谱连接；基于获得的所述各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算所述各个设定属性信息在相应样本域中的子损失值；基于获得的各子损失值，确定目标损失值，并基于所述目标损失值对所述待训练的跨域对比推荐模型进行参数调整。2.如权利要求1所述的方法，其特征在于，所述样本图谱是通过以下方式搭建的：针对各个样本域，分别执行以下操作：将一个样本域中的各个设定属性信息分别作为相应的图谱节点，将所述一个样本域中所述各个设定属性信息连接的样本推荐文本分别作为相应的图谱边，基于各个节点和连接所述各个节点的图谱边，构建所述一个样本域对应的样本图谱。3.如权利要求2所述的方法，其特征在于，通过以下至少一种方式生成扩充后的样本图谱：删除所述一个样本域对应的样本图谱中的至少一个节点；删除所述一个样本域对应的样本图谱中的至少一条边。4.如权利要求1
‑
3中任一项所述的方法，其特征在于，所述基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取所述各个样本图谱各自对应的各个设定属性信息的属性特征向量，包括：针对所述各个样本图谱中的一个样本图谱中的所述各个设定属性信息，分别执行以下操作：根据一个设定属性信息连接的样本推荐文本，确定所述设定属性信息对应的相邻设定属性信息集合；分别确定所述相邻设定属性信息集合中，各个相邻设定属性信息各自与所述一个设定属性信息的相似度；根据确定的各个相似度，分别确定相应的相邻设定属性信息与所述一个设定属性信息的多头注意力系数；根据确定的各个多头注意力系数，对所述各个相邻设定属性信息的属性特征向量进行加权，得到所述一个设定属性信息的属性特征向量。5.如权利要求1
‑
3中任一项所述的方法，其特征在于，所述基于获得的所述各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算所述各个设定属性信息在相应样本域中的子损失值，包括：针对非扩充的第一类样本图谱中的各个设定属性信息，分别执行以下操作：
根据一个设定属性信息的属性特征向量，与相邻设定属性信息的属性特征向量之间的相似度，以及，所述一个设定属性信息的属性特征向量，与非相邻设定属性信息的属性特征向量之间的相似度，确定所述一个设定属性信息在相应样本域中的子损失值；以及针对扩充后的第二类样本图谱中的各个设定属性信息，分别执行以下操作：根据一个设定属性信息的属性特征向量，与扩充前的样本图谱中相应的设定属性信息的属性特征向量之间的相似度，以及，所述相应的设定属性信息的属性特征向量，分别与所述一个设定属性信息的非相邻设定属性信息的属性特征向量之间的相似度，确定所述一个设定属性信息在相应样本域中的子损失值。6.如权利要求1所述的方法，其特征在于，在确定目标损失值之前，还包括：基于所述各个样本域对应的样本图谱中各个设定属性信息的属性特征向量，计算所述各个样本域之间的子损失值。7.如权利要求6所述的方法，其特征在于，所述各个样本图谱至少包括源域对应的第一样本图谱，目标域对应的第二样本图谱；所述基于所述各个样本域对应的样本图谱中的各个设定属性信息的属性特征向量，计算所述样本域之间的子损失值，包括：基于所述第一样本图谱和所述第二样本图谱中，相同的设定属性信息的属性特征向量，计算所述源域和所述目标域之间的第一损失值；基于所述第一样本图谱和所述第二样本图谱中，相邻的设定属性信息的属性特征向量，计算所述源域和所述目标域之间的第二损失值；根据所述第一损失值和所述第二损失...

【专利技术属性】
技术研发人员：刘祺，林乐宇，张博，刘书凯，王良栋，谢若冰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：