【技术实现步骤摘要】
本申请涉及电子数据处理领域，尤其涉及一种基于两阶段对比学习的多模态资源推荐方法、设备和可读存储介质。
技术介绍
1、随着数字化时代的演进，用于为用户提供个性化的内容和资源推荐的个性化推荐系统，已经成为互联网服务的核心组成部分，而推荐系统的核心也由单一模态向多模态信息进行转变。
2、传统的推荐系统主要基于用户和资源的向量表示，然后利用这些向量进行推荐。然而，这种方法忽略了多模态信息的丰富性，其对于文本、图像等多种模态数据的利用率低。因此，进一步引入在多模态信息处理中表现出色的深度学习技术，来提高多模态数据的利用率。
3、但是上述技术不能有效地融合多种多模态信息，进而导致根据这些信息进行推荐时准确性低。
技术实现思路
1、本申请实施例通过提供一种基于两阶段对比学习的多模态资源推荐方法、设备和可读存储介质，解决了相关技术中不能有效地融合多种多模态信息，进而导致根据这些信息进行推荐时准确性低的技术问题，实现了提升推荐算法的准确性的技术效果。
2、本申请实施例提供了一种基于两阶段对比学习的多模态资源推荐方法，所述基于两阶段对比学习的多模态资源推荐方法包括：
3、基于用户对资源的交互记录确定目标特征；
4、基于所述交互记录对应的二部图，确定所述交互记录对应的用户表征以及资源表征；
5、基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列；
6、基于预设筛选方案从所述点击率序列中选取目标
7、可选地，所述基于用户对资源的交互记录确定目标特征的步骤包括：
8、基于所述交互记录对应的用户标识以及资源标识进行嵌入操作，确定用户嵌入以及资源嵌入；
9、基于预设语言模型提取所述交互记录对应的资源文本，确定文本特征；
10、基于预设训练模型提取所述交互记录对应的资源图像，确定图像特征。
11、可选地，所述基于所述交互记录对应的二部图，确定所述交互记录对应的用户表征以及资源表征的步骤包括：
12、基于所述目标特征中的用户嵌入以及资源嵌入构建所述二部图；
13、学习所述二部图，确定预设层数的节点表征；
14、基于各层所述节点表征的平均池化，确定所述用户表征以及所述资源表征。
15、可选地，所述基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列的步骤之前，包括：
16、以所述目标特征中的文本特征以及图像特征作为多层神经网络的输入参数；
17、根据所述多层神经网络的输出结果更新所述文本特征以及所述图像特征，以统一所述文本特征以及所述图像特征的维度；
18、以更新后的所述文本特征以及所述图像特征作为所述多层神经网络的输入参数，确定所述多模态表征。
19、可选地，所述基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列的步骤包括：
20、确定所述用户表征、所述资源表征以及所述多模态表征对应的拼接向量；
21、根据所述拼接向量、多层神经网络以及预设函数，确定每个推荐结果对应的点击率；
22、基于所述推荐结果以及对应的所述点击率，生成所述点击率系列。
23、可选地，所述基于预设筛选方案从所述点击率序列中选取目标点击率对应的目标推荐结果的步骤之后，包括：
24、基于所述目标特征确定所述交互记录对应的图文对比损失；
25、基于所述多模态表征以及所述资源表征确定资源对比损失；
26、基于所述目标推荐结果确定推荐任务损失；
27、根据所述图文对比损失、所述资源对比损失以及所述推荐任务损失优化推荐模型。
28、可选地，所述基于所述目标推荐结果确定推荐任务损失的步骤包括：
29、获取样本真实值以及样本总量；
30、基于损失函数、所述目标推荐结果、所述样本真实值以及所述样本总量，确定所述推荐任务损失。
31、可选地，所述根据所述图文对比损失、所述资源对比损失以及所述推荐任务损失优化推荐模型的步骤包括：
32、基于所述图文对比损失、所述资源对比损失以及所述推荐任务损失的和，确定总损失；
33、基于所述总损失以及预设优化器确定优化参数；
34、根据所述优化参数优化所述推荐模型。
35、此外，本申请还提出一种基于两阶段对比学习的多模态资源推荐设备，所述基于两阶段对比学习的多模态资源推荐设备包括存储器、处理器及存储在存储器上并可在处理器上运行的多模态资源推荐程序，所述处理器执行所述多模态资源推荐程序时实现如上所述的基于两阶段对比学习的多模态资源推荐方法的步骤。
36、此外，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有多模态资源推荐程序，所述多模态资源推荐程序被处理器执行时实现如上所述的基于两阶段对比学习的多模态资源推荐方法的步骤。
37、本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
38、由于采用了基于用户对资源的交互记录确定目标特征；基于所述交互记录对应的二部图，确定所述交互记录对应的用户表征以及资源表征；基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列；基于预设筛选方案从所述点击率序列中选取目标点击率对应的目标推荐结果，所以，有效解决了相关技术中不能有效地融合多种多模态信息，进而导致根据这些信息进行推荐时准确性低的技术问题，实现了提升推荐算法的准确性的技术效果。
本文档来自技高网...【技术保护点】
1.一种基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于两阶段对比学习的多模态资源推荐方法包括：
2.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于用户对资源的交互记录确定目标特征的步骤包括：
3.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于所述交互记录对应的二部图，确定所述交互记录对应的用户表征以及资源表征的步骤包括：
4.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列的步骤之前，包括：
5.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列的步骤包括：
6.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于预设筛选方案从所述点击率序列中选取目标点击率对应的目标推荐结果的步骤之后，包括：
7.如权利
8.如权利要求6所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述根据所述图文对比损失、所述资源对比损失以及所述推荐任务损失优化推荐模型的步骤包括：
9.一种基于两阶段对比学习的多模态资源推荐设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的多模态资源推荐程序，所述处理器执行所述多模态资源推荐程序时实现如权利要求1至8任一项所述的基于两阶段对比学习的多模态资源推荐方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多模态资源推荐程序，所述多模态资源推荐程序被处理器执行时实现如权利要求1至8任一项所述的基于两阶段对比学习的多模态资源推荐方法的步骤。
...【技术特征摘要】
1.一种基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于两阶段对比学习的多模态资源推荐方法包括：
2.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于用户对资源的交互记录确定目标特征的步骤包括：
3.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于所述交互记录对应的二部图，确定所述交互记录对应的用户表征以及资源表征的步骤包括：
4.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列的步骤之前，包括：
5.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所述基于所述用户表征、所述资源表征以及所述目标特征对应的多模态表征，计算点击率序列的步骤包括：
6.如权利要求1所述的基于两阶段对比学习的多模态资源推荐方法，其特征在于，所...
【专利技术属性】
技术研发人员：甘健侯，李子杰，陈书雨，王俊，周菊香，王士进，刘三女牙，张桂戌，杨志军，
申请(专利权)人：云南师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。