【技术实现步骤摘要】
本公开涉及推荐，尤其涉及一种基于图像数据和文本数据推荐对象的方法和装置。
技术介绍
1、推荐系统在当今生活中许多场景都起到不可或缺的作用，用户在使用推荐系统的过程中，推荐系统根据用户的历史行为获取用户的喜好，从而将相应产品库中符合用户喜欢的产品推荐给用户，可以让用户快速找到符合他兴趣的产品，提高用户的使用体验。但在平台的产品库中，有很大一部分产品的曝光率小，而少量的热门产品占据了推荐系统中的绝大部分曝光量和推荐位。推荐系统中的重要任务是预估，也就是根据用户行为数据等估算用户对一产品的预测概率，而对产品的预估十分依赖产品的特征。但由于许多产品曝光量少，其特征向量的训练也不充分，从而这些产品预估结果不够准确，从而导致推荐冷启动的准确性也较差。
技术实现思路
1、有鉴于此，本公开实施例提供了一种基于图像数据和文本数据推荐对象的方法、装置、电子设备及可读存储介质，以解决现有技术中存在推荐冷启动商品不准确的问题。
2、本公开实施例的第一方面，提供了一种基于图像数据和文本数据推荐对象的方法，包括：获取用户行为的历史数据和候选对象数据集合；历史数据包括历史图像数据和历史文本数据，候选对象数据集合中包含多个候选对象的图像数据和多个候选对象的文本数据；将历史图像数据输入图像识别模型进行特征提取，得到历史图像数据的特征向量；将候选对象的图像数据输入图像识别模型进行特征提取，得到候选对象的图像数据的特征向量；将历史文本数据输入文本识别模型进行特征提取，得到历史文本数据的特征向量；将候选对象的
3、本公开实施例的第二方面，提供了一种基于图像数据和文本数据推荐对象的装置，包括：
4、获取模块，用于用户行为的历史数据和候选对象数据集合；历史数据包括历史图像数据和历史文本数据，候选对象数据集合中包含多个候选对象的图像数据和多个候选对象的文本数据；特征模块，用于将历史图像数据输入图像识别模型进行特征提取，得到历史图像数据的特征向量；将候选对象的图像数据输入图像识别模型进行特征提取，得到候选对象的图像数据的特征向量；将历史文本数据输入文本识别模型进行特征提取，得到历史文本数据的特征向量；将候选对象的文本数据输入文本识别模型进行特征提取，得到候选对象的文本数据的特征向量；融合模块，用于将历史图像数据的特征向量、历史文本数据的特征向量进行多模态特征融合，得到用户的多模态特征融合特征向量；将候选对象的图像数据的特征向量、候选对象的文本数据的特征向量进行多模态特征融合，得到多个候选对象的多模态特征融合特征向量；预测模块，用于将用户的多模态特征融合特征向量和多个候选对象的多模态特征融合特征向量输入至推荐模型，通过推荐模型基于用户的多模态特征融合特征向量和多个候选对象的多模态特征融合特征向量，对多个候选对象进行预测，得到多个候选对象的第一预测概率；推荐模块，用于根据多个候选对象的第一预测概率，在多个候选对象中选取目标对象推荐给用户。
5、本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
6、本公开实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
7、本公开实施例与现有技术相比存在的有益效果是：获取用户行为的历史数据和候选对象数据集合，历史数据包括用户已浏览、已收藏或已购买的多个对象的图像数据和文本数据，候选对象数据集合中包含多个候选对象的图像数据和多个候选对象的文本数据；通过图像识别模型对用户已浏览、已收藏或已购买的多个对象的图像数据进行特征提取，分别得到用户已浏览、已收藏或已购买的多个对象的图像数据的特征向量；将多个候选对象的图像数据输入至图像识别模型进行特征提取，得到多个述候选对象的图像数据的特征向量；通过文本识别模型将用户已浏览、已收藏或已购买的多个对象的文本数据进行特征提取，得到用户已浏览、已收藏或已购买的多个对象的文本数据的特征向量；通过文本识别模型将多个候选对象的文本数据分别进行特征提取，得到多个候选对象的文本数据的特征向量。分别将用户已浏览、已收藏或已购买的多个对象的图像数据的特征向量和用户已浏览、已收藏或已购买的多个对象的文本数据的特征向量通过推荐模型中的转移层和转换器模型分别进行特征融合，在这个过程中，其中的多头自注意力机制可以捕捉到图像和文本之间的关联性。通过计算它们之间的注意力权重，我们可以得到一个联合表示，该表示综合考虑了图像和文本的信息，该表示也就是用户的多模态特征融合特征向量。分别将候选对象的图像数据的特征向量、候选对象的文本数据的特征向量进行多模态特征融合，从而得到多个候选对象的多模态特征融合特征向量。将多个候选对象的多模态特征融合特征向量、用户的多模态特征融合特征向量以及用户其他的稠密向量信息通过推荐模型，对多个候选对象进行预测，得到用户对多个候选对象的第一预测概率，根据多个候选对象的第一预测概率，在其中选出预测率高的候选对象作为目标对象推荐给用户。本公开通过训练好的图像识别模型和文本识别模型对平台中产品进行特征提取，从而加强了对产品向量的充分训练，再通过推荐模型基于历史数据的特征向量、候选对象的特征向量和用户本身的基础信息向量进行概率预估，得到更加准确的预测结果，再基于多个候选对象的预估结果对用户进行精准推荐，从而解决了现有技术中推荐冷启动商品不准确的问题。
本文档来自技高网...【技术保护点】
1.一种基于图像数据和文本数据推荐对象的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述历史图像数据输入图像识别模型进行特征提取之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述历史文本数据输入文本识别模型进行特征提取之前，还包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述历史图像数据的特征向量、所述历史文本数据的特征向量进行多模态特征融合，得到所述用户的多模态特征融合特征向量，包括：
5.根据权利要求4所述的方法，其特征在于，所述转换器模型包括编码器和解码器，所述将所述用户的第一初始融合特征向量输入转换器模型进行特征交互，得到所述用户的多模态特征融合特征向量，包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述历史图像数据的目标特征向量和所述历史文本数据的特征向量进行拼接，得到所述用户的第一初始融合特征向量之前，还包括：
7.根据权利要求1所述的方法，其特征在于，所述推荐模型包括第一预测任务模块和第二预测任务模块，所述通过所述推荐模型基于所
8.一种基于图像数据和文本数据推荐对象的装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于图像数据和文本数据推荐对象的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述历史图像数据输入图像识别模型进行特征提取之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述历史文本数据输入文本识别模型进行特征提取之前，还包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述历史图像数据的特征向量、所述历史文本数据的特征向量进行多模态特征融合，得到所述用户的多模态特征融合特征向量，包括：
5.根据权利要求4所述的方法，其特征在于，所述转换器模型包括编码器和解码器，所述将所述用户的第一初始融合特征向量输入转换器模型进行特征交互，得到所述用户的多模态特征融合特征向量，包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述历史图像数据的目标特征向量和所述历史...
【专利技术属性】
技术研发人员：董辉，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。