一种基于多模态的深度兴趣网络推荐方法技术

本发明专利技术提供一种基于多模态的深度兴趣网络推荐方法，步骤包括：数据采集、数据预处理、网络模型训练、模型在线推理。本发明专利技术利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型，满足用户个性化阅读，解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响，从而提高排序推荐模型的效果。序推荐模型的效果。序推荐模型的效果。

【技术实现步骤摘要】
一种基于多模态的深度兴趣网络推荐方法


[0001]本专利技术涉及智能推荐
，具体涉及一种基于多模态的深度兴趣网络推荐方法。

技术介绍

[0002]与传统的机器学习模型相比，深度学习的表达能力更强，能够挖掘出更多数据中潜藏的模型，目前主流的深度学习推荐模型有AutoRec、DeepCross、PNN、NeuralCF、FNN、NFM、Wide&Deep、DeepFM、AFM、DIN、DIEN。但是，这些深度学习推荐模型都没有考虑到图像、文字、声音、动画等多种模态形式的特征对模型的影响，导致推荐效果不够理想。事实上图像、文字、声音、动画这样的形式很容易影响用户的选择。
[0003]因此，现有技术存在缺陷，需要进一步改进。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种基于多模态的深度兴趣网络推荐方法。通过采集图像、文字、声音、动画等多种模态形式的特征，从而提高排序推荐模型的效果。
[0005]为实现上述目的，本专利技术的具体方案如下：
[0006]本专利技术提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的深度兴趣网络推荐方法，其特征在于包括如下步骤：S1，数据采集；S2，数据预处理；S3，网络模型训练；S4，模型在线推理。2.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S1具体包括根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。3.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S2具体包括读取hive原始数据集，进行数据预处理，样本清洗，去重，缺失值处理，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。4.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S3具体包括使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型。5.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S4具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务，对用户召回的微博资源进行排序。6.根据权利要求3所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S2具体包括如下步骤：S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序...

【专利技术属性】
技术研发人员：万振民，胡彬，
申请(专利权)人：万汇互联深圳科技有限公司，
类型：发明
国别省市：