基于图文匹配的产品点击率预测方法和系统、存储介质技术方案

本发明专利技术提供一种基于图文匹配的产品点击率预测方法和系统、存储介质，涉及产品点击率预测技术领域。本发明专利技术提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整；同时依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。

【技术实现步骤摘要】
基于图文匹配的产品点击率预测方法和系统、存储介质
本专利技术涉及产品点击率预测
，具体涉及一种基于图文匹配的产品点击率预测方法和系统、存储介质。
技术介绍
随着电子商务的快速发展，网络购物已经成为人们购买产品的重要渠道。在网络购物过程中，由于无法真实触摸和体验所需产品，产品图片和标题成为消费者获取产品信息、虚拟体验产品的主要途径，有吸引力的产品展示图片和标题对消费者的点击和购买具有重要影响。如何利用产品图片和标题的吸引力来增加消费者的点击成为企业关心的重要问题。目前，为了更好地提取电子商务领域产品的图片和标题即图片特征和文本特征的有用的信息，以预测消费者的点击率，本领域的技术人员已经采用了将图片特征和文本特征相融合以形成对相关产品的有效描述的做法。例如，申请号为201911087722.4的专利技术《一种基于深度多模态数据融合的商品点击率预测方法》，该专利技术很融合图片，文本以及品牌等多模态信息，形成有效的商品特征描述，可应用于商品点击率预测。但是，上述做法存在着一个弊端。现有技术在融合图片特征和文本特征前，通过内部注意力机制得到加权的图片特征的处理过程，没有考虑电子商务领域图片的细粒度细这一特点，导致最终的点击率预测不准确。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种基于图文匹配的产品点击率预测方法和系统、存储介质，解决了现有技术没有考虑电子商务领域图片的细粒度细的技术问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于图文匹配的产品点击率预测方法，包括：获取产品的标题和图片，并对所述标题和图片进行预处理；将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；依据所述文本特征、图片特征和图文匹配特征，得到联合特征；将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。优选的，所述将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征，包括：将预处理后的标题输入Word2Vec模型，生成对应的词向量，最终得到所述产品文本特征；切分预处理后的图片，得到具有相同像素的小块，将所述小块输入ResNext-101图片卷积网络，生成对应的图片小块特征向量，得到所述产品图片特征。优选的，所述将所述产品文本特征通过注意力机制得到加权的文本特征，包括：将产品文本特征中的每个词向量输入循环神经网络，得到所述每个词向量对应的权重，结合所述产品文本特征，得到所述加权的文本特征。优选的，所述将所述产品图片特征通过自注意力机制得到加权的图片特征，包括：将产品图片特征中的每个图片小块特征向量输入所述自注意力机制，得到对应的注意力值，采用softmax函数对所述注意力值进行归一化，得到所述每个图片小块对应的权重，结合所述产品图片特征，得到所述加权的图片特征。优选的，所述将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征，包括：依据产品文本特征中的每个词向量，得到所述产品文本的第一单词嵌入，第一位置嵌入和第一分段嵌入；依据产品图片特征中的每个图片小块特征向量，得到所述产品图片的第二单词嵌入，第二位置嵌入和第二分段嵌入；依据所述第一单词嵌入，第一位置嵌入、第一分段嵌入、第二单词嵌入，第二位置嵌入和第二分段嵌入，得到所述融合的图文匹配特征。优选的，所述依据所述文本特征、图片特征和图文匹配特征，得到联合特征，包括：依据所述文本特征、图片特征和图文匹配特征，得到中间联合特征；赋予所述文本特征、图片特征和图文匹配特征初始权重；依据所述中间联合特征和初始权重，得到所述联合特征，表示为：Kc＝K0*λ＝(Ktitle,Kpicture,Kt-p)*(λ1,λ2,λ3)其中，Kc表示为联合特征，K0表示为中间联合特征，λ表示为初始权重，Ktitle表示为文本特征，Kpicture表示为图片特征，Kt-p表示为图文匹配特征，λ1表示为文本特征的初始权重，λ2表示为图片特征的初始权重，λ3表示为图文匹配特征的初始权重。优选的，所述产品点击率预测模型的构建过程，包括：获取多个产品的点击量、总的浏览数、标题和图片，依据所述点击量和总的浏览数得到点击率，对所述点击率、标题和图片进行预处理，将所述多个产品中的每一件产品预处理后的标题和图片分别进行相应的特征提取，得到对应的产品文本特征、产品图片特征；将所述对应的产品文本特征通过注意力机制得到对应加权的文本特征，将所述对应的产品图片特征通过自注意力机制得到对应加权的图片特征；将所述对应加权的文本特征和加权的图片特征进行匹配，得到对应融合的图文匹配特征；依据所述对应加权的文本特征、加权的图片特征和融合的图文匹配特征，得到对应的联合特征；将所述多个产品中的每一产品对应的联合特征作为训练样本，将所述多个产品中的每一产品对应的预处理后的点击率作为输出标签，依据所述训练样本和输出标签，构建产品点击率预测训练数据库；基于所述产品点击率预测训练数据库，采用随机梯度下降法进行模型参数学习，得到所述产品点击率预测模型。一种基于图文匹配的产品点击率预测系统，其特征在于，包括：预处理模块，用于获取产品的标题和图片，并对所述标题和图片进行预处理；特征提取模块，用于将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；特征加权模块，用于将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；图文匹配模块，用于将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；联合特征生成模块，用于依据所述文本特征、图片特征和图文匹配特征，得到联合特征；预测模块，用于将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时，可实现上述任一项所述的方法。(三)有益效果本专利技术提供了一种基于图文匹配的产品点击率预测方法和系统、存储介质。与现有技术相比，具备以下有益效果：本专利技术提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整；同时依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实本文档来自技高网...

【技术保护点】
1.一种基于图文匹配的产品点击率预测方法，其特征在于，包括：/n获取产品的标题和图片，并对所述标题和图片进行预处理；/n将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；/n将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；/n将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；/n依据所述文本特征、图片特征和图文匹配特征，得到联合特征；/n将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。/n

【技术特征摘要】
1.一种基于图文匹配的产品点击率预测方法，其特征在于，包括：
获取产品的标题和图片，并对所述标题和图片进行预处理；
将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；
将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；
将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；
依据所述文本特征、图片特征和图文匹配特征，得到联合特征；
将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。


2.如权利要求1所述的产品点击率预测方法，其特征在于，所述将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征，包括：
将预处理后的标题输入Word2Vec模型，生成对应的词向量，最终得到所述产品文本特征；
切分预处理后的图片，得到具有相同像素的小块，将所述小块输入ResNext-101图片卷积网络，生成对应的图片小块特征向量，得到所述产品图片特征。


3.如权利要求2所述的产品点击率预测方法，其特征在于，所述将所述产品文本特征通过注意力机制得到加权的文本特征，包括：
将产品文本特征中的每个词向量输入循环神经网络，得到所述每个词向量对应的权重，结合所述产品文本特征，得到所述加权的文本特征。


4.如权利要求2所述的产品点击率预测方法，其特征在于，所述将所述产品图片特征通过自注意力机制得到加权的图片特征，包括：
将产品图片特征中的每个图片小块特征向量输入所述自注意力机制，得到对应的注意力值，采用softmax函数对所述注意力值进行归一化，得到所述每个图片小块对应的权重，结合所述产品图片特征，得到所述加权的图片特征。


5.如权利要求2所述的产品点击率预测方法，其特征在于，所述将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征，包括：
依据产品文本特征中的每个词向量，得到所述产品文本的第一单词嵌入，第一位置嵌入和第一分段嵌入；
依据产品图片特征中的每个图片小块特征向量，得到所述产品图片的第二单词嵌入，第二位置嵌入和第二分段嵌入；
依据所述第一单词嵌入，第一位置嵌入、第一分段嵌入、第二单词嵌入，第二位置嵌入和第二分段嵌入，得到所述融合的图文匹配特征。


6.如权利要求2所述的产品点击率预测方法，其特征在于，所述依据所述文本特征、图片特征和图文匹配特征，得到联合特征，包括：
依据所述文本特征、图片特征和图文匹配特征，得到中间联合特征...

【专利技术属性】
技术研发人员：姜元春，汪文娟，田志强，刘业政，井二康，徐其瑜，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34