一种基于深度多模态数据融合的商品点击率预测方法技术

本发明专利技术公开的一种基于深度多模态数据融合的商品点击率预测方法，包括以下步骤：获取商品点击率数据并进行预处理，得到预处理后的商品点击率数据；将预处理后的商品点击率数据进行特征提取，得到商品图片特征、商品文本特征、商品品牌特征；将提取的特征通过内部注意力机制得到加权的商品图片特征和加权的商文本特征，再通过图片和文本间注意力机制进行特征融合，得到商品特征；利用商品特征通过前馈神经网络进行商品点击率预测，得到商品预测结果；构建端到端模型，利用训练数据进行参数学习与更新；本发明专利技术很好地融合图片，文本以及品牌等多模态信息，形成有效的商品特征描述，可应用于商品点击率预测。

A prediction method of commodity click through rate based on deep multimodal data fusion

【技术实现步骤摘要】
一种基于深度多模态数据融合的商品点击率预测方法
本专利技术涉及大数据处理的研究领域，特别涉及一种基于深度多模态数据融合的商品点击率预测方法。
技术介绍
随着计算机技术的进步和互联网技术的发展，商品交易方式发生了一些根本性的变化，电子商务得到迅猛发展，致使人们的购物方式从实体商店购买转移到网络购物的方式，这种方式的改变成为不可阻挡的趋势。对于电商平台，其预上线商品种类日渐繁多，各种不同类型的商品数量日益激增，为了适应人们多变的时尚需求以及保证平台较好的盈利率，需要及时地从网络商店后台的品种繁多的海量商品数据中准确地检索出适合上线的商品。众多的品牌每天都在产生新的商品，平台需要决定是否将这个商品上线到本平台，以及如果要上线这个商品，需要备货多少等问题。在决策过程中，一个重要的影响决定的因素是这件商品的历史点击率。然而对于新商品来说，历史点击率是不存在的，只能依赖于专家经验进行决策，这无疑导致了新品的上线需要更多的成本。设计一个优秀的算法，使得这个算法能够及时地从网络商店后台的品种繁多的海量商品数据中准确地检索出适合上线的商品，将为电商平台创造更多的利益，也为消费者提供更好的购物体验。新商品的选择面临着两个问题，第一个问题是产品本身的特征描述，在唯品会等电商平台上，用户首先看到的是产品的图片和标题，也就是图片特征和文本特征，如何有效的融合这两种不同的模态特征以形成对商品的有效描述是首要任务。除了商品的图片特征以及文本特征，商品所属的品牌也是一个重要的特征，品牌是制造商和经销商加在商品上的标志，对消费者的影响非常深远。第二个问题是如何获取用户群体对商品特征的偏爱，也就是刻画不同商品的流行度，以此来预估商品的点击率。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于深度多模态数据融合的商品点击率预测方法，通过对商品的多模态数据的融合，并使得融合后得到的特征能更好地反映其点击率，提升商品点击率预测的效果。本专利技术的目的通过以下的技术方案实现：一种基于深度多模态数据融合的商品点击率预测方法，包括以下步骤：获取商品点击率数据并进行预处理，得到预处理后的商品点击率数据；将预处理后的商品点击率数据进行特征提取，得到商品图片特征、商品文本特征、商品品牌特征；将提取的特征通过内部注意力机制得到加权的商品图片特征和加权的商文本特征，再通过图片和文本间注意力机制进行特征融合，得到商品特征；利用商品特征通过前馈神经网络进行商品点击率预测，得到商品预测结果；构建端到端模型，利用训练数据进行参数学习与更新。进一步地，所述商品点击率数据包括商品图片、商品文本、商品品牌，商品点击率；所述进行预处理商品图片预处理，商品文本预处理，商品点击率预处理。进一步地，所述商品图片预处理具体为：将商品图片进行统一缩放大小；所述商品文本预处理具体为：使用中文分词工具进行分词处理，去除停用词与低频词；所述商品点击率预处理具体为：对商品点击率进行变换，即原始商品点击率加1后再取对数，得到变换后的商品点击率。进一步地，所述特征提取包括商品图片特征提取、商品文本特征提取、商品品牌特征提取；其中，对于商品图片特征提取具体如下：通过大数据集ImageNet预训练VGGNet16模型，通过预训练好的VGGNet16模型进行商品图片特征提取，取其最后一层池化层的输出作为特征，最后一层池化层的输出为7×7×512的张量，对该张量进行变化，得到49×512的特征矩阵，记为：V＝[v1,…,vm]，其中，指的是图片区域的特征表示，d为特征维度，m为图片区域个数；对于商品文本特征提取具体如下：将商品文本数据表示为：其中，wt为第t位置上的独热编码，1≤t≤l，l为商品描述总长度；将所有词的独热编码进行拼接，得到独热编码商品文本特征：W＝[w1,…,wl]，其中，为t位置上的独热编码，1≤t≤l，L为所有词个数；对于独热编码，通过词嵌入进行降维，同时使用长短时记忆力模型对商品文本进行编码，将长短时记忆力模型的隐藏层状态作为商品文本特征：H＝[h1,…,hl]，其中，指的是长短时记忆力模型在l位置上的隐藏层状态；对于商品品牌特征提取具体如下：通过独热编码得到独热编码商品品牌特征，通过词嵌入进行降维，得到商品品牌特征b，进一步地，所述将提取的特征通过内部注意力机制与图片和文本间注意力机制进行特征融合，得到商品特征，内部注意力机制具体如下：内部注意力机制用于获取商品图片特征和商品文本特征，其中，商品图片特征的注意力计算如下：利用商品文本特征和商品品牌特征对不同区域的商品图片特征进行加权平均：其中，rV,m为区域m的重要程度，即注意力大小；tanh为激活函数，vm为商品图片特征，b为商品品牌特征，为平均商品文本特征；是对商品图片特征vm进行线性变换的权重矩阵，是对品牌特征b进行线性变换的权重矩阵，是对文本特征进行线性变换的权重矩阵，是将经过激活函数的特征和变换为注意力大小的权重矩阵。e是自然底数，用于计算激活函数的值，即分别为将商品图片特征、商品品牌特征、商品文本特征进行线性换，使其映射到同一个向量空间中再进行求和，经过激活函数后，再利用将其变换为注意力大小；利用softmax函数对注意力值进行归一化，得到商品图片特征的注意力概率分布：aV＝softmax(rV)，其中，rV为各个区域的注意力大小rV,m构成的向量，aV为各个区域最后的注意力的向量，其值与rV大小相等，aV其各个元素的和为1；根据商品图片特征的注意力概率分布，得到加权的商品图片特征其中，vm为图片对应区域m的特征，即商品图片特征，aV,m为对应区域的注意力；商品文本特征的注意力计算如下：对商品文本特征进行加权平均：其中，rT,t为t位置上的单词重要程度，即注意力大小；ht为位置上的文本特征，b为商品品牌特征，为平均商品图片特征，是对图片特征进行线性变换的权重矩阵，是对品牌特征b进行线性变换的权重矩阵，是对文本特征ht进行线性变换的权重矩阵，是将经过激活函数的特征和变换为注意力大小的权重矩阵，即分别将商品图片特征、商品品牌特征、商品文本特征进行线性变换，使它们映射到同一个向量空间中再进行求和，经过激活函数，在利用将其变换为注意力大小；利用softmax函数对注意力值进行归一化，得到商品文本特征的注意力概率分布，则有:aT＝softmax(rT),其中，rT为各个位置的注意力大小rT,t构成的向量，aT为各个区域最后的注意力的向量，其值与大小相等，其各个元素的和为1；根据商品文本特征的注意力概率分布，得到加权的商品文本特征其中，ht为对应位置的文本特征，aT,t为对应位置的注意力。进一步地，所述将提取的特征通过内部注意力机制与图片和文本间注意力机制进行特本文档来自技高网...

【技术保护点】
1.一种基于深度多模态数据融合的商品点击率预测方法，其特征在于，包括以下步骤：/n获取商品点击率数据并进行预处理，得到预处理后的商品点击率数据；/n将预处理后的商品点击率数据进行特征提取，得到商品图片特征、商品文本特征、商品品牌特征；/n将提取的特征通过内部注意力机制得到加权的商品图片特征和加权的商文本特征，再通过图片和文本间注意力机制进行特征融合，得到商品特征；/n利用商品特征通过前馈神经网络进行商品点击率预测，得到商品预测结果；/n构建端到端模型，利用训练数据进行参数学习与更新。/n

【技术特征摘要】
1.一种基于深度多模态数据融合的商品点击率预测方法，其特征在于，包括以下步骤：
获取商品点击率数据并进行预处理，得到预处理后的商品点击率数据；
将预处理后的商品点击率数据进行特征提取，得到商品图片特征、商品文本特征、商品品牌特征；
将提取的特征通过内部注意力机制得到加权的商品图片特征和加权的商文本特征，再通过图片和文本间注意力机制进行特征融合，得到商品特征；
利用商品特征通过前馈神经网络进行商品点击率预测，得到商品预测结果；
构建端到端模型，利用训练数据进行参数学习与更新。


2.根据权利要求1所述的一种深度多模态数据融合的商品点击率预测方法，其特征在于，所述商品点击率数据包括商品图片、商品文本、商品品牌，商品点击率；所述进行预处理商品图片预处理，商品文本预处理，商品点击率预处理。


3.根据权利要求2所述的一种深度多模态数据融合的商品点击率预测方法，其特征在于，所述商品图片预处理具体为：将商品图片进行统一缩放大小；所述商品文本预处理具体为：使用中文分词工具进行分词处理，去除停用词与低频词；所述商品点击率预处理具体为：对商品点击率进行变换，即原始商品点击率加1后再取对数，得到变换后的商品点击率。


4.根据权利要求1所述的一种深度多模态数据融合的商品点击率预测方法，其特征在于，所述特征提取包括商品图片特征提取、商品文本特征提取、商品品牌特征提取；其中，对于商品图片特征提取具体如下：通过大数据集ImageNet预训练VGGNet16模型，通过预训练好的VGGNet16模型进行商品图片特征提取，取其最后一层池化层的输出作为特征，最后一层池化层的输出为7×7×512的张量，对该张量进行变化，得到49×512的特征矩阵，记为：
V＝[v1,…,vm]，
其中，为图片区域的特征表示，d为特征维度，m为图片区域个数；
对于商品文本特征提取具体如下：将商品文本数据表示为：



其中，wt为t位置上的独热编码，1≤t≤l，l为商品描述总长度；
将所有词的独热编码进行拼接，得到独热编码商品文本特征：
W＝[w1,…,wl]，
其中，为t位置上的独热编码，1≤t≤l，L为所有词个数；
对于独热编码，通过词嵌入进行降维，同时使用长短时记忆力模型对商品文本进行编码，将长短时记忆力模型的隐藏层状态作为商品文本特征：
H＝[h1,…,hl]，
其中，为长短时记忆力模型在l位置上的隐藏层状态；
对于商品品牌特征提取具体如下：通过独热编码得到独热编码商品品牌特征，通过词嵌入进行降维，得到商品品牌特征b，


5.根据权利要求1所述的一种深度多模态数据融合的商品点击率预测方法，其特征在于，所述将提取的特征通过内部注意力机制与图片和文本间注意力机制进行特征融合，得到商品特征，内部注意力机制具体如下：
内部注意力机制用于获取商品图片特征和商品文本特征，其中，商品图片特征的注意力计算如下：
利用商品文本特征和商品品牌特征对不同区域的商品图片特征进行加权平均：






其中，rV,m为区域m的重要程度，即注意力大小；tanh为激活函数，vm为商品图片特征，b为商品品牌特征，为平均商品文本特征；

是对商品图片特征vm进行线性变换的权重矩阵，是对商品品牌特征b进行线性变换的权重矩阵，是对商品文本特征进行线性变换的权重矩阵，是将经过激活函数的特征和变换为注意力大小的权重矩阵，e是自然底数，用于计算激活函数；
利用softmax函数对注意力值进行归一化，得到商品图片特征的注意力概率分布：
aV＝softmax(rV)，
其中，rV为各个区...

【专利技术属性】
技术研发人员：许勇，陈佳辉，全宇晖，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44