一种融合多模态评论信息的用户个性化需求预测方法技术

本发明专利技术公开了一种融合多模态评论信息的用户个性化需求预测方法，其步骤包括：1.基于用户的购买历史记录，构建用户

【技术实现步骤摘要】
一种融合多模态评论信息的用户个性化需求预测方法


[0001]本专利技术涉及用户偏好挖掘以及用户个性化需求预测领域，特别是涉及一种融合多模态评论信息的用户个性化需求预测方法。

技术介绍

[0002]随着互联网和电子商务平台的发展，线上购物逐渐成为主流的购物方式，且用户可以发表多模态的评论内容(例如，文本，图像等)。这些多模态的评论内容之间既表达着跨模态的语义信息，又具有独立于各模态的信息，且蕴含着丰富的用户偏好信息。而线上购物导致商家和用户之间缺乏面对面的交流，用户的偏好和需求信息难以准确捕捉，因此，如何组织海量的用户购买历史数据、多模态的评论数据来全面地挖掘用户的偏好，从而准确地完成用户个性化需求的预测是必要的。
[0003]在已有的用户偏好识别和需求预测领域，传统的方法忽略了对用户评论文本和评论图像数据的联合建模，以致于无法获得用户多模态的、细粒度的偏好表征；此外，现有方法无法联合建模用户的购买历史记录以及多模态的评论内容，以致于无法准确识别用户的细粒度偏好，缺乏对用户购买动机的解释。

技术实现思路

[0004]本专利技术为克服现有技术存在的不足之处，提供一种融合多模态评论信息的用户个性化需求预测方法，以期能通过变分自编码器模型实现对用户评论文本和评论图像数据的联合建模，从而学习出用户多模态的偏好分布，并结合图注意力网络联合建模用户商品的交互记录以及用户商品的交互原因(即用户多模态的偏好分布)，进而能提升多模态数据在用户偏好上的表示能力、细化用户偏好识别的粒度以及个性化需求预测的准确性。r/>[0005]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0006]本专利技术一种融合多模态评论信息的用户个性化需求预测方法的特点在于，是按如下步骤进行：
[0007]步骤1、构建数据集；
[0008]步骤1.1、利用有向图G＝(V,M)表征用户
‑
商品之间的购买关系网络，其中，用户和商品为有向图G中的各个节点，V表示所有节点的集合，若用户节点i购买商品节点j，则表示用户节点i和商品节点j之间存在边，并记为e
ij
∈M，M表示所有边的集合，且边e
ij
对应一个注意力系数α
ij
和主题分布λ
ij
；并将用户节点i和商品节点j互相作为邻居节点；
[0009]步骤1.2、获取用户节点i对商品节点j的评论文本，并经过分词、去停用词处理后得到评论文本的单词列表，记为其中，表示单词列表Y
ij
中的第n
′
个单词；n
t
表示单词列表的单词总数；
[0010]计算用户节点i对商品节点j的评论文本在词典中所有单词上的词频表征向量其中，表示评论文本在词典中第w个单词出现的次数，W表示所有用户节点对商品节点的评论文本中所有不重复的单词的数量；
[0011]将用户节点i对商品节点j的评论文本的长度n
t
用零向量填充以达到长度N后，输入BERT模型中进行处理后得到文本初始表征向量，记为其中，表示文本初始表征向量T
ij
中的第n个单词的表征；
[0012]步骤1.3、获取用户节点i对商品节点j的评论图像数据并进行像素统一处理后，得到评论图像的初始表征向量，记为其中，表示评论图像P
ij
在第s维上的特征值，S表示初始特征向量的维度；
[0013]步骤2、构建多模态变分自编码器网络，包括：模态编码模块、模态融合模块和模态解码模块；
[0014]步骤2.1、构建模态编码模块，包括：文本编码网络和图像编码网络；其中，所述文本编码网络包括：Bi
‑
LSTM网络、第一全连接层；所述图像编码网络包括：预训练的VGG
‑
19网络、第二全连接层；
[0015]步骤2.1.1、以n为当前时间步，将所述评论文本T
ij
中的第n个单词的表征输入所述Bi
‑
LSTM网络中，从而利用式(1)
‑
式(5)分别得到遗忘门状态输入门状态输出门状态当前第n个时间步的单元状态和当前第n个时间步的单元输出
[0016][0017][0018][0019][0020][0021]式(1)
‑
式(5)中，表示逐元素相乘，σ(
·
)是sigmoid激活函数，tanh是双曲正切函数，W
f
和U
f
分别表示遗忘门的两个权重系数，b
f
表示遗忘门的偏置向量，W
I
和U
I
分别表示输入门的两个权重系数，b
I
表示输入门的偏置向量，W
o
和U
o
分别表示输出门的两个权重系数，b
o
表示输出门的偏置向量，W
c
和U
c
分别表示细胞单元的两个权重系数，b
c
表示细胞单元的偏置向量，表示第n
‑
1个时间步的单元状态，表示第n
‑
1个时间步的单元输出，当n＝1时，令
[0022]步骤2.1.2、所述第一全连接层利用式(6)输出文本隐特征
[0023][0024]式(6)中，W1表示所述第一全连接层的权重矩阵；表示第N个时间步的单元输出；
[0025]步骤2.1.3、利用预训练的VGG
‑
19网络对评论图像P
ij
进行表征，得到图像特征向量从而利用式(7)对图像特征向量进行编码，获得图像隐特征
[0026][0027]式(7)中，W2表示第二全连接层的权重矩阵；
[0028]步骤2.2、所述模态融合模块利用式(8)计算文本和图像融合后的多模态共享表征λ
ij
；
[0029][0030]式(8)中，λ
ij
～LN(μ
ij
,σ
ij
)，LN表示逻辑正态分布，是逻辑正态分布的均值，其中，表示用户节点i对商品节点j的多模态评论内容在第k个主题上的均值，是逻辑正态分布的方差，其中，表示用户节点i对商品节点j的多模态评论内容在第k个主题上的方差，ε
ij
是一个服从均值为0，方差为1的正态分布的随机变量；
[0031]步骤2.3、构建模态解码模块，包括：文本解码器网络和图像解码器网络；
[0032]所述文本解码器网络对λ
ij
进行解码重构，得到文本重构特征向量其中，表示文本重构特征向量T
ij
′
中第n个单词重构后的表征；
[0033]所述图像解码器网络对λ
ij
进行解码重构，得到图像重构特征向量其中，表示评论图像P
ij
在第s维重构后的特征值；
[0034]步骤3、图注意力网络的处理：
[0035]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多模态评论信息的用户个性化需求预测方法，其特征在于，是按如下步骤进行：步骤1、构建数据集；步骤1.1、利用有向图G＝(V,M)表征用户
‑
商品之间的购买关系网络，其中，用户和商品为有向图G中的各个节点，V表示所有节点的集合，若用户节点i购买商品节点j，则表示用户节点i和商品节点j之间存在边，并记为e
ij
∈M，M表示所有边的集合，且边e
ij
对应一个注意力系数α
ij
和主题分布λ
ij
；并将用户节点i和商品节点j互相作为邻居节点；步骤1.2、获取用户节点i对商品节点j的评论文本，并经过分词、去停用词处理后得到评论文本的单词列表，记为其中，表示单词列表Y
ij
中的第n
′
个单词；n
t
表示单词列表的单词总数；计算用户节点i对商品节点j的评论文本在词典中所有单词上的词频表征向量其中，表示评论文本在词典中第w个单词出现的次数，W表示所有用户节点对商品节点的评论文本中所有不重复的单词的数量；将用户节点i对商品节点j的评论文本的长度n
t
用零向量填充以达到长度N后，输入BERT模型中进行处理后得到文本初始表征向量，记为其中，表示文本初始表征向量T
ij
中的第n个单词的表征；步骤1.3、获取用户节点i对商品节点j的评论图像数据并进行像素统一处理后，得到评论图像的初始表征向量，记为其中，表示评论图像P
ij
在第s维上的特征值，S表示初始特征向量的维度；步骤2、构建多模态变分自编码器网络，包括：模态编码模块、模态融合模块和模态解码模块；步骤2.1、构建模态编码模块，包括：文本编码网络和图像编码网络；其中，所述文本编码网络包括：Bi
‑
LSTM网络、第一全连接层；所述图像编码网络包括：预训练的VGG
‑
19网络、第二全连接层；步骤2.1.1、以n为当前时间步，将所述评论文本T
ij
中的第n个单词的表征输入所述Bi
‑
LSTM网络中，从而利用式(1)
‑
式(5)分别得到遗忘门状态输入门状态输出门状态当前第n个时间步的单元状态和当前第n个时间步的单元输出和当前第n个时间步的单元输出和当前第n个时间步的单元输出和当前第n个时间步的单元输出和当前第n个时间步的单元输出和当前第n个时间步的单元输出式(1)
‑
式(5)中，表示逐元素相乘，σ(
·
)是sigmoid激活函数，tanh是双曲正切函数，W
f
和U
f
分别表示遗忘门的两个权重系数，b
f
表示遗忘门的偏置向量，W
I
和U
I
分别表示输入门的两个权重系数，b
I
表示输入门的偏置向量，W
o
和U
o
分别表示输出门的两个权重系数，b
o
表示
输出门的偏置向量，W
c
和U
c
分别表示细胞单元的两个权重系数，b
c
表示细胞单元的偏置向量，表示第n
‑
1个时间步的单元状态，表示第n
‑
1个时间步的单元输出，当n＝1时，令步骤2.1.2、所述第一全连接层利用式(6)输出文本隐特征步骤2.1.2、所述第一全连接层利用式(6)输出文本隐特征式(6)中，W1表示所述第一全连接层的权重矩阵；表示第N个时间步的单元输出；步骤2.1.3、利用预训练的VGG
‑
19网络对评论图像P
ij
进行表征，得到图像特征向量从而利用式(7)对图像特征向量进行编码，获得图像隐特征进行编码，获得图像隐特征式(7)中，W2表示第二全连接层的权重矩阵；步骤2.2、所述模态融合模块利用式(8)计算文本和图像融合后的多模态共享表征λ
ij
；式(8)中，λ
ij
～LN(μ
ij
,σ
ij

【专利技术属性】
技术研发人员：姜元春，周凡，钱洋，刘业政，袁坤，柴一栋，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：