基于卷积神经网络与降噪自编码器的信息推荐方法及系统技术方案

本发明专利技术公开了一种基于卷积神经网络与降噪自编码器的信息推荐方法及系统。利用卷积神经网络和降噪自编码器两个深度学习模型，从评分、信任、评论等数据中学习用户偏好。同时，提出了一种新的相关正则化方法来建立用户偏好在不同方面的关系，以提高性能。首先，相比于以往模型，融入了丰富的评论信息；然后，通过卷积神经网络模型对评论文本进行初步的处理，将提取出来的有效特征再放入降噪自编码器模型中提取其隐藏特征，得到评论文本更加有效的紧凑表示；最后，再增加两个降噪自编码器，分别用来处理评分和信任信息，通过三个降噪自编码器分别得到相应的预测向量并进行加权融合，从而更为准确地建模用户偏好。

Information recommendation method and system based on convolutional neural network and noise reduction self encoder

【技术实现步骤摘要】
基于卷积神经网络与降噪自编码器的信息推荐方法及系统
本专利技术涉及信息推荐
，具体涉及一种基于卷积神经网络与降噪自编码器的信息推荐方法及系统。
技术介绍
近年来，推荐系统在各行各业得到了广泛的应用。推荐系统根据用户需求、兴趣等，通过推荐算法从海量数据中挖掘出用户感兴趣的项目，并将结果以个性化列表的形式推荐给用户。个性化推荐是机器学习在电子商务等领域的关键应用之一。许多推荐系统使用协同过滤方法来进行推荐。虽然推荐领域已经提出了许多推荐算法，但仍然存在一些众所周知的问题，如数据稀疏性和冷启动等。针对这些问题，很多研究者提出利用深度学习或者信息融合来帮助建模用户和项目，如降噪自编码器、卷积神经网络、评分信息、信任信息、评论信息或者地理上下文等。尽管现有的研究提出了信息融合或者深度学习用于推荐的不同方法，但这些推荐算法仍然存在几个关键问题。首先，它们大多采用浅层模型对信任、评分等信息进行建模，忽略了数据间的高阶交互。如何利用深度学习模型从多种信息中学习表示来进行推荐是一个难点问题。其次，一些模型只融合了一两种信息，面临着数据稀疏问题，这可能会限制算法的改进，使利用深度模型从信任、评分等数据中学习高阶信息变得困难。最后，还有一个挑战就是数据稀疏的问题。一些学者使用基于内容的推荐或者混合推荐来缓解数据稀疏问题，但其存在特征提取困难等问题。通过对真实世界数据的分析，可以发现评论信息不仅能够体现项目的属性，而且还能够表达用户的兴趣。基于以上所述，我们决定引入评论信息来解决这个问题。相对于不使用评论信息的模型来说，通过深度神经网络从用户对物品的评论信息中挖掘用户偏好信息，再结合信任和评分信息，可以提取到更多的有效特征表示。
技术实现思路
有鉴于此，有必要提供一种充分利用文本评论信息，结合稀疏的评分矩阵和信任矩阵，对输入进行更有效地初始化操作，从而有效改善了数据稀疏和冷启动问题的基于卷积神经网络与降噪自编码器的信息推荐方法及系统。一种基于卷积神经网络与降噪自编码器的信息推荐方法，包括以下步骤：步骤一，深度分析数据信息，对评分信息、信任信息和评论信息进行分类和过滤；步骤二，深度学习卷积神经网络模型和降噪自编码器模型，所述卷积神经网络模型通过过滤函数，以并行的方式沿着固定大小的滑动窗口处理输入序列，最终输出序列的隐藏特征矩阵，再经过池化层输出具有代表性部分的隐藏特征向量；所述降噪自编码器模型通过加入噪声影响原始的输入数据来增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，使用噪声版本重构输入数据，获得特征表示，避免所述卷积神经网络模型过度拟合；步骤三，利用降噪自编码器模型原理建立基于卷积神经网络与降噪自编码器的信息融合推荐模型；首先将所述评论信息输入所述卷积神经网络模型，生成隐藏特征向量，进而生成用户对所有项目的喜好程度值所构成的向量；然后用三个并列的所述降噪自编码器模型分别处理输入的评分信息、信任信息和评论信息，生成相应的预测向量，并对生成的所述预测向量进行加权融合；最终生成目标用户的相应的推荐列表。进一步地，步骤一中的所述数据信息包括所述评分信息、所述信任信息和所述评论信息；所述评分信息按照喜好程度分为五级并分别对应赋值为1至5；所述信任信息分为信任关系和非信任关系并对应赋值为1和0；所述评论信息采用用户对物品的评价信息，所述评论信息用于分析用户的购买和评分行为。进一步地，步骤二中的所述卷积神经网络模型用于对用户的所述评论信息做出初步地处理，提取文本的隐藏特征向量，进而得出用户对所有项目的喜好程度值所构成的向量。进一步地，步骤一中的所述卷积神经网络模型包括嵌入层、卷积层、池化层和输出层；所述嵌入层用于把一个用户u对一个项目i的评论文本D转化成一个数字矩阵，通过连接评论中的词向量来把文本表示为一个矩阵，其中词向量是随机初始化或者用预训练的词嵌入模型进行初始化，生成的初始化词向量矩阵为X＝{x1,x2,...,xs}，其中X∈Rd×s，xi∈Rd表示词向量，d为词向量的维度，s为评论的长度；当遇到未包含的词，则赋予d维正态分布的随机向量，其中xi表示输入的文本中第i个词的词向量；所述卷积层用于提取输入文本的上下文特征，输入文本中第i个词的上下文特征表示为fij∈R，所述上下文特征的特征值通过卷积层中滑动窗口内的第j个共享权重参数计算获得，其中ws表示滑动窗口的大小，ws值决定了所述卷积神经网络模型在提取第i个词的特征时，其上下文中所包含词的数量；卷积层的工作方式如式(1)所示：其中，*表示在卷积层计算中的卷积操作，即滑动窗口内的第j个过滤函数对其在窗口内的ws个词向量进行非线性并行处理；为偏置向量；h函数表示一个非线性激活函数；所述池化层用于提取隐藏特征，从隐藏特征中提取分布式表示，并且通过池化操作来将文本特征向量长度固定到一个定长的特征向量中；所述池化层使用max-pooling作为池化操作，通过从每个上下文特征向量fj中提取最大值，将所述评论信息的最终表示转化为一个长度为nf的表示向量，具体操作如式(2)所示：nf＝[max(f1),max(f2),...,max(fnf)](2)其中，fj是通过卷积层中滑动窗口内的第j个共享权值计算获得的输入文本的上下文特征向量；所述输出层使用非线性映射函数生成评论文本潜在特征，具体过程如式(3)所示：其中，和表示映射矩阵，和表示偏置向量；最终生成的隐藏特征向量为a∈Rk，向量的每一项表示一个用户对一个项目的喜好程度值的概率，每个向量选取概率最大的值对应的数作为该用户对该项目的喜好程度值。进一步地，所述卷积神经网络模型对评论文本的处理过程表示为cnn函数，用户u对项目i的评论文本信息的隐藏特征的计算表示成式(4)。其中，Xui表示用户u对项目i的评论文本，表示用户u对所有项目的喜好程度值所构成的向量。进一步地，步骤二中的所述降噪自编码器模型用于将用户u的含有噪声版本的所述评分信息和所述信任信息的数据结合所述卷积神经网络模型的输出结果分别输入三个降噪自编码器模型中，对其进行并行处理，分别学习其潜在用户偏好，通过编码和解码过程，输出最终的评分、信任和评论数据的预测向量；所述噪声采用高斯噪声或者drop-out噪声，所述噪声用于防止数据的过度拟合；所述降噪自编码器模型进一步用于使隐藏层发现更多鲁棒性的特征，并且防止简单学习恒等函数；含有噪声的输入来自于条件分布在使用drop-out噪声的情况下，以概率q去擦除原始矩阵，将每个值都随机置0；对于每一个项目x的输入R、T和X，相应的有噪声版本定义可以表示成式(5)和(6)，其中，q是随机dropout一个单位的概率；δ表示噪声的偏置；为了使得噪声无偏，设置有噪声的输入是原始值的倍。进一步地，所述降噪自编码器模型包括编码层、权重层和解码层；所述编码层用于将评分、信任和评论数据输入映射到低维空间，编码层可以表示成式(7)、(8)和(9)，...

【技术保护点】
1.一种基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，包括以下步骤：/n步骤一，深度分析数据信息，对评分信息、信任信息和评论信息进行分类和过滤；/n步骤二，深度学习卷积神经网络模型和降噪自编码器模型，所述卷积神经网络模型通过过滤函数，以并行的方式沿着固定大小的滑动窗口处理输入序列，最终输出序列的隐藏特征矩阵，再经过池化层输出具有代表性部分的隐藏特征向量；所述降噪自编码器模型通过加入噪声影响原始的输入数据来增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，使用噪声版本重构输入数据，获得特征表示，避免所述卷积神经网络模型过度拟合；/n步骤三，利用降噪自编码器模型原理建立基于卷积神经网络与降噪自编码器的信息融合推荐模型；首先将所述评论信息输入所述卷积神经网络模型，生成隐藏特征向量，进而生成用户对所有项目的喜好程度值所构成的向量；然后用三个并列的所述降噪自编码器模型分别处理输入的评分信息、信任信息和评论信息，生成相应的预测向量，并对生成的所述预测向量进行加权融合；最终生成目标用户的相应的推荐列表。/n

【技术特征摘要】
1.一种基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，包括以下步骤：
步骤一，深度分析数据信息，对评分信息、信任信息和评论信息进行分类和过滤；
步骤二，深度学习卷积神经网络模型和降噪自编码器模型，所述卷积神经网络模型通过过滤函数，以并行的方式沿着固定大小的滑动窗口处理输入序列，最终输出序列的隐藏特征矩阵，再经过池化层输出具有代表性部分的隐藏特征向量；所述降噪自编码器模型通过加入噪声影响原始的输入数据来增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，使用噪声版本重构输入数据，获得特征表示，避免所述卷积神经网络模型过度拟合；
步骤三，利用降噪自编码器模型原理建立基于卷积神经网络与降噪自编码器的信息融合推荐模型；首先将所述评论信息输入所述卷积神经网络模型，生成隐藏特征向量，进而生成用户对所有项目的喜好程度值所构成的向量；然后用三个并列的所述降噪自编码器模型分别处理输入的评分信息、信任信息和评论信息，生成相应的预测向量，并对生成的所述预测向量进行加权融合；最终生成目标用户的相应的推荐列表。


2.如权利要求1所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤一中的所述数据信息包括所述评分信息、所述信任信息和所述评论信息；所述评分信息按照喜好程度分为五级并分别对应赋值为1至5；所述信任信息分为信任关系和非信任关系并对应赋值为1和0；所述评论信息采用用户对物品的评价信息，所述评论信息用于分析用户的购买和评分行为。


3.如权利要求1所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤二中的所述卷积神经网络模型用于对用户的所述评论信息做出初步的处理，提取文本的隐藏特征向量，进而得出用户对所有项目的喜好程度值所构成的向量。


4.如权利要求3所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤一中的所述卷积神经网络模型包括嵌入层、卷积层、池化层和输出层；
所述嵌入层用于把一个用户u对一个项目i的评论文本D转化成一个数字矩阵，通过连接评论中的词向量来把文本表示为一个矩阵，其中词向量是随机初始化或者用预训练的词嵌入模型进行初始化，生成的初始化词向量矩阵为X＝{x1,x2,...,xs}，其中X∈Rd×s，xi∈Rd表示词向量，d为词向量的维度，s为评论的长度；当遇到未包含的词，则赋予d维正态分布的随机向量，其中xi表示输入的文本中第i个词的词向量；
所述卷积层用于提取输入文本的上下文特征，输入文本中第i个词的上下文特征表示为fij∈R，所述上下文特征的特征值通过卷积层中滑动窗口内的第j个共享权重参数计算获得，其中ws表示滑动窗口的大小，ws值决定了所述卷积神经网络模型在提取第i个词的特征时，其上下文中所包含词的数量；卷积层的工作方式如式(1)所示：



其中，*表示在卷积层计算中的卷积操作，即滑动窗口内的第j个过滤函数对其在窗口内的ws个词向量进行非线性并行处理；为偏置向量；h函数表示一个非线性激活函数；
所述池化层用于提取隐藏特征，从隐藏特征中提取分布式表示，并且通过池化操作来将文本特征向量长度固定到一个定长的特征向量中；所述池化层使用max-pooling作为池化操作，通过从每个上下文特征向量fj中提取最大值，将所述评论信息的最终表示转化为一个长度为nf的表示向量，具体操作如式(2)所示：
nf＝[max(f1),max(f2),...,max(fnf)](2)
其中，fj是通过卷积层中滑动窗口内的第j个共享权值计算获得的输入文本的上下文特征向量；
所述输出层使用非线性映射函数生成评论文本潜在特征，具体过程如式(3)所示：



其中，和表示映射矩阵，和表示偏置向量；最终生成的隐藏特征向量为a∈Rk，向量的每一项表示一个用户对一个项目的喜好程度值的概率，每个向量选取概率最大的值对应的数作为该用户对该项目的喜好程度值。


5.如权利要求4所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，所述卷积神经网络模型对评论文本的处理过程表示为cnn函数，用户u对项目i的评论文本信息的隐藏特征的计算表示成式(4)。



其中，Xui表示用户u对项目i的评论文本，表示用户u对所有项目的喜好程度值所构成的向量。


6.如权利要求5所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤二中的所述降噪自编码器模型用于将用户u的含有噪声版本的所述评分信息和所述信任信息的数据结...

【专利技术属性】
技术研发人员：钱忠胜，赵畅，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：江西;36