基于属性贡献度掩码的多源数据融合商品推荐方法技术

基于属性贡献度掩码的多源数据融合商品推荐方法，包括：1)通过网络收集对于商品的评论，包括图片，文字，视频；2)训练自编码器；3)提取降维数据；4)融合数据；5)训练深度模型；6)掩膜法计算权重；7)获得每个维度数据的权重，对于每个数据中每一维度的权重进行微调；8)对评分预测模型进行重训练，得到最终的评分预测模型；9)采用知识图谱的方式进行预测，利用老产品数据预测新产品数据；10)进行新老产品的评分预测，根据评分结果进行推荐。本发明专利技术提高了系统的准确性、系统输出的可信度。系统输出的可信度。系统输出的可信度。

【技术实现步骤摘要】
基于属性贡献度掩码的多源数据融合商品推荐方法


[0001]本专利技术涉及机器学习领域，具体涉及一种多源数据融合商品推荐方法。

技术介绍

[0002]在经济增长，人均收入逐渐提高的背景下，人们的消费力也逐渐提高，饮料作为一种口味独特的饮品，深受各类人群喜爱，而随着饮料种类的不断增多，市场已经逐渐趋于饱和，口味的推出速度也趋于减慢，因此如何使用更加先进的市场营销推荐手段，从而在市场中占据更多的份额也逐渐重要，传统的推荐手段对于信息的收集以及处理方式存在着滞后性的缺点，已经逐渐无法满足日新月异的市场，并且传统的手段中大量依赖人工进行处理，效率较低的同时也大量需要系统人员的经验进行判断，具有巨大的主观性，无法较好的完成推荐系统的制定，因此新的推荐手段探索志在必行。
[0003]随着信息技术的飞速发展，德国、美国先后提出“工业4.0”“工业互联网”等概念，云计算、大数据和物联网等数字技术日渐成熟，全球经济逐渐开始向数字经济转型。数字化对社会经济的重大影响已然成为重要共识，数字经济已经成为我国经济发展的重要驱动。而在推荐系统方面，人们也开始探索深度学习与推荐手段结合的可能性，目前已经出现了大量的推荐系统，如通用的UserCF，ItemCF等推荐系统，通过训练之后，他们虽然能够根据大数据对于用户对饮料可能的评分进行预测，但是他们也包含这几个问题，其中主要的有以下三个：
[0004]一是多源数据的融合问题：现有推荐算法主要处理一些结构化的数据，记录User和Item的相关信息，未考虑多源数据对推荐结果的影响，比如将结构化的属性信息数据源与饮品的图像数据源结合，而我们在进行信息收集时往往需要收集大量非结构化的数据，如图像，视频等，因此不能进行多元融合的模型往往会遗漏大量潜在的信息。
[0005]二是属性信息的贡献度问题：现有推荐系统对于商品属性给予相同的权重信息，忽略了不同属性信息对于推荐结果的影响。而实际情况下，不同属性信息对推荐结果的贡献不一样，需要进一步从中筛选出重要的关键属性信息，从而提高推荐方法的效果。
[0006]三是冷启动问题：饮品的种类丰富，除了矿泉水、可乐等日常饮品，每种新的小众饮品(如最近推出的新款茶饮料等)的生命周期短暂，更新迅速。因此，当一种新饮品上市，或者新用户进入，缺少用户对该饮品的历史评分或历史喜好数据，难以进行有效的推荐。
[0007]目前的推荐系统不能够较好的同时解决以上三个问题。

技术实现思路

[0008]本专利技术要克服现有技术的上述缺点，提供一种基于属性贡献度掩码的多源数据融合商品推荐方法，解决以上三个问题，提高推荐系统的有效性以及准确性。
[0009]本专利技术的基于属性贡献度掩码的多源数据融合商品推荐方法，包括如下步骤：
[0010]1)收集数据：通过网络收集对于饮料的评论，包括图片，文字，视频，经过处理后存入到数据集S0中。
[0011]2)训练自编码器：由于往往从网络上收集的数据为多源数据，包含非结构化，半结构化以及结构化数据，对于非结构化数据或者半结构化数据需要进行结构化，采用自编码器的方法进行求解，首先对自编码器进行训练，具体方法如下：
[0012]2.1)自编码器是一个自监督学习的算法，将数据进行降维，通过训练映射f:x
→
x`，从而训练神经模型，具体方法如下:
[0013](Ⅰ)已有无标签的数据集S0，将其中的70％存入空数据集S
01
中，作为训练集，剩余的30％的数据作为验证集存入空数据集S
02
中。
[0014](Ⅱ)利用训练集中数据，训练子网络M
11
来学习映射f1:x
→
z，其中z为一个维度小于m的数据，将所得到的z存入数据集S
13
中。
[0015](Ⅲ)利用得到的数据集S
13
中的数据z作为输入训练子网络M
12
，学习映射f:z
→
x`，其中x`为一个和原数据x相同维度的数据，将所得的x`存入数据集中
[0016](Ⅳ)利用反向传播对两个子网络进行调整，将距离度量最小化的方式，来获得最终所需要的自编码器M1，其中距离度量的计算公式如下：
[0017][0018]其中n代表训练的数据的数量，L代表距离度量。
[0019]3)提取降维数据：根据步骤2)中已训练的自编码器M1对于多元数据进行融合，将已有数据集S0中需要融合的数据x输入到自编码器M1中，将所得到的中间产生的数据z取出，由于自编码器中间数据z相当于对于输入数据进行了一次降维，因此相当于提取了数据中的共同特征。
[0020]4)融合数据：将S0中的数据与其对应的中间数据z进行相加，将所得结果存入数据集S1中，作为训练模型的数据。
[0021]5)训练深度模型：利用数据集S1中的数据训练深度模型M2，使用反向传播技术进行训练，将损失函数最小化，具体损失函数如下：
[0022][0023]6)计算权重：通过步骤5)初步获得一个商品评分模型M2，但其中各维度属性权重依旧相同，为了提高准确度，使用掩膜的方法进行解决，具体方法如下：
[0024]6.1)将S1中的数据输入到已有的评分模型M2中，即可获得输出结果即评分f(x)，每个数据都对应一个输出结果f(x
i
)。
[0025]6.2)对于每个数据评分f(x
i
)进行求导工作，求导结果g
ia
,即为第i个数据中第a维数据对于输出结果f(x
i
)的影响程度，其中求导的具体公式如下：
[0026][0027]其中i代表为第i个数据，x
ia
代表第i个数据的第a维度数据。
[0028]6.3)对于每一维度的g
ia
进行求均值，具体公式如下：
[0029][0030]g
ia
代表第i个数据第a维度数据数据求导的结果，n为总数据数。
[0031]6.4)对于掩膜w进行求解，求解w的具体公式如下：
[0032]w
a
＝lg(|g
a
|)(5)
[0033]g
a
代表的是第a维度的平均影响程度。
[0034]7)调整权重：根据公式(5)获得每个维度的权重，接下来对于每个数据中每一维度的权重进行微调，微调的具体公式为：
[0035]x
ia
＝x
ia
*w
a
(6)
[0036]8)重训练模型：对评分预测模型M2进行重训练，训练方式同步骤5)，训练结果即最终的评分预测模型M2。
[0037]9)对新产品进行评分预测：由于新产品样本数据较少，因此无法采用步骤1)～8)进行评分预测，因此本专利技术采用了知识图谱的方式进行预测，利用老产品数据预测新产品数据，具体方式如下：
[0038]9.1)收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于属性贡献度掩码的多源数据融合商品推荐方法，包括如下步骤：1)收集数据：通过网络收集对于饮料的评论，包括图片，文字，视频，经过处理后存入到数据集S0中；2)训练自编码器：由于往往从网络上收集的数据为多源数据，包含非结构化，半结构化以及结构化数据，对于非结构化数据或者半结构化数据需要进行结构化，采用自编码器的方法进行求解，首先对自编码器进行训练，具体方法如下：2.1)自编码器是一个自监督学习的算法，将数据进行降维，通过训练映射f:x
→
x`，从而训练神经模型，具体方法如下:(Ⅰ)已有无标签的数据集S0，将其中的70％存入空数据集S
01
中，作为训练集，剩余的30％的数据作为验证集存入空数据集S
02
中；(Ⅱ)利用训练集中数据，训练子网络M
11
来学习映射f1:x
→
z，其中z为一个维度小于m的数据，将所得到的z存入数据集S
13
中；(Ⅲ)利用得到的数据集S
13
中的数据z作为输入训练子网络M
12
，学习映射f:z
→
x`，其中x`为一个和原数据x相同维度的数据，将所得的x`存入数据集中(Ⅳ)利用反向传播对两个子网络进行调整，将距离度量最小化的方式，来获得最终所需要的自编码器M1，其中距离度量的计算公式如下：其中n代表训练的数据的数量，L代表距离度量；3)提取降维数据：根据步骤2)中已训练的自编码器M1对于多元数据进行融合，将已有数据集S0中需要融合的数据x输入到自编码器M1中，将所得到的中间产生的数据z取出，由于自编码器中间数据z相当于对于输入数据进行了一次降维，因此相当于提取了数据中的共同特征；4)融合数据：将S0中的数据与其对应的中间数据z进行相加，将所得结果存入数据集S1中，作为训练模型的数据；5)训练深度模型：利用数据集S1中的数据训练深度模型M2，使用反向传播技术进行训练，将损失函数最小化，具体损失函数如下：6)计算权重：通过步骤5)初步获得一个商品评分模型M2，但其中各维度属性权重依旧相同，为了提高准确度，使用掩膜的方法进行解决，具体方法如下：6.1)将S1中的数据输入到已有的评分模型M2中，即可获得输出结果即评分f(x)，每个数据都对应一个输出结果f(x
i
)；6.2)对于每个数据评分f(x
i
)进行求导工作，求导结果g
ia
,即为第i个数据中第a维数据对于输出结果f(x
i

【专利技术属性】
技术研发人员：郑海斌，项云鹏，任启伟，杨洁，杨丁一，陈晋音，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：