一种基于机器学习的图文融合图书推荐方法技术

本发明专利技术涉及图书馆检索技术领域，具体地说，是一种基于机器学习的图文融合图书推荐方法，包括以下步骤：采集图书相关数据并进行预处理，从网络上采集图书图文数据并进行预处理；提取图书图片特征，利用DCNN和VGG‑16深度卷积神经网络对于ImageNet2012中的126万张图片进行训练，从而得到较为准确的训练权重，利用其提取图片特征，并对其进行降维；提取图书文本特征，使用RNN和Word2Vec框架将文本转化为与图像向量纬度一致的向量，图像特征与文本特征的融合，设计线性集成方法对于图像文本向量进行融合；实现推荐，利用余弦相似度方法对其进行衡量，并计算分类阈值，结合传统基于物品的协同过滤的推荐方法进行推荐。

A Book Recommendation Method Based on Machine Learning for Image-Text Fusion

【技术实现步骤摘要】
一种基于机器学习的图文融合图书推荐方法
本专利技术涉及图书馆检索
，具体地说，是一种基于机器学习的图文融合图书推荐方法。
技术介绍
现如今计算机网络技术发展越来越广泛传统图书馆模式以及不能满足大众的需求了，使得图书馆在新形势下将软件、硬件各方面都进行了创新改革并迅速发展起来。信息资源作为人们生活中不可缺少的重要资源，呈现出了前所未有的增长，服务机构的增多使得信息方面的获取更加的广泛，人们在知识的需求上更加的多样和急切，人们在知识的获取方式上一直在改变。致使信息资源的增长以及信息利用的困难越来越明显，所以图书馆要提供新的服务方式，也就是个性化服务，只有个性化服务才能在根本上改变图书馆整体的局面。高校图书馆的个性化服务是针对高校师生在科研以及教学上进行不同方式的一种服务，它具有层次性、特色性以及专业性。高校图书馆服务的对象都是具有一定专业知识的教师、学生或者科研人员，个性化服务的出发点是能够使用户满意，并且主动服务的基本模式。传统高校图书馆因为是使用馆藏文献来为师生以及科研进行服务的，在查询以及筛选上都费时费力，需要消耗大量的人力。随着网络技术的发展壮大，使得高校图书馆的的使用更加的便捷化、准确化。以网络服务为中心的个性化服务将会成为整个时代发展的必然走向。而且，网络环境下的图书馆不仅在于图书馆里的藏书有多少，更在乎图书馆提供的实质性信息有多少，准确性有多少和用户使用上的满意程度。图书馆个性服务从根本上将自己的服务功能进行了提升。
技术实现思路
为了解决上述技术问题，为图书馆尤其是学校图书馆提供一种精准的图书推荐方法，本专利技术披露了一种基于机器学习的图文融合图书推荐方法，其具体技术方案如下：一种精准的图书推荐方法，包括如下步骤：步骤一、采集图书相关数据并进行预处理：从网络上采集图书图文数据并进行预处理；步骤二、提取图书图片特征：利用DCNN和VGG-16深度卷积神经网络对于ImageNet2012中的126万张图片进行训练，从而得到较为准确的训练权重，利用其提取图片特征，并对其进行降维；步骤三、提取图书文本特征：使用RNN和Word2Vec框架将文本转化为与图像向量纬度一致的向量；步骤四、图像特征与文本特征的融合：设计线性集成方法对于图像文本向量进行融合；步骤五、实现推荐：利用余弦相似度方法对其进行衡量，并计算分类阈值，结合传统基于物品的协同过滤的推荐方法进行推荐。本专利技术的进一步改进，在步骤一中采用基于requests库和beautifulsoup库的网络爬虫采集图书的图片和文本数据，并进行过滤，以此作为数据集。步骤二中，构建DCNN模型：利用深度卷积神经网络(DeepConvolutionalNeuralNetwork,DCNN)，随着神经网络的深入，每一层都可以将前一层次的特征进行抽象表示，在图像训练当中，第一层学习到的是“边缘”特征，而第二层就可以对于“形状”特征进行识别与学习，第三层就可以抽象得到“图案”的概念，最后将可以训练得出要识别的“目标”特征。通过神经网络的深度提升，可以有效地做好分类工作，获得更加高级的特征提取与识别能力。以上就是一个五层的神经网络，其可以训练得到抽象程度更高的特征，也能够通过组合而拟合得到更加复杂的函数从而完成难度更高的分类任务。构建VGG16模型：VGG-16模型可以使得深度卷积神经网络在大规模图像识别中的准确率提升，通过较小(3×3)的卷积滤波器同时增加神经网络的深度来对于其效能进行评估，通过多次实验，专利技术人发现将深度神经网络提升至16-19层，可以大大提升识别准确率。专利技术人在对于VGGNet各级网络进行对比总结时认为，LRN层作用并不明显，神经网络深度越高，其效果越好。对于卷积核来说，1×1和3×3都是可以的，但是卷积核大一些可以对于更大范围的图像特征进行学习。VGGNet拥有5个卷积段，每段含有2-3个卷积层，在卷积结束之后会连接最大池化层来降低维度。在本专利技术中，ImageNet2012含有126万张训练图片，共分为1000类，该图片数据集是通过网络收集并通过亚马逊机器人来添加标签的。其验证图片集有5万张，一般通过对于验证集进行测试来对其训练效果进行评估。ImageNet2012的图像尺寸和清晰度各异，为了让其可以正确地输入到模型当中，专利技术人对于所有图像都进行统一化采样处理，将其调整为256×256的大小。具体方法为专利技术人将矩形图像的短边缩小为256像素，然后从中心选取256×256的区域进行分析。专利技术人还将每一个像素点的RGB值减去训练图像的平均RGB值来中心化，深度卷积神经网络采用预处理后的RGB值进行训练。深度卷积神经网络的输入图像有着固定的大小，其尺寸为222基于深度卷积神经网络的图像向量化表示264×224，这是由经过缩放后的训练图像裁剪得到的，为了让训练集的数据增加，裁剪图像时经过随机的翻转和颜色转换来增加不同的图像。VGG-16模型是按照反向传播来进行模型训练的，本专利技术的参数设置为：每批训练样本数量为256，动量为0.9，通过权重衰减的方式来进行正则化，惩罚系数设置为5e-4，对于前两个全连接层要进行Dropout，其值设置为0.5，初始的学习率设置为1e-2，在准确率趋于稳定时将学习率降低10倍。整个训练一共进行了370k次迭代，学习率下降过3次，专利技术人的网络在74个周期后就开始收敛。其他参数设置为：Dropout随机舍弃概率为0.5，Momentum动量值为0.9，Lambda权重衰减值为5e-04，LearningRate学习率为1e-02，Epochs迭代次数为90。本专利技术的进一步改进，步骤二中利用主成分分析降维：主成分分析是通过降维的方法来选择几个指标代替所有变量，让这些指标能够较大程度地独立反映出原来所包含的信息，一般把这种降维统计方式叫做主成分分析。主成分分析的核心在于对方差进行计算，对其进行重新组合而找到一组相互独立的新变量对于原来的变量进行替代。1F应当是方差最大的变量，称之为第一主成分，如果其不够表达原有多个变量的信息，那么再依次确定第二、第三主成分等，直到其贡献率满足所需的要求。本专利技术的进一步改进，步骤三中，RNN模型构建：专利技术人采用RNN模型，递归神经网络(RecursiveNeuralNetwork,RNN)是较为常见的结合时空的神经网络模型，主要在自然语言处理中进行应用，专利技术人对其原理和实现方案进行分析。它最大的特点是采用定向循环的方式对于空间结构中有前后关联的输入进行计算。可以把相关的信息映射到语义向量空间当中，将文字转化为向量，语义向量是满足一定约束性质的，如果两句话意思较为相近，那么它们的空间距离也越近，如果两句话的意思差别较大，那么向量距离也会很远。在Word2Vec的模型当中，有Skip-Gram和CBOW两种模式，前者是通过输入的单词来对于上下文进行预测，后者则是通过前后文来进行输入单词的预测。本次的训练与测试是基于Skip-Gram模式。首先进行预处理，数据预处理主要包括将文本中的特殊符号去掉，去除频率较低的词，对于文本进行分词从而构建语料库。专利技术人利用Gensim官方提供的Text8语料库，定义数据处理函数来完成文本的清理与分词，然后专利技术人将进行映射表的构建与词典的分析。专利技术人可以发现，单词总量本文档来自技高网...

【技术保护点】
1.一种基于机器学习的图文融合图书推荐方法，其特征在于，包括以下步骤：步骤一、采集图书相关数据并进行预处理：从网络上采集图书图文数据并进行预处理；步骤二、提取图书图片特征：利用DCNN和VGG‑16深度卷积神经网络对于ImageNet2012中的126万张图片进行训练，从而得到较为准确的训练权重，利用其提取图片特征，并对其进行降维；步骤三、提取图书文本特征：使用RNN和Word2Vec框架将文本转化为与图像向量纬度一致的向量；步骤四：图像特征与文本特征的融合：设计线性集成方法对于图像文本向量进行融合；步骤五：实现推荐：利用余弦相似度方法对其进行衡量，并计算分类阈值，结合传统基于物品的协同过滤的推荐方法进行推荐。

【技术特征摘要】
1.一种基于机器学习的图文融合图书推荐方法，其特征在于，包括以下步骤：步骤一、采集图书相关数据并进行预处理：从网络上采集图书图文数据并进行预处理；步骤二、提取图书图片特征：利用DCNN和VGG-16深度卷积神经网络对于ImageNet2012中的126万张图片进行训练，从而得到较为准确的训练权重，利用其提取图片特征，并对其进行降维；步骤三、提取图书文本特征：使用RNN和Word2Vec框架将文本转化为与图像向量纬度一致的向量；步骤四：图像特征与文本特征的融合：设计线性集成方法对于图像文本向量进行融合；步骤五：实现推荐：利用余弦相似度方法对其进行衡量，并计算分类阈值，结合传统基于物品的协同过滤的推荐方法进行推荐。2.根据权利要求1所述的基于机器学习的图文融合图书推荐方法，其特征在于，所述步骤一采用基于requests库和beautifulsoup库的网络爬虫采集图书的图片和文本数据，并进行过滤，以此作为数据集。3.根据权利要求1所述的基于机器学习的图文融合图书推荐方法，其特征在于，所述步骤二中ImageNet2012中的126万张图片是通过网络收集并通过亚马逊机器人来添加标签，对于所有图像都进行统一化采样处理，将其调整为256×256的大小，具体方法为：将矩形图像的短边缩小为256像素，然后从中心选取256×256的区域进行分析，还将每一个像素点的RGB值减去训练图像的平均RGB值来中心化，深度卷积神经网络采用预处理后的RGB值进行训练。4.根据权利要求1所述的基于机器学习的图文融合图书推荐...

【专利技术属性】
技术研发人员：王子豪，牟书念，李兴亮，孙晓燕，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32