【技术实现步骤摘要】
基于深度学习的文本图片匹配推荐方法
本专利技术属于机器学习
，涉及一种基于深度学习的文本图片匹配推荐方法，具体涉及文本和图片的内容最佳匹配方法。
技术介绍
随着计算机科学技术的发展，机器学习领域在深度学习方向也得到了具有现实意义和应用前景的进展。这也为解决我们如何在庞大的信息海洋中进行最佳的检索、匹配提供了一个可能的方案。以互联网基础设施的大规模普及为基础，各行各业产生了利用机器为文本自动匹配图片的需求。当上传包含图片的文本时，时常需要录入者理解文本主旨，挑选一张能够代表整篇文本主旨的图片。更进一步还需要录入者在已经理解文本主旨的基础上对文本进行划分，从而为文本的各个部分匹配若干张能体现该部分主旨的图片。该专利技术不仅能够使得材料录入者从理解文本主旨和为文本挑选图片的繁琐工作中解放出来，而且还能为浏览者提供更加优质的游览体验。目前，为文本推荐图片的匹配算法大多是根据用户输入的关键字进行图片搜索，并不能为整篇文本在图片素材库中推荐图片。在推荐方法上，以推荐方法较优秀的百度图片搜索为例，首先对于图片库中的图片特征信...
【技术保护点】
1.基于深度学习的文本图片匹配推荐方法，其特征在于，本专利技术首先采用计算特征向量集合的相似性实现对文本的划分；然后计算文本特征向量与图片特征向量之间的相似度来判断文本与图片的相似程度；最后提取图片和文本的关键词特征向量，再使用特征向量的匹配方法对图片和文本进行匹配。/n
【技术特征摘要】
1.基于深度学习的文本图片匹配推荐方法，其特征在于，本发明首先采用计算特征向量集合的相似性实现对文本的划分；然后计算文本特征向量与图片特征向量之间的相似度来判断文本与图片的相似程度；最后提取图片和文本的关键词特征向量，再使用特征向量的匹配方法对图片和文本进行匹配。
2.根据权利要求1所述的基于深度学习的文本图片匹配推荐算法，其特征在于，具体包括以下步骤：
步骤1，采集用户输入的含有图片的文本到材料数据库中；分离出文本素材和图片素材；
步骤2，计算的图片的灰度值，将图片的灰度值使用拉普拉斯掩模做卷积运算，然后计算标准差来判断图片的清晰度，剔除不清晰的图片；
步骤3，使用OCR采集图片中存在的文字，使用im2txt生成描述图片的文本；图片中显示的文字和使用im2txt生成的文本组成了图片的语义；
步骤4，提取图片和文本的关键词特征向量；
步骤5，对文本进行划分段落间相似度计算流程，通过计算两个相邻段落特征向量集合之间的相似性来实现对于段落间的语义相似程度判断，实现对于文本基于语义的划分；
步骤6，首先，依据对文本的划分结果，生成文本各个部分的特征向量；然后，生成整篇文本的特征向量；最后，使用图片语义关键词特征向量生成图片的特征向量；
步骤7，首先，以文本特征向量在用户操作数据库中检索，得到最为相似的数据，称为用户操作记录数据；然后，计算用户操作记录数据中文本主题图片特征向量与输入的所有图片特征向量之间的距离，检索出与用户操作记录中最为相似的图片特征向量，给予检索出的图片特征向量更高的匹配权重；
步骤8，参考上述有关步骤给各个特征向量设置的匹配权重，计算文本特征向量与各个图片特征向量的距离，为整篇文本检索出一张图片用于主页显示；依次以文本各个逻辑段落特征向量为中心计算与每个图片特征向量之间的距离；选取若干距离较近的图片特征向量，即获得与当前逻辑段落语义相近的图片集合；
步骤9，调整特定图片在文本中的位置，使得各个图片在文本中的位置更加合理；
步骤10，记录用户的手动调整数据到用户操作数据库中，充实用户操作数据使得该方法能够更加贴合用户的实际使用需求，提高最佳匹配的成功概率。
3.根据权利要求2所述的基于深度学习的文本图片匹配推荐算法，其特征在于，所述步骤4具体为：
步骤4.1，使用jieba分词组件对文本与图片语义进行去重和词性标注等文本数据预处理操作，保留若干词性的词语得到候选关键词集合；
步骤4.2，遍历候选关键词集合，从训练好的word2vec模型得到的词向量文件中获取候选...
【专利技术属性】
技术研发人员：孟海宁，童新宇，朱磊，白涛，王锋，冯锴，董林靖，彭伟，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。