基于深度学习的文本图片匹配推荐方法技术

本发明专利技术公开了一种基于深度学习的文本与图片的推荐匹配算法，所采用的推荐方法是基于不断充实的用户操作记录数据库。使用图片识别和基于特征向量分布的关键词提取算法，构建关键词特征向量，结合用户操作记录数据库、向量的相似度算法和集合的相似度算法实现图片与文本的最佳匹配推荐。以达到录入者在录入文本、图片数据后，实现自动推荐本次录入的主页图片、录入的图片在文本中的显示位置。以便能够实现消除录入者理解文本、手动挑选图片、调整图片位置的工作。

Text image matching recommendation method based on deep learning

【技术实现步骤摘要】
基于深度学习的文本图片匹配推荐方法
本专利技术属于机器学习
，涉及一种基于深度学习的文本图片匹配推荐方法，具体涉及文本和图片的内容最佳匹配方法。
技术介绍
随着计算机科学技术的发展，机器学习领域在深度学习方向也得到了具有现实意义和应用前景的进展。这也为解决我们如何在庞大的信息海洋中进行最佳的检索、匹配提供了一个可能的方案。以互联网基础设施的大规模普及为基础，各行各业产生了利用机器为文本自动匹配图片的需求。当上传包含图片的文本时，时常需要录入者理解文本主旨，挑选一张能够代表整篇文本主旨的图片。更进一步还需要录入者在已经理解文本主旨的基础上对文本进行划分，从而为文本的各个部分匹配若干张能体现该部分主旨的图片。该专利技术不仅能够使得材料录入者从理解文本主旨和为文本挑选图片的繁琐工作中解放出来，而且还能为浏览者提供更加优质的游览体验。目前，为文本推荐图片的匹配算法大多是根据用户输入的关键字进行图片搜索，并不能为整篇文本在图片素材库中推荐图片。在推荐方法上，以推荐方法较优秀的百度图片搜索为例，首先对于图片库中的图片特征信息进行编码，然后根据用户输入的关键字进行匹配，还鲜有使用机器学习为整篇文本和该文本各个部分匹配图片的方法。本专利技术基于不断充实的用户操作数据库，利用特征向量之间的相似度实现整篇文本的划分以及为文本推荐最佳的图片。综上所述，一种关于为文本匹配图片的方法是非常有价值和意义提出的，本专利技术针对此种需求提出了一种解决的方法。
技术实现思路
本专利技术的目的是提供一种基于深度学习的文本图片匹配推荐方法，解决了现有技术无法为整篇文本在图片素材库中推荐图片，具有快速对文本进行划分，根据文本各个部分的主旨，匹配数张图片的特点。本专利技术基于深度学习的文本图片匹配推荐方法，本专利技术首先计算特征向量集合的相似性实现对文本的划分；然后计算文本特征向量与图片特征向量之间的相似度来判断文本与图片的相似程度；最后提取图片和文本的关键词特征向量，再使用特征向量的匹配方法对图片和文本进行匹配。具体包括以下步骤：步骤1，采集用户输入的含有图片的文本到材料数据库中；分离出文本素材和图片素材。步骤2，计算图片的灰度值，将图片的灰度值使用拉普拉斯掩模做卷积运算，然后计算标准差来判断图片的清晰度，剔除不清晰的图片。步骤3，使用OCR采集图片中存在的文字，使用im2txt生成描述图片的文本。图片中显示的文字和使用im2txt生成的文本组成了图片的语义。步骤4，提取图片和文本的关键词特征向量。步骤5，对文本进行划分段落间相似度计算流程，通过计算两个相邻段落特征向量集合之间的相似性来实现对于段落间的语义相似程度判断，实现对于文本基于语义的划分；步骤6，首先，依据对文本的划分结果，生成文本各个部分的特征向量。然后，生成整篇文本的特征向量。最后，使用图片语义关键词特征向量生成图片的特征向量。步骤7，首先，以文本特征向量在用户操作数据库中检索，得到最为相似的数据，称为用户操作记录数据。然后，计算用户操作记录数据中文本主题图片特征向量与输入的所有图片特征向量之间的距离，检索出与用户操作记录中最为相似的图片特征向量，给予检索出的图片特征向量更高的匹配权重。步骤8，参考上述有关步骤给各个特征向量设置的匹配权重，计算文本特征向量与各个图片特征向量的距离，为整篇文本检索出一张图片用于主页显示。依次以文本各个逻辑段落特征向量为中心计算与每个图片特征向量之间的距离。选取若干距离较近的图片特征向量，即获得与当前逻辑段落语义相近的图片集合。步骤9，调整特定图片在文本中的位置，使得各个图片在文本中的位置更加合理。步骤10，记录用户的手动调整数据到用户操作数据库中，充实用户操作数据使得该方法能够更加贴合用户的实际使用需求，提高最佳匹配的成功概率。本专利技术的特点还在于，步骤4具体为：步骤4.1，使用jieba分词组件对文本与图片语义进行去重和词性标注等文本数据预处理操作，保留若干词性的词语得到候选关键词集合。步骤4.2，遍历候选关键词集合，从训练好的word2vec模型得到的词向量文件中获取候选关键词对应的特征向量，形成候选关键词特征向量集合。步骤4.3，从候选关键词特征向量集合筛选出关键词特征向量。步骤5计算段落相似度，根据语义划分文本中，以余弦距离为基础，设定两个阈值I，J，如果两个向量的余弦距离小于I则可认定两个特征向量相似，如果两个集合的相似度大于J则认为两个集合相似。设两个相邻段落的特征向量集合为A和B，具体计算步骤如下：步骤5.1，计算集合A与集合B中各个元素之间的余弦距离，从而得出A与B的交集，和并集。步骤5.2，计算集合A,B的交集元素个数与并集元素个数的比值，得出集合相似度K。步骤5.3，判断集合相似度K与阈值J的大小关系，判断两个集合是否相似，从而得出两个文本是否相似。步骤6，利用特征向量集合和权重向量生成能代表整个特征向量集合的特征向量。利用这个方法可以生成文本、图片、文本中各个部分的特征向量；步骤6.1，利用各逻辑段落关键词特征向量集合生成各个逻辑段落对应的逻辑段落的特征向量。步骤6.1，收集图片中直接显示的文字的关键词特征向量和使用im2txt得到的图片语义描述中提取的关键词特征向量。给予图片中显示的文字的关键词特征向量更高的权重，与图片语义关键词特征向量生成平均特征向量，也就是该图片的特征向量。步骤6.2，依据步骤4中划分的逻辑段落，使用各个逻辑段落中的关键词特征向量生成能平均特征向量，也就是代表该逻辑段落的特征向量。步骤6.3，对于文本中标题、副标题、摘要等生成的关键词特征向量更高的权重，与文本正文中的关键词特征向量生成平均特征向量，也就是能代表该文本的特征向量。步骤7使用当前文本的特征向量检索出与该文本相似的用户操作数据记录，匹配出与用户操作数据相似的图片特征向量，在后续的匹配操作步骤中给予更高的权重。具体步骤如下：步骤7.1，计算数据库中每项数据的文本特征向量与当前文本特征向量之间的距离。步骤7.2，将计算得的距离排序，得到用户操作数据库中存储的与当前文本最为相似的操作记录数据。步骤7.3，得到与当前文本最相似的操作记录数据中的文本主题图片特征向量，计算待筛选的图片特征向量与操作记录中的文本主题图片特征向量之间的距离，给予最为相近的带筛选的图片特征向量更高的匹配权重。本专利技术的有益效果是：本专利技术针对文本和图片素材之间的关联度弱,不仅需要通过人工理解文本主旨，为整篇文本挑选一张图片，而且需要在理解文本主旨的基础上对于文本进行划分，从而调整图片在文本中的位置。提出了一种基于机器学习的，能主动的根据文本主旨匹配图片的方法。所采用的推荐方法是：使用OCR和im2txt生成图片的语义。使用jieba分词和Word2Vec提取词向量，使用词向量之间的空间特征位置关系检索图片语义与文本的关键词特征向量。参考用户操作数据库设置本文档来自技高网...

【技术保护点】
1.基于深度学习的文本图片匹配推荐方法，其特征在于，本专利技术首先采用计算特征向量集合的相似性实现对文本的划分；然后计算文本特征向量与图片特征向量之间的相似度来判断文本与图片的相似程度；最后提取图片和文本的关键词特征向量，再使用特征向量的匹配方法对图片和文本进行匹配。/n

【技术特征摘要】
1.基于深度学习的文本图片匹配推荐方法，其特征在于，本发明首先采用计算特征向量集合的相似性实现对文本的划分；然后计算文本特征向量与图片特征向量之间的相似度来判断文本与图片的相似程度；最后提取图片和文本的关键词特征向量，再使用特征向量的匹配方法对图片和文本进行匹配。


2.根据权利要求1所述的基于深度学习的文本图片匹配推荐算法，其特征在于，具体包括以下步骤：
步骤1，采集用户输入的含有图片的文本到材料数据库中；分离出文本素材和图片素材；
步骤2，计算的图片的灰度值，将图片的灰度值使用拉普拉斯掩模做卷积运算，然后计算标准差来判断图片的清晰度，剔除不清晰的图片；
步骤3，使用OCR采集图片中存在的文字，使用im2txt生成描述图片的文本；图片中显示的文字和使用im2txt生成的文本组成了图片的语义；
步骤4，提取图片和文本的关键词特征向量；
步骤5，对文本进行划分段落间相似度计算流程，通过计算两个相邻段落特征向量集合之间的相似性来实现对于段落间的语义相似程度判断，实现对于文本基于语义的划分；
步骤6，首先，依据对文本的划分结果，生成文本各个部分的特征向量；然后，生成整篇文本的特征向量；最后，使用图片语义关键词特征向量生成图片的特征向量；
步骤7，首先，以文本特征向量在用户操作数据库中检索，得到最为相似的数据，称为用户操作记录数据；然后，计算用户操作记录数据中文本主题图片特征向量与输入的所有图片特征向量之间的距离，检索出与用户操作记录中最为相似的图片特征向量，给予检索出的图片特征向量更高的匹配权重；
步骤8，参考上述有关步骤给各个特征向量设置的匹配权重，计算文本特征向量与各个图片特征向量的距离，为整篇文本检索出一张图片用于主页显示；依次以文本各个逻辑段落特征向量为中心计算与每个图片特征向量之间的距离；选取若干距离较近的图片特征向量，即获得与当前逻辑段落语义相近的图片集合；
步骤9，调整特定图片在文本中的位置，使得各个图片在文本中的位置更加合理；
步骤10，记录用户的手动调整数据到用户操作数据库中，充实用户操作数据使得该方法能够更加贴合用户的实际使用需求，提高最佳匹配的成功概率。


3.根据权利要求2所述的基于深度学习的文本图片匹配推荐算法，其特征在于，所述步骤4具体为：
步骤4.1，使用jieba分词组件对文本与图片语义进行去重和词性标注等文本数据预处理操作，保留若干词性的词语得到候选关键词集合；
步骤4.2，遍历候选关键词集合，从训练好的word2vec模型得到的词向量文件中获取候选...

【专利技术属性】
技术研发人员：孟海宁，童新宇，朱磊，白涛，王锋，冯锴，董林靖，彭伟，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61