一种联合文本和图像内容的缩略图生成方法及系统技术方案

本发明专利技术公开了一种联合文本与图像内容的图像缩略方法及系统。该方法包括：对原始图像进行显著性检测以及图像内容结构化分析以提取局部图像信息，对与原始图像相关的文本信息进行关键词分析与统计，结合所提取到的局部图像信息与关键词信息进行信息融合处理以确定最终缩略图的区域。本发明专利技术提供的图像缩略方法，在图文并存的场景下，所产生的缩略图能够准确地与文本的关联内容相映衬，兼顾了图像和文本的关联性，从而经本发明专利技术提供的方法产生的缩略图区域更为合理。

【技术实现步骤摘要】
一种联合文本和图像内容的缩略图生成方法及系统
本专利技术公开了一种联合文本和图像内容的缩略图生成方法，涉及图像提取/缩略领域。在图文并茂的场景下，通过本专利技术提供方法及系统基于原始图像产生的缩略图，能够准确地兼顾图像和文本的关联性，给出更为合理的缩略图区域。
技术介绍
图像缩略图广泛存在于互联网领域，用于快速传输及预览图像信息。本专利技术的处理对象是广泛存在于互联网络领域的图文配合内容，比如同时包含文字和图像的文章、帖子等。这类内容同时包含了非结构化的文本信息和图像，且文本和图像通常存在相关性。目前图像的缩略图主要是通过显著性检测以获取图像的显著性区域；计算包含所述的显著性区域的最大矩形区域；根据所述的最大矩形区域进行图像截取，得到待处理图像的缩略图。这样获取的缩略图可能无法准确将原始图像中需要用户重点关注的区域展示出来。例如、原始图像中需要用户重点关注的包含有丰富信息的背景/远景常常被缩略图漏掉，特别是网络环境下，图文并茂的场景大量存在，与原始图像关联的文本内容包含大量描述所述原始图像的文字信息以及说明需要用户侧重关注/发现的原始图像区域的指示/暗示信息，目前的图像缩略方法由于没有兼顾与原始图像相关的文本内容，所产生的缩略图无法准确地呈现与关联的文本内容契合。
技术实现思路
为了解决上述现存的缩略图生产方法的缺点，本专利技术提供一种联合文本与图像内容的图像缩略方法，该方法包括:基于现有的显著性分析算法对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域；结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；采用关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，根据信息融合的结果以及所述图像显著性区域在所述原始图像中确定出缩略图区域，并根据所述缩略图区域以及原始图像产生缩略图。进一步地、所述的多种图像分析算法包括：用于检测物体的深度神经网络目标检测算法、人脸检测与识别算法、以及图像文字检测与识别算法。所述目标区域包括原始图像中的物体区域、人脸区域以及文字区域。进一步地、所述基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，具体为：采用通用知识图谱的距离模型，将所述关键词构建成文本关键词矩阵，将所述图像区域类别标签构建成图像区域类别标签矩阵；计算文本关键词矩阵与图像区域类别标签矩阵的关系距离矩阵D，并对所述关系距离举证元素进行加权化处理。所述根据信息融合的结果以及所述图像显著性区域确定出缩略图在所述图像中的区域作为缩略图区域，具体包括：分别计算图像中各所述目标区域与所述图像显著性区域的重合面积并去重，判断所述去重后的重合面积占显著性区域的面积的百分比是否大于或等于预设的阈值，若是、则选择显著性区域作为缩略图输出；否则、根据经过加权处理后的关系距离矩阵D*的元素，选择对应的所述目标区域进行重复合并处理，直到合并处理后的区域达到指定的缩略图大小时将其作为缩略图区域。相应地，本专利技术还提供一种联合文本与图像内容的图像缩略系统，该系统包括:图像分析模块，用于对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域，同时结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；文本关键词提取模块，基于预设的关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；信息融合模块，基于通用知识图谱对图像分析模块输出的所述区域类别标签、文本关键词提取模块提取的所述关键词进行信息融合；缩略图产生模块，用于根据信息融合的结果以及图像分析模块输出的所述图像显著性区域，在原始图像中确定出缩略图区域，并根据所述缩略图区域产生缩略图。附图说明图1为本专利技术提供的联合文本与图像内容的图像缩略方案技术框架图；图2为本专利技术中根据关系距离矩阵确定缩略图区域的示意图。具体实施方式为了使本专利技术所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本专利技术进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。参照附图1，一种联合文本与图像内容的图像缩略方法，该方法包括以下步骤:a.对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域；结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；采用关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；b.基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，根据信息融合的结果以及所述图像显著性区域，在所述原始图像中确定出缩略图区域；c.根据所述缩略图区域以及原始图像产生缩略图。图像显著性检测是图像处理领域常规的技术性手段。在图像分析与处理领域存在着丰富的图像显著性检测算法。在上述方法的步骤a中对原始图像进行显著性检测可以采用目前现有的图像显著性算法来实现。对图像内容结构化分析具体包括物体检测、文字检测与识别、人脸检测与识别：物体检测：使用深度神经网络目标检测方法，对常用物体进行检测输出图像中的物体区域、所属类别标签及置信度。物体的类别标签包括常见的物体，如：桌子、椅子、房屋、汽车等。图像文字检测与识别：检测图像中的文本位置并进行文字识别输出图像中的文字区域、识别对应的文字内容并标签化及置信度。文字内容的标签形式可以是图像中文本的文字内容，或者对所述文字内容提取的关键词。人脸检测与识别：基于现有的人脸识别算法检测并识别图像中的人脸信息。输出人脸图像区域、人脸信息及置信度。人脸信息可以包括根据预设的人脸特征库来识别出对应的人脸ID。无法识别人脸时，仅输出人脸图像区域及置信度。通过以上对原始图像多个维度的分析，得到该图像中的以上各类目标区域(由一定坐标构成的范围)以及对应的区域类别标签以及置信度。其中、步骤b中综合文本关键词、图像显著性区域、以及图像内容结构化信息，进行信息融合，确定最终的缩略图在原始图像中的区域。示意图如图2，具体说明如下:1.将提取到的文本关键词的按照词频从高到低进行排序组织成元素个数为M的矩阵，记为F1＝{key1,…keyM}；2.将图像内容分析中的物体标签及人脸标签组织成元素个数为N的区域类别标签矩阵，记为{label1,…labelN}。如果图像中识别出了文字，对图像文字识别结果进行关键词抽取，添加到图像区域类别标签矩阵中，得到F2＝{label1,…labelK}，其中K为大于N的整数。如果图像中没有识别出文字，跳过本步。3.分别计算图像中各所述目标区域与所述图像显著性区域的重合面积并去重，判断所述去重后的重合面积占显著性区域的面积的百分比是否大于或等于预设的阈值。若是、则选择显著性区域作为缩略图输出；否则、基于现有的通用知识图谱构建的关系型查找数据库，计算图像本文档来自技高网...

【技术保护点】
1.一种联合文本与图像内容的图像缩略方法，该方法包括:a.对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域；结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；采用关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；b.基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，根据信息融合的结果以及所述图像显著性区域，在所述原始图像中确定出缩略图区域；c.根据所述缩略图区域以及原始图像产生缩略图。

【技术特征摘要】
1.一种联合文本与图像内容的图像缩略方法，该方法包括:a.对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域；结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；采用关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；b.基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，根据信息融合的结果以及所述图像显著性区域，在所述原始图像中确定出缩略图区域；c.根据所述缩略图区域以及原始图像产生缩略图。2.如权利要求所述的方法，其中步骤a中所述的多种图像分析算法包括：用于检测物体的深度神经网络目标检测算法、人脸检测与识别算法、以及图像文字检测与识别算法；所述目标区域类别包括物体区域、人脸区域以及文字区域。3.如权利要求1或2所述的方法，其中步骤b具体为：分别计算图像中各所述目标区域与所述图像显著性区域的重合面积并去重，判断所述去重后的重合面积占显著性区域的面积的百分比是否大于或等于预设的阈值，若是、则选择显著性区域作为缩略图输出；否则、将所述关键词按照其文本中出现的次数从高到低进行排列构建成包含M个元素的文本关键词矩阵、M为关键词的个数，将所述图像区域类别标签构建成包含K个元素的图像区域类别标签矩阵；基于通用知识图谱的距离模型构建的关系型查找数据库得到文本关键词矩阵与图像区域类别标签矩阵的关系距离矩阵D，其中D的大小为M*K；根据关系距离矩阵D的元素，选择对应的所述目标区域进行重复合并处理，当合并处理后的区域达到指定的缩略图大小时将其作为缩略图区域。4.如权利要求3所述的方法，其中、根据关系距离矩阵D的元素，选择对应的目标区域进行重复合并处理具体为：将关系距离矩阵D中每个元素Dij，按照对应文本关键词的出现次数A及图像区域类别标签的出现数目B进行以下加权处理后得到加权关系距离矩阵D*：Dij*＝Dij/(A+B)，1≤i≤M、1≤J≤Ki、j为整数；按照从小到大依次选择矩阵D*...

【专利技术属性】
技术研发人员：胡蓓蓓，范晓安，
申请(专利权)人：阿基米德上海传媒有限公司，
类型：发明
国别省市：上海,31