一种基于信息流生成缩略图的方法及相关装置制造方法及图纸

本发明专利技术实施例公开了一种基于信息流生成缩略图的方法及相关装置，该方法包括：对信息流中文本利用自然语言处理技术获得文本的文本语义；利用计算机视觉技术处理文本对应的多个候选图像，获得每个候选图像的图像语义；匹配每个候选图像的图像语义和文本的文本语义，从多个候选图像中确定至少一个候选图像为目标图像；基于目标图像的类别和预设展示尺寸，利用计算机视觉技术处理目标图像生成缩略图。可见，目标图像是匹配文本的文本语义和每个候选图像的图像语义确定的，其生成的缩略图与信息流中文本的匹配度较高，提高缩略图与文本的匹配性；且在生成缩略图时考虑图像的类别和预设展示尺寸，采用不同的缩略方式，提高缩略图的视觉质量。的视觉质量。的视觉质量。

【技术实现步骤摘要】
一种基于信息流生成缩略图的方法及相关装置


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种基于信息流生成缩略图的方法及相关装置。

技术介绍

[0002]随着信息技术的快速发展，越来越多的信息以图像的形式展示给用户。图像能够展示出文本难以表达的信息，相较于文本而言，更具有展示优势、更能吸引用户的关注。信息流中文本对应的图像尺寸大小不一致，直接展示原图像导致信息流的整个展示版面混乱；若原图像的尺寸过大占据较大展示版面，还导致信息流的展示版面中图像展示量过多影响文本展示量。
[0003]在信息流展示之前，裁剪或者缩放文本对应的图像，得到合适的区域图像作为缩略图，使得信息流的整个展示版面排版整齐且该展示版面中图像展示量合适尤为重要。信息流中文本一般对应多个图像，现有技术中，基于信息流生成缩略图的方法实际上是直接对多个图像分别生成缩略图，以便在信息流中将多个缩略图对应文本展示。
[0004]但是，经过研究发现，信息流中文本对应的多个图像中存在与文本匹配性较低的图像，采用现有技术中生成缩略图的方法，展示信息流时容易出现缩略图与文本不匹配的现象；且现有技术中生成缩略图的方法对所有图像采用统一的缩略方式，所生成的缩略图的质量视觉质量较低，导致展示的信息流对用户的吸引力不足，从而严重影响用户浏览信息流的体验。

技术实现思路

[0005]有鉴于此，急需提供一种基于信息流生成缩略图的方法及相关装置，以便在展示信息流时展示其生成的缩略图，能够提高缩略图与文本的匹配性，增加对用户的吸引力，从而提高用户浏览信息流的体验。
[0006]第一方面，本专利技术实施例提供了一种基于信息流生成缩略图的方法，该方法包括：
[0007]对信息流中文本进行自然语言处理，获得所述文本的文本语义；
[0008]对所述文本对应的多个候选图像进行计算机视觉处理，获得每个候选图像的图像语义；
[0009]对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，从所述多个候选图像中确定至少一个候选图像为目标图像；
[0010]基于所述目标图像的类别和预设展示尺寸，对所述目标图像进行计算机视觉处理生成缩略图。
[0011]可选的，所述对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，从所述多个候选图像中确定至少一个候选图像为目标图像，包括：
[0012]对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，获得所述每个候选图像的图像语义和所述文本的文本语义的匹配度；
[0013]按照所述匹配度由高至低从所述多个候选图像中确定前N个候选图像为所述目标图像；N为小于所述多个候选图像的总数量的正整数。
[0014]可选的，所述基于所述目标图像的类别和预设展示尺寸，对所述目标图像进行计算机视觉处理生成缩略图，具体为：
[0015]若所述目标图像的类别为通用类别，基于所述目标图像中各个关键元素的位置和所述预设展示尺寸，对所述目标图像进行计算机视觉处理生成所述缩略图；或，
[0016]若所述目标图像的类别为图标类别，基于所述目标图像的背景颜色和所述预设展示尺寸，对所述目标图像中图标区域进行计算机视觉处理生成所述缩略图；或，
[0017]若所述目标图像的类别为肖像类别，基于所述目标图像的边缘颜色和所述预设展示尺寸，对所述目标图像中人脸和肩颈区域进行计算机视觉处理生成所述缩略图；或，
[0018]若所述目标图像的类别为文本/图表类别，基于所述预设展示尺寸对所述目标图像中文本/图表的标题区域进行计算机视觉处理生成所述缩略图。
[0019]可选的，所述基于所述目标图像中各个关键元素的位置和所述预设展示尺寸，对所述目标图像进行计算机视觉处理生成所述缩略图，包括：
[0020]基于所述目标图像中各个关键元素的位置，确定所述目标图像中候选区域；
[0021]基于所述预设展示尺寸对所述候选区域进行计算机视觉处理生成所述缩略图。
[0022]可选的，所述基于所述预设展示尺寸对所述候选区域进行计算机视觉处理生成所述缩略图，具体为：
[0023]当所述候选区域符合所述预设展示尺寸时，按照所述预设展示尺寸对所述候选区域进行计算机视觉处理生成所述缩略图；或，
[0024]当所述候选区域不符合所述预设展示尺寸时，若所述候选区域中关键元素间距离大于预设距离，删除所述候选区域中关键元素间区域获得更新候选区域；按照所述预设展示尺寸对所述更新候选区域进行计算机视觉处理生成所述缩略图；或，
[0025]当所述候选区域不符合所述预设展示尺寸时，若所述候选区域中关键元素间距离小于等于预设距离或所述候选区域中只有一个关键元素，基于所述目标图像的背景颜色和所述预设展示尺寸，对所述候选区域进行计算机视觉处理生成所述缩略图。
[0026]可选的，在所述对所述文本对应的多个候选图像进行计算机视觉处理之前，还包括：
[0027]获取所述信息流中文本对应的多个图像；
[0028]对所述文本对应的多个图像进行计算机视觉处理，过滤所述多个图像中敏感图像获得所述文本对应的多个候选图像。
[0029]可选的，所述敏感图像包括质量敏感图像、类别敏感图像和/或内容敏感图像；所述质量敏感图像具体为图像质量低于预设图像质量的图像，所述类别敏感图像具体为图像类别属于预设敏感图像类别的图像，所述内容敏感图像具体为图像内容敏感度高于预设图像内容敏感度的图像。
[0030]第二方面，本专利技术实施例提供了一种基于信息流生成缩略图的装置，所述装置包括：
[0031]第一获得单元，用于对信息流中文本进行自然语言处理，获得所述文本的文本语义；
[0032]第二获得单元，用于对所述文本对应的多个候选图像进行计算机视觉处理，获得每个候选图像的图像语义；
[0033]确定单元，用于对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，从所述多个候选图像中确定至少一个候选图像为目标图像；
[0034]生成单元，用于基于所述目标图像的类别和预设展示尺寸，对所述目标图像进行计算机视觉处理生成缩略图。
[0035]可选的，所述确定单元包括：
[0036]获得子单元，用于对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，获得所述每个候选图像的图像语义和所述文本的文本语义的匹配度；
[0037]第一确定子单元，用于按照所述匹配度由高至低从所述多个候选图像中确定前N个候选图像为所述目标图像；N为小于所述多个候选图像的总数量的正整数。
[0038]可选的，所述生成单元具体用于：
[0039]若所述目标图像的类别为通用类别，基于所述目标图像中各个关键元素的位置和所述预设展示尺寸，对所述目标图像进行计算机视觉处理生成所述缩略图；或，
[0040]若所述目标图像的类别为图标类别，基于所述目标图像的背景颜色和所述预设展示尺寸，对所述目标图像中图标区域进行计算机视觉处理生成所述缩略图；或，
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息流生成缩略图的方法，其特征在于，包括：对信息流中文本进行自然语言处理，获得所述文本的文本语义；对所述文本对应的多个候选图像进行计算机视觉处理，获得每个候选图像的图像语义；对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，从所述多个候选图像中确定至少一个候选图像为目标图像；基于所述目标图像的类别和预设展示尺寸，对所述目标图像进行计算机视觉处理生成缩略图。2.根据权利要求1所述的方法，其特征在于，所述对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，从所述多个候选图像中确定至少一个候选图像为目标图像，包括：对所述每个候选图像的图像语义和所述文本的文本语义进行匹配，获得所述每个候选图像的图像语义和所述文本的文本语义的匹配度；按照所述匹配度由高至低从所述多个候选图像中确定前N个候选图像为所述目标图像；N为小于所述多个候选图像的总数量的正整数。3.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像的类别和预设展示尺寸，对所述目标图像进行计算机视觉处理生成缩略图，具体为：若所述目标图像的类别为通用类别，基于所述目标图像中各个关键元素的位置和所述预设展示尺寸，对所述目标图像进行计算机视觉处理生成所述缩略图；或，若所述目标图像的类别为图标类别，基于所述目标图像的背景颜色和所述预设展示尺寸，对所述目标图像中图标区域进行计算机视觉处理生成所述缩略图；或，若所述目标图像的类别为肖像类别，基于所述目标图像的边缘颜色和所述预设展示尺寸，对所述目标图像中人脸和肩颈区域进行计算机视觉处理生成所述缩略图；或，若所述目标图像的类别为文本/图表类别，基于所述预设展示尺寸对所述目标图像中文本/图表的标题区域进行计算机视觉处理生成所述缩略图。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标图像中各个关键元素的位置和所述预设展示尺寸，对所述目标图像进行计算机视觉处理生成所述缩略图，包括：基于所述目标图像中各个关键元素的位置，确定所述目标图像中候选区域；基于所述预设展示尺寸对所述候选区域进行计算机视觉处理生成所述缩略图。5.根据权利要求4所述的方法，其特征在于，所述基于所述预设展示尺寸对所述候选区域进行计算机视觉处理生成所述缩略图，具体为：当所述候选区域符合所述预设展示尺寸时，按照所述预设展示尺寸对所述候选区域进行计算机视觉处理生成所述缩略图；或，当所述候选区域不符合所述预设展示尺寸时，若所述候选区域中关键...

【专利技术属性】
技术研发人员：张俊，宋明辉，周泽南，陈炜鹏，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：