一种图像过滤方法技术

本申请提供一种图像过滤方法，所述方法包括根据待过滤新闻的标题关键词和主题提取待过滤新闻对应的标签；识别所述待过滤新闻的图像对应的实体；根据所述实体与所述标签的相关性，去除所述待过滤新闻中相关性低于预设阈值的图像。采用本申请提供的技术方案，可以自动滤除新闻中与文字内容无关的图像，以提升新闻的可靠性和有效性。

【技术实现步骤摘要】
一种图像过滤方法
本申请涉及网络
，尤其涉及一种图像过滤方法。
技术介绍
随着新闻事业和互联网的快速发展，新闻信息的表现形式和发布渠道日趋多样化，新闻的抓取和推送功能得到了广泛引用。但是，新闻信息来源来自于不同领域，如何保证信息来源的可靠性和有效性是当前信息研究和报送业务面临的主要问题之一。其中，主要涉及图文一致性，例如，如果抓取的新闻中，文字内容和图像内容不相关，这会大大影响新闻的有效性，并使用户怀疑该条新闻的可靠性。
技术实现思路
本申请的多个方面提供一种图像过滤方法，用以减少新闻中图文不一致的问题。本申请的一方面，提供一种图像过滤方法，包括：根据待过滤新闻的标题关键词和主题提取待过滤新闻对应的标签；识别所述待过滤新闻的图像对应的实体；根据所述实体与所述标签的相关性，去除所述待过滤新闻中相关性低于预设阈值的图像。本申请的另一方面，提供一种设备，其特征在于，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一上述的方法。本申请的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现任一上述的方法。由所述技术方案可知，采用本实施例提供的技术方案，可以自动滤除新闻中与文字内容无关的图像，以提升新闻的可靠性和有效性。【附图说明】为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例提供的图像过滤方法的流程示意图；图2为适于用来实现本专利技术实施例的示例性计算机系统/服务器的框图。【具体实施方式】为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。图1为本申请一实施例提供的图像过滤方法的流程图，如图1所示，包括以下步骤：步骤S11、根据待过滤新闻的标题关键词和主题提取待过滤新闻对应的标签；步骤S12、识别所述待过滤新闻的图像对应的实体；步骤S13、根据所述实体与所述标签的相关性，去除所述待过滤新闻中相关性低于预设阈值的图像。在步骤S11的一种优选实现方式中，包括以下子步骤：子步骤S111、对待过滤新闻进行预处理；优选地，抓取的新闻首先会经过新闻预处理，去除不包括图像的纯文字新闻，对于所述不包括图像的纯文字新闻，可简单将过滤结果置为“未过滤”。。优选地，可以为所述不包括图像的纯文字新闻添加“未进行图像过滤”标签。子步骤S112、对预处理后的待过滤及新闻进行分割，得到所述待过滤新闻的标题及正文；优选地，将得到的第一新闻分割为标题与正文部分，分别存储在redis上，例如，通过uinfo和content两个key来索引。redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。子步骤S113、对所述标题进行关键词提取；优选地，对所述标题进行分词，根据分词结果进行关键词提取及权重计算，输出格式为“词#词性#权重”。优选地，采用NLP自然语言处理技术对所述标题进行分词，例如基于词典(基于字典、词库匹配)、基于统计(基于次频度统计)、基于规则(基于知识理解)的分词算法对所述标题进行分词优选地，同时还可以对单个关键词进行word2vec的扩展，word2vec是一个将单词转换成向量形式的工具，可以把对文本内容的处理简化为向量空间中的向量运算，其本质上来说是一个矩阵分解的模型，矩阵刻画了每个关键词和其上下文的词的集合的相关情况。对这个矩阵进行分解，只取每个关键词对应在隐含空间的向量，由此完成word到vector(向量)的映射，再根据vector之间两两相似度，计算出与该关键词相关扩展后的词语，即扩展关键词。子步骤S114、对所述正文进行主题生成；优选地，基于所述正文，计算其所属于的某几个主题及其权重。优选地，本专利技术实施例中，主题模型计算使用Spark框架的LDA模型计算包，主题个数定为200个，并且对于每个类别的新闻和整体所有新闻分别训练了一份LDA模型。其中，Spark是BerkeleyAMP实验室开源的类HadoopMapReduce的通用并行计算框架。该分布式计算框架基于mapreduce算法实现；并且Job中间输出与最终结果可以保存在内存中，从而在一定程度上减少了读写HDFS的I/O消耗。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代型mapreduce算法的场景。Spark适合于迭代运算比较多的机器学习与数据挖掘算法。其基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。处理过程中需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。优选地，选择训练语料库，所述训练语料为不同主题的新闻的正文部分。对每条新闻的正文部分进行分词操作并去除停用词；选择Spark框架对语料库进行LDA模型训练，得到对应主题数目的主题-关键词分布矩阵；任意选取一篇待过滤新闻，执行推理过程，最后得到该新闻正文所属的主题分布。子步骤S115、根据所述关键词和所述主题获取所述待过滤新闻对应的标签；优选地，对子步骤S113计算得到的原生关键词根据权重取排名靠前的几个(例如取Top3)，word2vec扩展关键词取全部，作为第一部分；对子步骤S114计算得到的主题根据权重取排名靠前的几个(例如Top3)，作为第二部分；根据所述第一部分和第二部分获取所述待过滤新闻对应的新闻标签。优选地，所述新闻标签包括：汽车、科技、体育、历史、军事、社会、娱乐、政法、经济等。优选地，不同新闻标签对应有不同的关键词，例如，“娱乐”新闻标签的对应的关键词可以是：粉丝、明星、恋情、综艺、嘉宾、春晚、演唱会...，其它新闻标签的种子关键词的筛选与此类似，可以根据人工经验进行有效设定，或根据已进行标注的训练样本进行统计得到。优选地，不同新闻标签也对应有不同的主题，例如，“娱乐”新闻标签的对应的主题可以是：微博爆料、恋情绯闻、电影票房、演技评价、综艺话题...，其它新闻标签的主题的筛选与此类似，可以根据人工经验进行有效设定，或根据已进行标注的训练样本进行统计得到。优选地，对于每个新闻标签，统计其对应的关键词在标题关键词中出现的频次，得到所述标题关键词对应每个新闻标签的概率，选择其对应的关键词出现总频次最高，即概率最高的新闻标签最为新闻最终的标签。优选地，对于每个新闻标签，统计其对应的主题在正文主本文档来自技高网...

【技术保护点】
1.一种图像过滤方法，其特征在于，包括：根据待过滤新闻的标题关键词和主题提取待过滤新闻对应的标签；识别所述待过滤新闻的图像对应的实体；根据所述实体与所述标签的相关性，去除所述待过滤新闻中相关性低于预设阈值的图像。

【技术特征摘要】
1.一种图像过滤方法，其特征在于，包括：根据待过滤新闻的标题关键词和主题提取待过滤新闻对应的标签；识别所述待过滤新闻的图像对应的实体；根据所述实体与所述标签的相关性，去除所述待过滤新闻中相关性低于预设阈值的图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述待过滤新闻进行预处理，去除不包括图像的待过滤新闻。3.根据权利要求1所述的方法，其特征在于，根据待过滤新闻的标题关键词和主题提取待过滤新闻对应的标签包括：对所述待过滤新闻进行分割，得到所述待过滤新闻的标题及正文；对所述标题进行关键词提取，对所述正文进行主题生成；根据所述关键词和所述主题获取所述待过滤新闻对应的标签。4.根据权利要求3所述的方法，其特征在于，对所述标题进行关键词提取包括：对所述标题进行分词，根据分词结果进行关键词提取及权重计算。5.根据权利要求3所述的方法，其特征在于，对所述正文进行主题生成包括：基于预先训练的LDA主题模型，计算所述正文的主题。6.根据权利要求3所述的方法，其特征在于，根据所述关键词...

【专利技术属性】
技术研发人员：陈盛福，陈晓磊，
申请(专利权)人：上海掌门科技有限公司，
类型：发明
国别省市：上海,31