网络信息数据的处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种网络信息数据处理方法及装置，涉及计算机技术领域。其中，被处理的每条信息数据包括关于该信息相关内容的一项或多项信息项目，该网络信息数据处理方法包括：针对各预定分类采集多条初始信息数据，从初始信息数据中获取分别与每个预定分类相对应的一项或多项信息项目作为用于将待分类信息数据进行分类的分类项目，并获取对应于分类项目的一个或多个关键词作为将待分类信息数据归类到相应的预定分类中的依据；采集待分类信息数据；将分类项目中包含与分类项目对应的关键词的待分类信息数据归类到相应的预定分类中；按照预定分类发布信息数据。通过本发明专利技术能够有效利用有限的带宽资源进而使用户高效地获取其需要的信息。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别涉及一种网络信息数据的处理方法和装置。
技术介绍
随着信息化进程不断加快，诸如微博类媒体的迅猛发展，网络用户的阅读需求越来越高，网上的信息成几何级数增长。人们迫切需要一个内容聚合平台，能让他们看到更新、更好、更有针对性的信息。例如，目前有许多电子杂志，都是对各类网络信息例如微博、RSS等进行聚合，聚合方式多种多样。例如通过API接口采集数据、将数据分类到不同的频道等。大多数电子杂志类客户端、网站在聚合和筛选两个方面都不完善。例如，在聚合阶段，根据内容的某个维度聚合(如作者)，这样聚合出的内容往往不能保证内容的一致性(比如一个作者可能会同时发布不同类型的内容)。又例如，在筛选阶段，使用内容的评论数，转发数，发表日期作为评判内容质量的标准。这样做有时并不会筛选出优质的内容。另外，如果聚合阶段和筛选阶段的问题同时发生，最终的结果产生的误差可能更大。这样，有效利用有限的带宽资源使用户高效地获取其需要的信息成为业界亟需解决的问题。
技术实现思路
本专利技术实施例提供一种网络信息数据的处理方法和装置，以改善用户体验。其中，本专利技术实施例提供一种网络信息数据的处理方法，其中，被处理的每条信息数据包括关于该信息相关内容的一项或多项信息项目，该方法包括针对各预定分类采集多条初始信息数据，从初始信息数据中获取分别与每个预定分类相对应的一项或多项信息项目作为用于将待分类信息数据进行分类的分类项目，并获取对应于分类项目的一个或多个关键词作为将待分类信息数据归类到相应的预定分类中的依据；采集待分类信息数据； 将分类项目中包含与分类项目对应的关键词的待分类信息数据归类到相应的预定分类中； 按照预定分类发布信息数据。在一个实施例中，从初始信息数据中获取分类项目及关键词的步骤包括从初始信息数据中筛选符合预定分类的信息数据；针对各预定分类的初始信息数据的每个信息项目应用分词技术获取多个词组；在每个信息项目中分别统计该多个词组在初始信息数据中的出现频率；根据统计结果选取分类项目及关键词。在一个实施例中，根据统计结果选取分类项目及关键词的步骤包括在每个信息项目中计算所有词组出现频率的中位数；选取预定数量的出现频率高于中位数的词组作为关键词，并选取包含出现频率高于中位数的词组的一项或多项信息项目为分类项目。在一个实施例中，根据统计结果选取分类项目获取关键词的步骤包括计算每个信息项目中多个词组中每一个词组的出现频率与该信息项目中所拆分出的全部词组的数目的比值；将多个信息项目中的全部词组按照比值排序；选取比值排序位于前预定数目的词组对应的一项或多项信息项目为分类项目，选取该一个或多个词组作为关键词。在一个实施例中，被处理的每条信息数据包括反映信息数据的发布及状态的一个或多个信息参数，网络信息数据处理方法还包括根据预定分类中各项信息参数的预定权重对各预定分类中的每条信息数据进行排序。在一个实施例中，根据预定分类中各项信息参数的预定权重对各预定分类中的每条信息数据进行排序的步骤包括根据文本内容、评论、转发、图片和发布时间中的一个或多个的预定权重为各预定分类中的信息数据评分；根据评分对数据进行排序。在一个实施例中，网络信息数据处理方法还包括过滤掉排序后的数据中重复的数据的步骤，该步骤包括提取数据中的图片；将图片转换为直方图，并计算每两张直方图的相似系数；若该相似系数大于预定阈值，则删除两张直方图对应的两条信息数据中排序靠后的信息数据。本专利技术实施例还提供一种网络信息数据的处理装置，其中，被网络信息数据处理装置处理的每条信息数据包括关于该信息相关内容的一项或多项信息项目包括该网络信息数据处理装置包括分类项目及关键词获取模块，用于针对各预定分类采集多条初始信息数据，从初始信息数据中获取分别与每个预定分类相对应的一项或多项信息项目作为用于将待分类信息数据进行分类的分类项目，并获取对应于分类项目的一个或多个关键词作为将待分类信息数据归类到相应的预定分类中的依据；采集模块，用于待分类信息数据； 分类模块，用于将分类项目中包含与分类项目对应的关键词的待分类信息数据归类到相应的预定分类中；发布模块，按照预定分类发布信息数据。在一个实施例中，分类项目及关键词获取模块包括初筛单元，用于从初始信息数据中筛选符合预定分类的信息数据；分词单元，用于针对各预定分类的初始信息数据的每个信息项目应用分词技术获取多个词组；统计单元，用于在每个信息项目中分别统计该多个词组在初始信息数据中的出现频率；选取单元，用于根据统计结果选取分类项目及关键ο在一个实施例中，选取单元包括第一计算子单元，用于在每个信息项目中计算所有词组出现频率的中位数；第一分类项目及关键词选取子单元，用于选取预定数量的出现频率高于中位数的词组作为关键词，并选取包含出现频率高于中位数的词组的一项或多项信息项目为分类项目。在一个实施例中，选取单元包括第二计算子单元，用于计算每个信息项目中多个词组中每一个词组的出现频率与该信息项目中所拆分出的全部词组的数目的比值；排序子单元，用于将多个信息项目中的全部词组按照比值排序；第二分类项目及关键词选取子单元，用于选取包含比值最高的词组的一项信息项目为分类项目，选取词组作为关键词。在一个实施例中，被处理的每条信息数据包括反映信息数据的发布及状态的一个或多个信息参数，网络信息数据处理装置还包括排序模块，用于根据预定分类中各项信息参数的预定权重对各预定分类中的每条信息数据进行排序。在一个实施例中，排序模块包括评分单元，用于根据文本、评论、转发、图片和发布时间中的一个或多个的预定权重为各分类中的数据评分；排序单元，用于根据评分对数据进行排序。在一个实施例中，网络信息数据处理装置还包括过滤模块，用于过滤掉处理后的数据中重复的数据，过滤模块包括图片提取单元，用于提取数据中的图片；计算单元，用于将图片转换为直方图，并计算每两张直方图的相似系数；删除单元，若该相似系数大于预6定阈值，用于删除两张直方图对应的两条信息数据中排序靠后的信息数据。本专利技术实施例的有益效果在于，通过以上技术方案中对数据的采集、准确分类和排序，能够有效利用有限的带宽资源进而使用户高效地获取其需要的信息。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中图I是根据本专利技术实施例的应用场景的示意图2是根据本专利技术实施例的网络信息数据处理方法的流程图3是根据本专利技术另一实施例的网络信息数据处理方法的流程图4是根据本专利技术实施例的获取关键词的方法的流程图5是根据本专利技术实施例的对数据进行分类的示意图6是根据本专利技术实施例的对数据进行排序的方法的流程图7是根据本专利技术实施例的网络信息数据处理装置的结构示意图8是根据本专利技术实施例的分类项目及关键词获取模块的结构示意图9是根据本专利技术另一实施例的网络信息数据处理装置的结构示意图10是是根据本专利技术又一实施例的网络信息数据处理装置的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例作进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。现在将参考附图进一步详细描述本专利技术。本专利技术可以许多不同的形式来实现，不应该被理解为仅限于此处所阐述的实施例本文档来自技高网...

【技术保护点】
一种网络信息数据处理方法，其中，被处理的每条信息数据包括关于该信息相关内容的一项或多项信息项目，其特征在于，所述方法包括：针对各预定分类采集多条初始信息数据，从所述初始信息数据中获取分别与每个所述预定分类相对应的所述一项或多项信息项目作为用于将待分类信息数据进行分类的分类项目，并获取对应于所述分类项目的一个或多个关键词作为将待分类信息数据归类到相应的预定分类中的依据；采集所述待分类信息数据；将所述分类项目中包含与所述分类项目对应的所述关键词的所述待分类信息数据归类到相应的预定分类中；按照所述预定分类发布信息数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：李学科，
申请(专利权)人：北界创想北京软件有限公司，
类型：发明
国别省市：