一种信息处理方法及装置制造方法及图纸

本发明专利技术公开了一种信息处理方法，所述方法包括：确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；获取第一文章集合；根据所述特征集合从所述第一文章集合中确定第二文章集合；根据用户的标识信息获取用户的第三文章集合，所述第三文章集合为用户已阅读的文章集合；确定所述第三文章集合对应的第四文章集合，所述第四文章集合包括第二文章所组成的集合和所述第三文章集合，所述第二文章为所述第三文章集合中第一文章的相似文章；确定所述第四文章集合与所述第二文章集合之间的交集；将所述第二文章集合中除所述交集外的文章确定为第五文章集合；将所述第五文章集合输出。本发明专利技术同时还公开了一种信息处理装置。

【技术实现步骤摘要】
一种信息处理方法及装置
本专利技术涉及信息处理技术，尤其涉及一种信息处理方法及装置。
技术介绍
互联网中重复新闻、博客、文章等数据约占总量的50％～70％，大量重复内容进入用户推荐阅读列表会非常影响用户的阅读体验。内容重复是一种个人阅读感知，用户对不同类别文章的内容重复认知也是不一样的。系统通过自动提取文章核心关键词进行文章相似度计算，并根据用户兴趣画像和阅读历史记录，依照用户阅读感知在线动态过滤重复文章。相关技术在识别同源文章时会有比较高的准确率，其中同源文章是指同一篇文章内容被多个媒体进行转载，文章内容基本一致。但是对相同主题的文章识别相似度准确率很低，并且经常会产生误判；并且在计算文章分词的权重评分的时候，不同长度的文章TF(词频)对结果影像较大，从而导致最终结果会有偏差。此外，不同的文章相似度对不同兴趣类别的用户阅读感知也是不一样的，例如体育重度兴趣用户可能会财经类文章会不太敏感，但是对体育类别文章具有较强的需求。
技术实现思路
有鉴于此，本专利技术实施例为解决现有技术中存在的至少一个问题而提供一种信息处理方法及装置，能够针对单个用户做个性化过滤，从而有效增强用户的阅读体验。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种信息处理方法，所述方法包括：确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；获取第一文章集合；根据所述特征集合从所述第一文章集合中确定第二文章集合；根据用户的标识信息获取用户的第三文章集合，所述第三文章集合为用户已阅读的文章集合；确定所述第三文章集合对应的第四文章集合，所述第四文章集合包括第二文章所组成的集合和所述第三文章集合，所述第二文章为所述第三文章集合中第一文章的相似文章；确定所述第四文章集合与所述第二文章集合之间的交集；将所述第二文章集合中除所述交集外的文章确定为第五文章集合；将所述第五文章集合输出。第二方面，本专利技术实施例提供一种信息处理装置，所述装置包括第一确定单元、第一获取单元、第二确定单元、第二获取单元、第三确定单元、第四确定单元、第五确定单元和输出单元，其中：所述第一确定单元，用于确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；所述第一获取单元，用于获取第一文章集合；所述第二确定单元，用于根据所述特征集合从所述第一文章集合中确定第二文章集合；所述第二获取单元，用于根据用户的标识信息获取用户的第三文章集合，所述第三文章集合为用户已阅读的文章集合；所述第三确定单元，用于确定所述第三文章集合对应的第四文章集合，所述第四文章集合包括第二文章所组成的集合和所述第三文章集合，所述第二文章为所述第三文章集合中第一文章的相似文章；所述第四确定单元，用于确定所述第四文章集合与所述第二文章集合之间的交集；所述第五确定单元，用于将所述第二文章集合中除所述交集外的文章确定为第五文章集合；所述输出单元，用于将所述第五文章集合输出。本专利技术实施例提供一种信息处理方法及装置，其中：确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；获取第一文章集合；根据所述特征集合从所述第一文章集合中确定第二文章集合；根据用户的标识信息获取用户的第三文章集合，所述第三文章集合为用户已阅读的文章集合；确定所述第三文章集合对应的第四文章集合，所述第四文章集合包括第二文章所组成的集合和所述第三文章集合，所述第二文章为所述第三文章集合中第一文章的相似文章；确定所述第四文章集合与所述第二文章集合之间的交集；将所述第二文章集合中除所述交集外的文章确定为第五文章集合；将所述第五文章集合输出；如此，能够针对单个用户做个性化过滤，从而有效增强用户的阅读体验。附图说明图1-1为相关技术中计算指纹向量的实现流程示意图；图1-2为相关技术中确定汉明距离的实现流程示意图；图1-3为本专利技术实施例中进行信息交互的各方硬件实体的示意图；图1-4为本专利技术实施例一信息处理方法的实现流程示意图；图2为本专利技术实施例二信息处理方法的实现流程示意图；图3为本专利技术实施例三计算相似度的流程示意图；图4-1为本专利技术实施例各实体的硬件组成结构示意图；图4-2为本专利技术实施例四信息处理装置的组成结构示意图。具体实施方式互联网中阅读应用和搜索引擎等系统，通常是根据文章内容计算生成指纹信息。通过两个指纹信息进行比较计算出的汉明距离，如果指纹信息的汉明距离小于预设的阈值，则说明两篇文章越相似；反之，则越不相似。相关技术中通常是通过某种算法计算文章的指纹信息，并计算两个指纹信息的汉明距离，然后根据计算的汉明距离进行文章过滤，相关技术中的技术方案包括如下步骤：步骤S11，对文章进行分词等预处理；首先将文章进行分词，得到第一分词结果；然后对所述分词结果进行过滤，得到第二分词结果；其中，所述过滤一般包括过滤常用词、标点符号、停用词等数据；举例来说，假设文章1的内容为“支付宝实名认证存惊天漏洞！快打开手机检查一下你的账号！”，对文章1进行分词处理，生成的第一分词结果为“支付宝实名认证存惊天漏洞！快打开手机检查一下你的账号！”。然后对第一分词结果过滤常用词、标点符号、停用词等数据，则得到第二分词结果“支付宝实名认证存惊天漏洞打开手机检查账号”。一般采用空格或横线等标识符来表示汉字或单词之间的划分结果。步骤S12，对文章所有分词按权重评分；这里，计算每个分词的权重评分，评分公式参见公式(0-1)；评分(Score)＝词频(TF)×逆文档频率(IDF)(0-1)；公式(0-1)中，词频(TF)采用公式(0-2)表示，逆文档频率(IDF)采用公式(0-3)表示；词频(TF)＝词在文章出现的次数(0-2)；根据计算出来的权重评分降序排列所有分词，如表1所示：表1步骤S13，生成文章的指纹信息；这里，参见图1-1所示，每个分词结果中的每一个分词作为特征关键词计算成64位整形的Hash值，并转化成64位的向量，向量每一位对应hash的一位；其中，如果hash值该位是0，向量该位的值等于负的分词权重(-分词权重)，如果hash值该位是1，向量该位的值等于正的分词权重(分词权重)；然后，累加所有特征关键词向量生成64位指纹向量(指纹向量作为指纹信息)，如果指纹向量该位的值为负数，则将文章的指纹向量该位置为0，如果指纹向量该位的值为正数，则将文章指纹该位置为1，最终生成64位文章的指纹向量。假设下面以支付宝和帐号为例进行说明，假设支付宝的Hash值为：Hash(支付宝)＝＞110011001101...＝＞Vector(0.28165，0.28165，-0.28165，-0.28165，0.28165，0.28165，-0.28165，-0.28165，0.28165，0.28165，-0.28165，0.28165，...)；假设帐号的Hash值为：Hash(帐号)＝＞011100000011...＝＞Vector(-0.22721，0.22721，0.22721，0.22721，-0.22721，-0.22721，-0.22721，-0.22721，-0.22721，-0.22721，0.22721，0.22721，...)；则累加帐号本文档来自技高网...

【技术保护点】
一种信息处理方法，其特征在于，所述方法包括：确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；获取第一文章集合；根据所述特征集合从所述第一文章集合中确定第二文章集合；根据用户的标识信息获取用户的第三文章集合，所述第三文章集合为用户已阅读的文章集合；确定所述第三文章集合对应的第四文章集合，所述第四文章集合包括第二文章所组成的集合和所述第三文章集合，所述第二文章为所述第三文章集合中第一文章的相似文章；确定所述第四文章集合与所述第二文章集合之间的交集；将所述第二文章集合中除所述交集外的文章确定为第五文章集合；将所述第五文章集合输出。

【技术特征摘要】
1.一种信息处理方法，其特征在于，所述方法包括：确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；获取第一文章集合；根据所述特征集合从所述第一文章集合中确定第二文章集合；根据用户的标识信息获取用户的第三文章集合，所述第三文章集合为用户已阅读的文章集合；确定所述第三文章集合对应的第四文章集合，所述第四文章集合包括第二文章所组成的集合和所述第三文章集合，所述第二文章为所述第三文章集合中第一文章的相似文章；确定所述第四文章集合与所述第二文章集合之间的交集；将所述第二文章集合中除所述交集外的文章确定为第五文章集合；将所述第五文章集合输出。2.根据权利要求1所述的方法，其特征在于，所述将所述第五文章集合输出，包括：将所述第五文章集合作为推荐文章发送给终端；所述第五文章集合中至少包括文章的标题和网址信息。3.根据权利要求1所述的方法，其特征在于，所述确定特征集合，包括：获取第一文章的标识信息，所述第一文章为用户已阅读的文章；根据所述第一文章的标识信息获取第一文章的内容或第一文章的标题或第一文章的关键词；根据所述第一文章的内容或第一文章的标题或第一文章的关键词确定特征集合。4.根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述第三文章集合对应的第四文章集合，包括：获取所述第三文章集合中第一文章的标识信息；根据所述第一文章的标识信息从预设的关联信息中获取第二文章的标识信息；所述关联信息用于表明所述第一文章的标识信息与所述第二文章的标识信息之间的对应关系；根据所述第二文章的标识信息形成第四文章集合。5.根据权利要求4所述的方法，其特征在于，所述确定所述第三文章集合对应的第四文章集合，还包括：判断所述第一文章的标识信息是否在所述关联信息中；如果所述第一文章的标识信息在所述关联信息中，则根据所述第一文章的标识信息从预设的关联信息中获取第二文章的标识信息；如果所述第一文章的标识信息不在所述关联信息中，则从文章库中确定第三文章；确定所述第一文章与所述第三文章之间的相似度；如果所述第三文章满足预设的第一条件，则将所述第三文章作为所述第一文章的相似文章输出到所述第四文章集合中。6.根据权利要求5所述的方法，其特征在于，所述从文章库中确定第三文章，包括：根据所述第一文章的标识信息获取所述第一文章的标签信息；将所述文章库与所述第一文章的标签信息相同的文章作为第六文章集合；将所述第六文章集合中的任意一篇文章作为所述第三文章。7.根据权利要求5或6所述的方法，其特征在于，所述关联信息采用如下的方式形成：对所述第一文章进行分词处理，得到第一文章的分词；按照评分(Score)＝词频(TF)×逆文档频率(IDF)计算所述第一文章的分词的权重，其中所述词频采用表示，所述逆文档频率表示；获取与所述第一文章的分词相同的文章列表；根据所述权重计算所述文章列表中每一篇文章与所述第一文章之间的相似度；将满足所述条件的相似度对应的文章作为第二文章；根据所述第二文章的标识信息与所述第一文章的标识信息建立所述关联信息。8.一种信息处理装置，其特征在于，所述装置包括第一确定单元、第一获取单元、第二确定单元、第二获取单元、第三确定单元、第四确定单元、第五确定单元和输出单元，其中：所述第一确定单元，用于确定特征集合，所述特征集合中至少包括一个及一个以上的特征，所述特征用于描述用户的阅读的文章兴趣；所述第一获取单元，用于获取第一文章集合；所述第二确定单元，用于根据所述特征集合从所述第一文章集合中确定第二文章集合；所述第二获取单元，用于根据用户的标识信息获取用户的第三文章集合，所述第三文章集合...

【专利技术属性】
技术研发人员：吴一飞，李兴飞，郭卫敏，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：北京,11