一种基于非概率模型的垃圾网页降级方法技术

本发明专利技术公开一种基于非概率模型的垃圾网页降级方法，包括通过网络爬虫爬取网页并对其内容进行解析，获取网页URL列表；根据获得的URL列表计算得到节点邻接表；根据节点邻接表构建节点网络图；采用PageRank算法对节点网络图中节点排序，将排名靠前的网页依次分类标注为正常网页或垃圾网页；对已标注的网页赋予评分初始值和跳转概率初始值；采用迭代算法进行值传播，直到算法收敛，获得节点评分值；根据节点评分值对节点网络图中所有节点进行降序排序，得到页面的最终排序结果。本发明专利技术实现垃圾网页降级处理，尽最大可能提升正常网页在搜索引擎中的排名，同时降低垃圾网页的排名，有效提高了垃圾网页降级的处理精度和速度。

【技术实现步骤摘要】
一种基于非概率模型的垃圾网页降级方法
本专利技术属于网页信息
，特别是涉及一种基于非概率模型的垃圾网页降级方法。
技术介绍
垃圾网页指采用作弊手段来提高自身在搜索引擎搜索结果中排名的网页。垃圾网页的存在对普通搜索引擎用户和搜索引擎公司均带来了很大挑战。对普通用户而言，垃圾网页使得搜索结果中存在大量无用信息，增加了用户寻找有效信息的时间；对搜索引擎公司而言，垃圾网页需要额外的资源来对其进行存储、解析、索引，极大地浪费了存储资源和计算资源。现有垃圾网页降级处理方法需要建立庞大且复杂的概率计算模型，从而依靠概率计算模型对垃圾网页进行降级处理；这种方法会极大浪费网络资源，并且识别垃圾网页的效率极低，无法快速且精确地实现垃圾网页降级处理。现有垃圾网页降级算法通常采用孤立近似原则，即正常网页极少有链接至垃圾网页，忽略了网页链接之间的传播性，大大降低了垃圾网页降级的处理精度。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于非概率模型的垃圾网页降级方法，实现垃圾网页降级处理，尽最大可能提升正常网页在搜索引擎中的排名，同时降低垃圾网页的排名，有效提高了垃圾网页降级的处理精度和速度。为达到上述目的，本专利技术采用的技术方案是：一种基于非概率模型的垃圾网页降级方法，包括步骤：S100，通过网络爬虫爬取网页并对其内容进行解析，获取网页URL列表；S200，根据获得的URL列表计算得到节点邻接表；S300，根据节点邻接表构建节点网络图；S400，采用PageRank算法对节点网络图中节点进行排序，对排名靠前的网页依次分类标注，所述分类标注包括正常网页和垃圾网页；S500，对已标注的网页赋予评分初始值和跳转概率初始值；采用迭代算法进行值传播，直到算法收敛，获得节点评分值；S600，根据所述节点评分值对节点网络图中所有节点进行降序排序，得到页面的最终排序结果。进一步的是，将所获取网页的URL链接和其链出的URL链接以邻接表的形式存储在数据库中。进一步的是，根据邻接表构建的节点网络图结构为G＝(V,E)，G为有向无权图；其中，V为所有节点的集合，E为所有边的集合；如果节点vi存在，且存在由节点vi指向节点vj的链接，则有＜vi,vj＞∈E；对于任意节点vi，指向自己的链接不包含在E中，即进一步的是，在所述步骤S400中，对排名靠前的网页进行分类标注，包括步骤：从排名最高的节点开始，依次进行标注，直到标注的正常网页和垃圾网页数量均不少于100个；标注后的正常网页集合为Sn，垃圾网页集合为Ss。进一步的是，在所述步骤S500中，采用迭代算法进行值传播，直到算法收敛，获得节点评分值，包括步骤：对每一个节点vi，记G(vi)表示其正向排序值，B(vi)表示其逆向排序值，In(vi)表示vi的父节点集合，Out(vi)表示vi的子节点集合；采用迭代算法计算每个节点的G(vi)和B(vi)，计算公式为：其中，G(vi)和B(vi)的初始值由IG(vi)和IB(vi)计算；λ取值0.85；算法迭代次数为100次。进一步的是，根据所述节点评分值对节点网络图中所有节点进行降序排序时，节点vi的G(vi)和B(vi)用来作为节点是正常网页和垃圾网页的非归一化概率近似值；若G(vi)越大，则节点vi是正常网页的可能性越大；若B(vi)越大，则节点vi是垃圾网页的可能性越大。进一步的是，在所述传播过程中，源节点传播的值经过两次衰减，一次衰减使用源节点的信息，一次衰减使用目标节点的信息，计算过程为：节点vi的不衰减传播值为：节点vi为正常页面的概率为：节点vj为正常页面的概率为：若<vi,vj>∈E，则将p(vi)和p(vj)作为衰减因子得到节点vi传播给节点vj的值为：其中，|out(vi)|为节点vi的子节点数。采用本技术方案的有益效果：本专利技术使用网络节点间的链接结构来计算节点评分值，根据节点评分值对网页排序，通过评分值的传播指向特性，实现垃圾网页降级处理，尽最大可能提升正常网页在搜索引擎中的排名，同时降低垃圾网页的排名，有效提高了垃圾网页降级的处理精度和速度；本专利技术方法无需建立复杂且庞大的概率模型，节约了网络存储资源和计算资源，大大提高了垃圾网页降级的处理速度和精度。附图说明图1为本专利技术的一种基于非概率模型的垃圾网页降级方法流程示意图；图2为本专利技术实施例中节点网络图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术作进一步阐述。在本实施例中，参见图1所示，本专利技术提出了一种基于非概率模型的垃圾网页降级方法，包括步骤：S100，通过网络爬虫爬取网页并对其内容进行解析，获取网页URL列表；S200，根据获得的URL列表计算得到节点邻接表；S300，根据节点邻接表构建节点网络图；S400，采用PageRank算法对节点网络图中节点进行排序，对排名靠前的网页依次分类标注，所述分类标注包括正常网页和垃圾网页；S500，对已标注的网页赋予评分初始值和跳转概率初始值；采用迭代算法进行值传播，直到算法收敛，获得节点评分值；S600，根据所述节点评分值对节点网络图中所有节点进行降序排序，得到页面的最终排序结果。作为上述实施例的优化方案，将所获取网页的URL链接和其链出的URL链接以邻接表的形式存储在数据库中。作为上述实施例的优化方案，根据邻接表构建的节点网络图结构为G＝(V,E)，G为有向无权图；其中，V为所有节点的集合，E为所有边的集合；如果节点vi存在，且存在由节点vi指向节点vj的链接，则有＜vi,vj＞∈E；对于任意节点vi，指向自己的链接不包含在E中，即作为上述实施例的优化方案，在所述步骤S400中，对排名靠前的网页进行分类标注，包括步骤：从排名最高的节点开始，依次进行标注，直到标注的正常网页和垃圾网页数量均不少于100个；标注后的正常网页集合为Sn，垃圾网页集合为Ss。作为上述实施例的优化方案，在所述步骤S500中，采用迭代算法进行值传播，直到算法收敛，获得节点评分值，包括步骤：对每一个节点vi，记G(vi)表示其正向排序值，B(vi)表示其逆向排序值，In(vi)表示vi的父节点集合，Out(vi)表示vi的子节点集合；采用迭代算法计算每个节点的G(vi)和B(vi)，计算公式为：其中，G(vi)和B(vi)的初始值由IG(vi)和IB(vi)计算；λ取值0.85；算法迭代次数为100次。根据所述节点评分值对节点网络图中所有节点进行降序排序时，节点vi的G(vi)和B(vi)用来作为节点是正常网页和垃圾网页的非归一化概率近似值；若G(vi)越大，则节点vi是正常网页的可能性越大；若B(vi)越大，则节点vi是垃圾网页的可能性越大。在所述传播过程中，源节点传播的值经过两次衰减，一次衰减使用源节点的信息，一次衰减使用目标节点的信息，计算过程为：节点vi的不衰减传播值为：节点vi为正常页面的概率为：节点vj为正常页面的概率为：若<vi,vj>∈E，则将p(vi)和p(vj)作为衰减因子得到节点vi传播给节点vj的值为：其中，|out(vi)|为节点vi的子节点数。如图2中的节点网络图实例中：Out(v1)＝{v2,v3,v4}，|Out(v1)|＝3v1的不衰减传播值为：v1为正常页面的概率为：v2本文档来自技高网...

【技术保护点】
1.一种基于非概率模型的垃圾网页降级方法，其特征在于，包括步骤：S100，通过网络爬虫爬取网页并对其内容进行解析，获取网页URL列表；S200，根据获得的URL列表计算得到节点邻接表；S300，根据节点邻接表构建节点网络图；S400，采用PageRank算法对节点网络图中节点进行排序，对排名靠前的网页依次分类标注，所述分类标注包括正常网页和垃圾网页；S500，对已标注的网页赋予评分初始值和跳转概率初始值；采用迭代算法进行值传播，直到算法收敛，获得节点评分值；S600，根据所述节点评分值对节点网络图中所有节点进行降序排序，得到页面的最终排序结果。

【技术特征摘要】
1.一种基于非概率模型的垃圾网页降级方法，其特征在于，包括步骤：S100，通过网络爬虫爬取网页并对其内容进行解析，获取网页URL列表；S200，根据获得的URL列表计算得到节点邻接表；S300，根据节点邻接表构建节点网络图；S400，采用PageRank算法对节点网络图中节点进行排序，对排名靠前的网页依次分类标注，所述分类标注包括正常网页和垃圾网页；S500，对已标注的网页赋予评分初始值和跳转概率初始值；采用迭代算法进行值传播，直到算法收敛，获得节点评分值；S600，根据所述节点评分值对节点网络图中所有节点进行降序排序，得到页面的最终排序结果。2.根据权利要求1所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，将所获取网页的URL链接和其链出的URL链接以邻接表的形式存储在数据库中。3.根据权利要求2所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，所述节点网络图结构为G＝(V,E)，G为有向无权图；其中，V为所有节点的集合，E为所有边的集合；如果节点vi存在，且存在由节点vi指向节点vj的链接，则有＜vi,vj＞∈E；对于任意节点vi，指向自己的链接不包含在E中，即4.根据权利要求3所述的一种基于非概率模型的垃圾网页降级方法，其特征在于，在所述步骤S400中，对排名靠前的网页进行分类标注，包括步骤：从排名最高的节点开始，依次进行标注，直到标注的正常网页和垃圾网页数量均不少于100个；标注后的正常网页集合为S...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川,51