一种页面聚类方法、装置、介质及设备制造方法及图纸

本发明专利技术公开了一种页面聚类方法、装置、介质及设备，包括获取待聚类的页面的页面属性集；根据所述页面属性集计算每个页面与其它页面的差异度，构建差异度图；获取聚类目标值N；根据所述差异度图和所述聚类目标值计算目标差异度；根据所述目标差异度对所述待聚类页面进行聚类，得到N个类，以使得位于相同类中的页面的差异度均不大于目标聚类差异度，而位于不同的类中的任意两个页面的差异度均大于所述目标聚类差异度。本发明专利技术可以快速精准的确定最适宜的目标差异度，并将目标差异度作为聚类基准，从而得到更为精准的聚类结果，为后续的数据分析奠定了基础。

A page clustering method, device, medium and device

【技术实现步骤摘要】
一种页面聚类方法、装置、介质及设备
本专利技术涉及数据处理领域，尤其涉及一种页面聚类方法、装置及介质。
技术介绍
大数据时代的数据分析的重要性日益凸显，如何从海量页面数据中通过数据聚类，数据信息提取快速准确地掌握数据中的信息，进而为用户提供更为人性化的服务是网页内容推送研究的重点内容之一。页面数据聚类作为网页数据信息提取的预处理步骤之一，对页面数据聚类的研究也从未止步。
技术实现思路
为了解决现有技术中存在的技术问题，本专利技术实施例提供一种页面聚类方法、装置、介质及设备。一种页面聚类方法，所述方法包括：获取待聚类的页面的页面属性集，所述页面属性集的元素对应一个页面的属性块，所述页面的属性块中包括多个页面子属性；根据所述页面属性集计算每个页面与其它页面的差异度；根据所述每个页面与其它页面的差异度构建差异度图，所述差异图中每个顶点表示一个页面，每个顶点和相关节点均有唯一连线，所述连线的权值即为所述顶点表示的页面与所述相关节点表示的页面之间的差异度，所述相关节点为与所述顶点相邻的其他顶点；获取聚类目标值N，所述聚类目标值表示将待聚类页面划分的类的数量；根据所述差异度图和所述聚类目标值计算目标差异度；根据所述目标差异度对所述待聚类页面进行聚类，得到N个类，以使得位于相同类中的页面的差异度均不大于目标聚类差异度，而位于不同的类中的任意两个页面的差异度均大于所述目标聚类差异度。优选的，每个页面的属性汇聚在属性块之中，并且各个页面均具备相同数量，相同内容的属性，只是属性值不同，但是属性值都经过了归一化处理，取值落在[0,1]之间。优选的，任意两个页面A,B的差异度可以被标识为每个页面有n个属性，Ai,Bi分别标识A,B页面的第i个属性。优选的，所述根据所述差异度图和所述聚类目标值计算目标差异度，包括：根据所述差异度图获取第一顶点集合和第一连线集合；初始化第二顶点集合和第二连线集合，所述第二顶点集合中有且仅有一个元素，所述第二连线集合为空；构建第一属性集，所述第一属性集中的元素用于记录各个顶点的第一属性，所述第一属性表征所述顶点处于第一顶点集合与所述第二顶点集合的差集中时，与第二顶点集合中的各个相关元素所构成的连线的最小权值，所述相关元素对应的顶点为所述差异度图与所述顶点相邻的顶点；构建第二属性集，所述第二属性集中的元素用于记录各个顶点的第二属性，所述第二属性表征当所述顶点处于第一顶点集合与所述第二顶点集合的差集中时，与第二顶点集合中的各个相关元素所钩成的具有最小权值的连线的中有别于所述顶点的另一个顶点，所述相关元素对应的顶点为所述差异度图与所述顶点相邻的顶点；执行预设操作，更新第二顶点集合、第二连线集合、第一属性集和第二属性集直至达到预设要求。优选的，所述执行预设操作，更新第二顶点集合、第二连线集合、第一属性集和第二属性集直至达到预设要求，包括：执行下述操作，直至第二顶点集合与第一顶点集合具备相同的元素数：在所述第一连线集合中选取权值最小的目标连线，所述目标连线的第一顶点位于第二顶点集合，所述目标连线的第二顶点位于第一顶点集合与所述第二顶点集合的差集；将所述目标连线中位于第一顶点集合与所述第二顶点集合的差集的顶点加入所述第二顶点集合，将所述目标连线加入所述第二连线集合；更新所述第一属性集和所述第二属性集。一种页面聚类装置，所述装置包括：页面属性集获取模块，用于获取待聚类的页面的页面属性集，所述页面属性集的元素对应一个页面的属性块，所述页面的属性块中包括多个页面子属性；差异度计算模块，用于根据所述页面属性集计算每个页面与其它页面的差异度；差异度图构建模块，用于根据所述每个页面与其它页面的差异度构建差异度图，所述差异图中每个顶点表示一个页面，每个顶点和相关节点均有唯一连线，所述连线的权值即为所述顶点表示的页面与所述相关节点表示的页面之间的差异度，所述相关节点为与所述顶点相邻的其他顶点；聚类目标获取模块，用于获取聚类目标值N，所述聚类目标值表示将待聚类页面划分的类的数量；目标差异度计算模块，用于根据所述差异度图和所述聚类目标值计算目标差异度；聚类执行模块，用于根据所述目标差异度对所述待聚类页面进行聚类，得到N个类，以使得位于相同类中的页面的差异度均不大于目标聚类差异度，而位于不同的类中的任意两个页面的差异度均大于所述目标聚类差异度。一种计算机存储介质，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现一种页面聚类方法。一种页面聚类设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行一种页面聚类方法。本专利技术提供了一种页面聚类方法、装置、介质及设备。本专利技术给定任意一个聚类目标值，可以快速精准的确定最适宜的目标差异度，并将目标差异度作为聚类基准，从而得到更为精准的聚类结果，为后续的数据分析奠定了基础。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术提供的一种页面聚类方法流程图；图2是本专利技术提供的根据所述差异度图和所述聚类目标值计算目标差异度流程图；图3是本专利技术提供的一种页面聚类装置框图；图4是本专利技术提供的一种用于实现本专利技术实施例所提供的方法的设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了使本专利技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发本文档来自技高网...

【技术保护点】
1.一种页面聚类方法，其特征在于，所述方法包括：/n获取待聚类的页面的页面属性集，所述页面属性集的元素对应一个页面的属性块，所述页面的属性块中包括多个页面子属性；/n根据所述页面属性集计算每个页面与其它页面的差异度；/n根据所述每个页面与其它页面的差异度构建差异度图，所述差异图中每个顶点表示一个页面，每个顶点和相关节点均有唯一连线，所述连线的权值即为所述顶点表示的页面与所述相关节点表示的页面之间的差异度，所述相关节点为与所述顶点相邻的其他顶点；/n获取聚类目标值N，所述聚类目标值表示将待聚类页面划分的类的数量；/n根据所述差异度图和所述聚类目标值计算目标差异度；/n根据所述目标差异度对所述待聚类页面进行聚类，得到N个类，以使得位于相同类中的页面的差异度均不大于目标聚类差异度，而位于不同的类中的任意两个页面的差异度均大于所述目标聚类差异度。/n

【技术特征摘要】
1.一种页面聚类方法，其特征在于，所述方法包括：
获取待聚类的页面的页面属性集，所述页面属性集的元素对应一个页面的属性块，所述页面的属性块中包括多个页面子属性；
根据所述页面属性集计算每个页面与其它页面的差异度；
根据所述每个页面与其它页面的差异度构建差异度图，所述差异图中每个顶点表示一个页面，每个顶点和相关节点均有唯一连线，所述连线的权值即为所述顶点表示的页面与所述相关节点表示的页面之间的差异度，所述相关节点为与所述顶点相邻的其他顶点；
获取聚类目标值N，所述聚类目标值表示将待聚类页面划分的类的数量；
根据所述差异度图和所述聚类目标值计算目标差异度；
根据所述目标差异度对所述待聚类页面进行聚类，得到N个类，以使得位于相同类中的页面的差异度均不大于目标聚类差异度，而位于不同的类中的任意两个页面的差异度均大于所述目标聚类差异度。


2.根据权利要求1所述的方法，其特征在于：
每个页面的属性汇聚在属性块之中，并且各个页面均具备相同数量，相同内容的属性，只是属性值不同，但是属性值都经过了归一化处理，取值落在[0,1]之间。


3.根据权利要求2所述的方法，其特征在于：
任意两个页面A,B的差异度可以被标识为每个页面有n个属性，Ai,Bi分别标识A,B页面的第i个属性。


4.根据权利要求2或3所述的方法，其特征在于，所述根据所述差异度图和所述聚类目标值计算目标差异度，包括：
根据所述差异度图获取第一顶点集合和第一连线集合；
初始化第二顶点集合和第二连线集合，所述第二顶点集合中有且仅有一个元素，所述第二连线集合为空；
构建第一属性集，所述第一属性集中的元素用于记录各个顶点的第一属性，所述第一属性表征所述顶点处于第一顶点集合与所述第二顶点集合的差集中时，与第二顶点集合中的各个相关元素所构成的连线的最小权值，所述相关元素对应的顶点为所述差异度图与所述顶点相邻的顶点；
构建第二属性集，所述第二属性集中的元素用于记录各个顶点的第二属性，所述第二属性表征当所述顶点处于第一顶点集合与所述第二顶点集合的差集中时，与第二顶点集合中的各个相关元素所钩成的具有最小权值的连线的中有别于所述顶点的另一个顶点，所述相关元素对应的顶点为所述差异度图与所述顶点相邻的顶点；
执行预设操作，更新第二顶点集合、第二连线集合、第一...

【专利技术属性】
技术研发人员：丁柳朋，
申请(专利权)人：杭州昕华信息科技有限公司，
类型：发明
国别省市：浙江;33