一种网站聚类方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种网站聚类方法、装置、设备及存储介质。该方法包括：获取待聚类网页包含的所有属性值；利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；基于所述低维稠密向量得到每个待聚类网站对应的网页向量；计算不同待聚类网页的网页向量之间的相似度，并根据所述相似度对所述待聚类网页进行聚类以得到不同类型的网页簇。基于所有属性值的相似度比较提高了聚类的准确性，并结合自然语言处理和聚类算法来寻找同类网站，可实现批量准确寻找相似网站，将相同模板网站进行快速归类，为侦查人员寻找已知黑灰产网站的同类网站提供更多线索。黑灰产网站的同类网站提供更多线索。黑灰产网站的同类网站提供更多线索。

【技术实现步骤摘要】
一种网站聚类方法、装置、设备及存储介质


[0001]本专利技术涉及计算机领域，特别涉及一种网站聚类方法、装置、设备及存储介质。

技术介绍

[0002]目前，随着互联网的普及，网络犯罪愈加频繁，借助网络衍生的黑灰产案件也层出不穷，在侦查打击方面，寻找黑灰产网站是常用的侦查手段。然而，应对变化多端的各类网站，侦查人员需要更加快速和准确地挖掘潜在黑灰产网站，降低群众受害风险。而黑灰产网站为了快速部署，一般采用模板发布，因此发现一个黑灰产网站后，可以通过寻找同个模板衍生的站点，从而发现更多潜在的黑灰产网站。因此，现有技术中通过人工提取规则寻找相似网站，但对于大数据量耗时费力，并且有些网页难以提取强规则。为克服上述技术问题，现有技术中还基于结构相似性进行网站聚类，但通过网页结构相似性寻找相似网站，对于有些DOM(Document Object Model，文档对象模型)结构简单的网页，误差较大，降低了网站聚类的准确性。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种网站聚类方法、装置、设备及介质，能够提高网站聚类的效率和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网站聚类方法，其特征在于，包括：获取待聚类网页包含的所有属性值；利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；基于所述低维稠密向量得到每个待聚类网站对应的网页向量；计算不同待聚类网页的网页向量之间的相似度，并根据所述相似度对所述待聚类网页进行聚类以得到不同类型的网页簇。2.根据权利要求1所述的网站聚类方法，其特征在于，所述获取待聚类网页包含的所有属性值，包括：获取待聚类网页的HTML源码数据；根据目标字符串利用正则表达式，从所述HTML源码数据中提取得到所述待聚类网页包含的所有属性值。3.根据权利要求1所述的网站聚类方法，其特征在于，所述基于所述低维稠密向量得到每个待聚类网站对应的网页向量，包括：对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，以得到相应的所述待聚类网页对应的网页向量。4.根据权利要求3所述的网站聚类方法，其特征在于，所述对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，包括：统计所述待聚类网页内每个所述属性值对应的词频，并根据所述词频确定相应的所述低维稠密向量对应的权重；根据所述低维稠密向量对应的权重，对所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算。5.根据权利要求1所述的网站聚类方法，其特征在于，所述计算不同待聚类网页的网页向量之间的相似度，包括：利用目标距离算法计算不同待聚类网页的网页向量之间的距离，以得...

【专利技术属性】
技术研发人员：陈兰兰，范渊，黄进，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：