一种基于多模态特征的网页聚类方法及装置制造方法及图纸

本申请提供了一种基于多模态特征的网页聚类方法及装置，该方法利用网页截图、网页结构信息和文本信息等多模态特征，分层次对待聚类网页进行聚类，可以保证聚类的精度。可以保证聚类的精度。可以保证聚类的精度。

【技术实现步骤摘要】
一种基于多模态特征的网页聚类方法及装置


[0001]本申请涉及数据处理
，特别涉及一种基于多模态特征的网页聚类方法及装置。

技术介绍

[0002]随着科技的进步，社会的发展，互联网已成为人们日常生活中不可或缺的一部分。人们通过构建大量的网页，加快了信息流通的速度。
[0003]其中，通过聚类，将具有相似度的网页归并，有助于从网络世界提取有效信息。
[0004]但是，如何对网页进行聚类成为问题。

技术实现思路

[0005]本申请提供如下技术方案：
[0006]本申请一方面提供一种基于多模态特征的网页聚类方法，包括：
[0007]获取每个待聚类网页的网页截图；
[0008]从所述网页截图中提取图片特征值，基于所述图片特征值对各个所述待聚类网页进行聚类，得到多个第一簇；
[0009]确定所述第一簇中的中心点网页，获取所述中心点网页的网页结构信息；
[0010]确定每两个所述第一簇中的中心点网页的网页结构信息是否一致；
[0011]若一致，确定每两个所述第一簇中的中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征的网页聚类方法，其特征在于，包括：获取每个待聚类网页的网页截图；从所述网页截图中提取图片特征值，基于所述图片特征值对各个所述待聚类网页进行聚类，得到多个第一簇；确定所述第一簇中的中心点网页，获取所述中心点网页的网页结构信息；确定每两个所述第一簇中的中心点网页的网页结构信息是否一致；若一致，确定每两个所述第一簇中的中心点网页的图片特征值之间的差异是否大于设定阈值；若不大于，将每两个所述第一簇聚类为第二簇。2.根据权利要求1所述的方法，其特征在于，所述将每两个所述第一簇聚类为第二簇之后，还包括：确定每两个所述第二簇中的中心点网页之间的文本信息间距、网页结构信息间距和图片特征值间距；将每两个所述第二簇中的中心点网页之间的文本信息间距、网页结构信息间距和图片特征值间距输入机器学习模型，得到所述机器学习模型确定出的中心点网页第一归并概率；若所述中心点网页第一归并概率大于第一设定概率阈值，将每两个所述第二簇聚类为第三簇。3.根据权利要求2所述的方法，其特征在于，在将每两个所述第二簇聚类为第三簇之前，还包括：确定每两个所述第二簇中的中心点网页的图片特征值之间的差异是否大于所述设定阈值；若不大于，将每两个所述第二簇聚类为第三簇。4.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，若每两个所述第一簇中的中心点网页的网页结构信息不一致，或，若每两个所述第一簇中的中心点网页的图片特征值之间的差异大于所述设定阈值，所述方法还包括：确定每两个所述第一簇中的中心点网页之间的文本信息间距、网页结构信息间距和图片特征值间距；将每两个所述第一簇中的中心点网页之间的文本信息间距、网页结构信息间距和图片特征值间距输入机器学习模型，得到所述机器学习模型确定出的中心点网页第二归并概率；若所述中心点网页第二归并概率大于第二设定概率阈值，将每两个所述第一簇聚类为第三簇。5.根据权利要求1所述的方法，其特征在于，从所述网页截图中提取图片特征值，包括：确定所述网页截图的平均哈希值、差异哈希值和感知哈希值，将所述平均哈希值、所述差异哈希值和所述感知哈希值确定为图片特征值。6.一种基于多模态特征的网页聚类装置，其特征在于，包括：第一获取模块，...

【专利技术属性】
技术研发人员：张恒，史磊，张立坤，刘宇，
申请(专利权)人：中国互联网络信息中心，
类型：发明
国别省市：