一种网站相似度检测方法技术

本发明专利技术提供了一种网站相似度检测方法，通过服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。对判定出的相同内容网站进行辨别，确认出是否为钓鱼网站。本发明专利技术公开的网站相似度检测方法，在现有技术的基础上，增加了网站信息智能爬取和爬取信息的相似度匹配的步骤，提高了钓鱼网站的快速识别。

【技术实现步骤摘要】
一种网站相似度检测方法
本专利技术信息安全检测
，尤其涉及一种网站相似度检测方法。
技术介绍
现有技术中，常常会出现与正规网站相同页面内容的钓鱼网站，而这些网站仿冒正规网站的域名(URL)地址以及页面内容，或者利用真实网站服务器程序上的漏洞在站点的某些网页中插入危险的Javascript代码，以此来骗取用户银行或信用卡账号、密码等私人资料，使用户受到经济上的损失。目前钓鱼网站的检测识别成为Web安全领域重要研究内容。判断一个网站是否是钓鱼网站，一个重要的途径是验证该网站是否跟某个真实网站在视觉效果或内容上具有相似性。但是如果若通过人工进行鉴别，则效率低，无法基于海量网站中快速查找出钓鱼网站。因此，现有技术有待于进一步的改进。
技术实现思路
鉴于上述现有技术中的不足之处，本专利技术的目的在于为用户提供一种网站相似度检测方法，克服现有技术中基于人工进行钓鱼网站的查找和识别的缺陷。本专利技术公开了一种网站相似度检测方法，其中，所述方法包括：服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。可选的，将第一文本中各个网页所含文本块与第二文本中各个网页所含文本块之间相似度的权值作为所述第一文本与第二文本之间的相似度。可选的，服务器计算第一文本中各个文本块与第二文本中相对应文本块之间的相似度的权值步骤包括:所述服务器对所述第一文本中的文本块进行拆解得到若干候选句子；所述服务器确定各候选句子的重要性分数；所述服务器提取重要性分数大于预设值的目标句子作为所述第一文本的关键信息；所述服务器将所述第一文本的关键信息与各个第二文本中相对应文本块的关键信息进行对比得出各个文本块之间相似度；将各个文本块之间的相似度进行加权得到文本块之间相似度的权值。可选的，所述服务器对所述第一文本进行拆解得到若干候选句子的步骤中，对第一文本中的文本块进行拆分的方法为：按照标点符号进行拆解；其中，所述标点符号为分号、逗号、句号时，进行拆解，当标点符号为顿号、冒号、引号时，不进行拆解。可选的，所述服务器确定各候选句子的重要性分数的步骤包括：判断所述候选句子中是否包含中文句子和/或网页链接地址；若仅仅含有中文句子，则将中文句子中各词组的权值之和作为所述候选句子的重要性分数；若仅仅含有网页链接地址，则将所述网页链接地址对应网页中所含页面元素的权值之和作为所述候选句子的重要性分数；若同时含有中文句子和网页链接地址，则将中文句子中各词组的权值之和和网页链接地址所对应网页中所含页面元素的权值之和的加权平均值作为所述候选句子的重要性分数。可选的，所述将中文句子中各词组的权值之和作为所述候选句子的重要性分数的步骤包括：按照语义分析的方式再将每个候选句子拆分为若干个词组；进行全文检索，计算各词组出现的次数；按照出现次数由高到低的顺序对各词组进行排序，每个词组按照出现次数赋予相应的权值，出现次数越高，权值越高；根据各词组的权值，计算各候选句子的重要性分数，该重要性分数即为该候选句子中各词组的权值之和。可选的，所述将所述网页链接地址对应网页中所含页面元素的权值之和作为所述候选句子的重要性分数步骤包括：服务器后台开启该网页链接地址对应的目标网页；服务器根据该目标网页中所含页面元素确定所述目标网页的重要性分数。可选的，所述服务器根据该目标网页中所含页面元素确定所述目标网页的重要性分数的步骤包括：使用下面的公式确定目标网页的重要性分数；其中，S(Vi)是目标网页的重要性分数，d是阻尼系数，一般设置为0.85，In(Vi)是存在指向目标网页的链接的网页集合。out(Vj)是网页j中的链接存在的链接指向的网页集合，out(Vj)取绝对值是用以表示该网页集合中元素的个数，S(Vj)是网页j的重要性分数。可选的，所述服务器将所述第一文本的关键信息与第二文本的关键信息进行相似度对比的步骤包括：计算第一文本的关键信息中的第一句子与第二文本的关键信息中的第二句子的余弦相似度；若余弦相似度高于预设值，则确定第一文本与第二文本近似。可选的，所述余弦相似度的计算方法为：将第一句子拆分为若干个词组；将第二句子拆分为若干个词组；将两组词组进行逐一对比，若存在，则记录为1，若不存在，则记录为0，得到第一序列和第二序列；计算第一序列和第二序列之间的余弦相似度，并作为第一句子和第二句子之间的余弦相似度。有益效果，本专利技术提供了一种网站相似度检测方法，通过服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。对判定出的相同内容网站进行辨别，确认出是否为钓鱼网站。本专利技术公开的网站相似度检测方法，在现有技术的基础上，增加了网站信息智能爬取和爬取信息的相似度匹配的步骤，提高了钓鱼网站的快速识别。附图说明图1为本专利技术所公开的一种网站相似度检测方法的具体实施例步骤流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术公开了一种网站相似度检测方法，如图1所示，所述方法包括：步骤S101、服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本。针对可能会被信息抄袭，导致用户信息丢失的网站，本步骤中通过输入网站网址信息的方式，向服务器发出检测互联网内是否存在与该网址所对应网站内容相雷同的网站，因此到服务器接收到检测申请后，首先根据用户输入的网站网址获取该网站各个页面的文本信息，并将获取到的文本信息整合为第一文本。步骤S102、所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本。、根据上述步骤中获取的第一文本，设置爬取任务配置文件，该任务配置文件中含有爬取与第一文本相似内容的任务，则服务器根据所述配置文件，获取与第一文本内容相似的网站中含有的页面信息，并将页面信息整合为第二文本。步骤S103、所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度。服务器计算第一文本与第二文本之间的相似度，根据相似度的结果判断内容是否相同，具体的，在本步骤中将第一文本中各个网页所含文本块与第二文本中各个网页所含文本块之间相似度的权值作为所述第一文本与第二文本之间的相似度。步骤S104、若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。若第一文本中所含的文本块内容与第二文本中所含文本块的内容相同，则判断为内容相同的网本文档来自技高网...

【技术保护点】
1.一种网站相似度检测方法，其特征在于，所述方法包括：服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。

【技术特征摘要】
1.一种网站相似度检测方法，其特征在于，所述方法包括：服务器提取待检测网站中各个页面的文本信息，并将各个页面的文本信息整合为第一文本；所述服务器根据爬取任务配置文件开启网络URL信息爬取，获取各个网站所含文本信息，并将爬取的文本信息整合为第二文本；所述服务器计算第一文本与各个网站所对应的第二文本所含文本信息之间的相似度；若相似度超出预设阈值，则判定待检测网站与爬取到的文字信息相对应网站内容重复。2.根据权利要求1所述的网站相似度检测方法，其特征在于，将第一文本中各个网页所含文本块与第二文本中各个网页所含文本块之间相似度的权值作为所述第一文本与第二文本之间的相似度。3.根据权利要求2所述的网站相似度检测方法，其特征在于，服务器计算第一文本中各个文本块与第二文本中相对应文本块之间的相似度的权值步骤包括:所述服务器对所述第一文本中的文本块进行拆解得到若干候选句子；所述服务器确定各候选句子的重要性分数；所述服务器提取重要性分数大于预设值的目标句子作为所述第一文本的关键信息；所述服务器将所述第一文本的关键信息与各个第二文本中相对应文本块的关键信息进行对比得出各个文本块之间相似度；将各个文本块之间的相似度进行加权得到文本块之间相似度的权值。4.根据权利要求3所述的网站相似度检测方法，其特征在于，所述服务器对所述第一文本进行拆解得到若干候选句子的步骤中，对第一文本中的文本块进行拆分的方法为：按照标点符号进行拆解；其中，所述标点符号为分号、逗号、句号时，进行拆解，当标点符号为顿号、冒号、引号时，不进行拆解。5.根据权利要求4所述的网站相似度检测方法，其特征在于，所述服务器确定各候选句子的重要性分数的步骤包括：判断所述候选句子中是否包含中文句子和/或网页链接地址；若仅仅含有中文句子，则将中文句子中各词组的权值之和作为所述候选句子的重要性分数；若仅仅含有网页链接地址，则将所述网页链接地址对应网页中所含页面元素的权值之和作为所述候选句子的重要性分数；若同时含有中文句子和网页链接地址，则将中文句子中各词组的权值之和和网页链接地址所对应网页中所含页...

【专利技术属性】
技术研发人员：向湘杰，
申请(专利权)人：东莞市华睿电子科技有限公司，
类型：发明
国别省市：广东,44