网络爬虫识别方法技术

技术编号:9113458 阅读:116 留言:0更新日期:2013-09-05 02:38
提供一种网络爬虫识别方法。所述网络爬虫识别方法,包括以下步骤:确定入口网页上能够导向后端页面的连接;在每个确定的连接中创建新的无效连接;将创建的无效连接设置为隐蔽形式;当发出对隐蔽形式的无效连接的请求时,将所述请求识别为网络爬虫请求。所述网络爬虫识别方法可以准确地判断请求是否是网络爬虫发出,并且随着使用时间增加,识别效果会随着使用时间的积累而显著改善。

【技术实现步骤摘要】

【技术保护点】
一种网络爬虫识别方法,包括以下步骤:确定入口网页上能够导向后端页面的连接;在每个确定的连接中创建新的无效连接;将创建的无效连接设置为隐蔽形式;当发出对隐蔽形式的无效连接的请求时,将所述请求识别为网络爬虫请求。

【技术特征摘要】

【专利技术属性】
技术研发人员:张旭东
申请(专利权)人:百度在线网络技术北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1