一种基于Petri Net的分布式行为模拟爬虫技术制造技术
A distributed behavior simulation crawler technology based on Petri Net
The present invention relates to the field of web crawler, especially the design of a distributed crawler technology and method of collaborative work by Petri Net. The invention provides a simulation behavior of Petri distributed crawler technology based on Net. This technology includes two aspects, one is to adopt the crawler technology based on Simulation of user behavior, on the other hand is the use of Petri Net to collaborative work between distributed crawler system.
【技术实现步骤摘要】
一种基于PetriNet的分布式行为模拟爬虫技术
本专利技术涉及网络爬虫领域，尤其设计一种基于行为模拟，通过PetriNet实现协同工作的分布式爬虫技术及其方法。
技术介绍
目前，随着大数据时代的到来，Web2.0技术的广泛应用，传统的网络爬虫面对以社交媒体为主的数据爬取存在适应性的问题，如数据的可获得性、数据的有效性等问题。如何协调分布式爬虫之间的工作也是爬虫系统面临的一个问题，特别是在有限资源下的系统协同工作。
技术实现思路
本专利技术提出一种基于PetriNet的分布式行为模拟爬虫技术。这一技术包括两方面内容，一方面是采用基于用户行为模拟的爬虫技术，另一方面是采用PetriNet来协同分布式爬虫系统之间的工作。基于用户行为模拟的爬虫技术一方面可以爬取到传统爬虫无法爬取的数据，另一方面还能提高爬取的数据质量，使得获取的数据准确性和有效性得到提高。通过模拟用户行为获得用户经常访问的数据。根据二八原理，在互联网中或一个网站里，用户往往只访问其中20%的数据，而剩下的80%的数据或页面对用户来说是没有用的或是不常访问的。同时基于用户行为模拟的爬虫系统能有效解决采用强反爬...
【技术保护点】
一种基于Petri Net的分布式行为模拟爬虫技术，其特征是：爬虫系统采用行为模拟方式爬取数据，通过Petri Net协调资源的分配，实现协同工作。
【技术特征摘要】
1.一种基于PetriNet的分布式行为模拟爬虫技术，其特征是：爬虫系统采用行为模拟方式爬取数据，通过PetriNet协调资源的分配，实现协同工作。2.根据权利要求1所述的爬虫技术，其特征是：分布式的爬虫系统。3.根据权利要求1所述的爬虫技术，其特征是：爬虫系统通过网络结构进行组织，采用PetriNet进行建模。4.根据权利要求1所述的爬虫技术，其特征是：爬虫系统通过PetriNet进行资源分配。5.根据权利要求1所述的爬虫技术，其特征是：爬虫系统通过PetriNet进行相互协作，通信。6....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。