【技术实现步骤摘要】
本专利技术涉及计算机，特别是涉及数据采集方法及系统。
技术介绍
1、随着大数据时代迅猛发展，各种媒体网站渠道不断涌现，大数据采集需要对各种媒体网站渠道中的数据进行采集。
2、通常情况下，在模拟调用浏览器对不同媒体网站渠道进行统一采集时，需要在浏览器中分别模拟打开对应的媒体网站页面进行数据采集。但是，由于发起调用方均无法得知浏览器中打开了多少标签页，以及哪些标签页正在被其他任务占用，从而可能会存在浏览器打开了数量较多的页面，导致浏览器出现异常关闭，或者浏览器打开的页面数量较少，难以高效的进行数据采集，或者会导致多个采集任务可能使用同一个标签页进行任务的采集，从而导致不同的采集任务采集的数据出现混乱。
3、可见，现有技术难以在保证对浏览器网站页面进行高效的数据采集的同时，使不同的采集任务采集的数据不出现混乱。
技术实现思路
1、本专利技术提供一种数据采集方法及系统，用以解决难以在保证对浏览器网站页面进行高效的数据采集的同时，使不同的采集任务采集的数据不出现混乱的问题，实...
【技术保护点】
1.一种数据采集方法，其特征在于，所述方法包括：
2.如权利要求1所述的数据采集方法，其特征在于，所述方法还包括：
3.如权利要求1所述的数据采集方法，其特征在于，所述方法还包括：
4.如权利要求3所述的数据采集方法，其特征在于，所述检测并更新所述页面资源池中各个页面的占用情况，包括：
5.如权利要求1至4任一项所述的数据采集方法，其特征在于，所述基于页面资源池，分别为所述多个数据采集任务中的各个采集任务分别分配空闲的采集页面，包括：
6.如权利要求5所述的数据采集方法，其特征在于，在所述对于未分配到空闲页面...
【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法包括：
2.如权利要求1所述的数据采集方法，其特征在于，所述方法还包括：
3.如权利要求1所述的数据采集方法，其特征在于，所述方法还包括：
4.如权利要求3所述的数据采集方法，其特征在于，所述检测并更新所述页面资源池中各个页面的占用情况，包括：
5.如权利要求1至4任一项所述的数据采集方法，其特征在于，所述基于页面资源池，分别为所述多个数据采集任务中的各个采集任务分别分配空闲的采集页面，包括：
6.如权利要求5所述的数据采集方法，其特征在于，在所述对于未分配到空闲页面的采集任务，返回无资源之后，所述方法还包括：
7....
【专利技术属性】
技术研发人员：李新亮，华东阳，
申请(专利权)人：北京易标智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。