数据采集方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术公开了一种数据采集方法、装置、服务器及存储介质，该方法包括获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；从预先配置的URL模板库中确定与所述任务类型和数据类型相匹配的当前URL，其中，所述URL模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的URL；按照所述当前URL执行所述当前的数据采集任务。以实现对多种数据类型进行采集、跟踪和管理。

Data Acquisition Method, Device, Server and Storage Media

The invention discloses a data acquisition method, device, server and storage medium, which includes acquiring the current data acquisition task, in which the data acquisition task includes at least the task type and the data type to be collected; the current URL matching the task type and the data type is determined from the pre-configured URL template library, in which the URL model is used. The board library is equipped with URLs corresponding to different types of data in the process of data acquisition, and the current data acquisition tasks are executed according to the current URLs. In order to realize the collection, tracking and management of various data types.

【技术实现步骤摘要】
数据采集方法、装置、服务器及存储介质
本专利技术实施例涉及数据采集
，尤其涉及一种数据采集方法、装置、服务器及存储介质。
技术介绍
随着大数据时代的来临，对数据采集方法的多样性、可监控性有了更高的要求。传统数据采集方法，多数针对一种服务器平台获取数据，仅支持某一种类型的数据源的采集，这使得数据采集方法的应用受到限制。并且传统数据采集方法多数从数据源中获取数据并直接存储到目标路径下，这使得数据采集的中间过程难以跟踪和管理。
技术实现思路
本专利技术提供一种数据采集方法、装置、服务器及存储介质，以实现对多种数据类型进行采集、跟踪和管理。第一方面，本专利技术实施例提供了一种数据采集方法，该方法包括：获取当前的数据采集任务，其中，数据采集任务中至少包括任务类型和待采集数据的数据类型；从预先配置的URL模板库中确定与任务类型和数据类型相匹配的当前URL，其中，URL模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的URL；按照当前URL执行所述当前的数据采集任务。第二方面，本专利技术实施例还提供了一种数据采集装置，该装置包括：任务获取模块，用于获取当前的数据采集任务，其中，数本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，包括：获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；从预先配置的URL模板库中确定与所述任务类型和数据类型相匹配的当前URL，其中，所述URL模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的URL；按照所述当前URL执行所述当前的数据采集任务。

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；从预先配置的URL模板库中确定与所述任务类型和数据类型相匹配的当前URL，其中，所述URL模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的URL；按照所述当前URL执行所述当前的数据采集任务。2.根据权利要求1所述的方法，其特征在于，所述任务类型包括抽取、搬迁和载入：相应的，所述URL模板库中存储的URL包括数据源URL、中间URL和目标URL；其中，所述数据源URL表示待抽取数据的数据源地址；所述目标URL表示待载入数据的目标地址；所述中间URL表示在数据存储在所述目标地址之前待搬迁数据的存储地址。3.根据权利要求2所述的方法，其特征在于，所述URL模板中还包括临时URL，该临时URL表示在数据采集过程中的中间环节所需的临时存储地址。4.根据权利要求1-3中任一所述的方法，其特征在于，所述获取当前的数据采集任务，包括：通过轮询采集任务表获取当前的数据采集任务，其中，所述采集任务表用于记载不同任务类型的数据采集任务。5.根据权利要求4所述的方法，其特征在于，所述采集任务表中包括不同任务类型对应的立即处理任务和定时处理任务。6.根据权利要求1所述的方法，其特征在于，所述数据采集任务的执行过程是基于状态机技术实现。7.一种数据采集装置，其特征在于，包括：任务获取模块，用于获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；模板确定模块，用于从预先配置的URL模板库中确定与所述...

【专利技术属性】
技术研发人员：杨良志，白琳，汪志新，丁德平，张传明，
申请(专利权)人：彩讯科技股份有限公司，
类型：发明
国别省市：广东,44