本申请适用于数据采集技术领域，提供了一种数据采集方法、装置、电子设备及存储介质。该方法包括：根据采集任务的采集需求确定采集任务的驱动参数和排程参数，其中，驱动参数包括至少一个可调用采集驱动的参数，排程参数包括至少一个可调用采集排程的参数；启动采集任务后，根据驱动参数和排程参数采集目标数据。本申请方法，通过预先设置采集任务的驱动参数和排程参数，并根据设置好的驱动参数和排程参数执行采集任务，当新增定制采集需求时，不需改动框架代码，根据需求设置对应采集任务的参数后即可根据参数采集相应数据，灵活性和适应性高，可以用于满足多样化的定制需求，降低了开发和维护成本，提高了数据采集效率。提高了数据采集效率。提高了数据采集效率。
【技术实现步骤摘要】
数据采集方法、装置、电子设备及存储介质
[0001]本申请属于数据采集
，特别是涉及一种数据中台的数据采集方法、装置、电子设备及存储介质。
技术介绍
[0002]数字化时代，越来越多的企业为挖掘数据价值，选择搭建可整合分散数据、并进行统一治理的数据中台。其中，数据采集是数据中台实现数据治理的第一个环节。
[0003]现有数据中台一般使用开源的数据同步工具采集数据，此方法多适用于无定制需求的数据采集。若要采集特定数据，则需要改动代码、设计对应的数据同步工具，不仅步骤繁琐导致效率低下，而且随着定制需求的增多，开发成本和维护难度也会显著增加，并不适用于存在多种定制数据的采集场景。
[0004]因此，如何设计出一种满足多样化定制数据采集需求的数据采集方法成为目前亟待解决的问题。
技术实现思路
[0005]本申请的目的在于提供一种数据采集的方法、装置、电子设备及存储介质，能够满足多样化定制采集数据的需要。
[0006]第一方面，本申请实施例提供了一种数据采集方法，该方法包括：根据采集任务的采集需求确定采集任务的驱动参数和排程参数；驱动参数包括至少一个可调用采集驱动的参数，排程参数包括至少一个可调用采集排程的参数；启动采集任务后，根据驱动参数和排程参数采集目标数据。
[0007]在第一方面的一种可能的实现方式中，上述根据驱动参数和排程参数采集目标数据可以包括：根据驱动参数对应的配置参数，从至少一个可调用采集驱动中调用目标采集驱动；根据排程参数对应的配置参数，从至少一个可调用采集排程中调用目标采集排程；根据目标采集排程的采集时间和/或采集频率，利用目标采集驱动采集目标数据。
[0008]在第一方面的一种可能的实现方式中，在利用目标采集驱动采集目标数据时，该方法还包括：按照采集任务的采集路径参数所指示的数据采集路径，进行采集。
[0009]在第一方面的一种可能的实现方式中，按照采集任务的采集路径参数所指示的数据采集路径，进行采集，方法包括：按照采集任务的采集路径参数所指示的数据采集路径，利用目标采集驱动获取第一数据；当第一数据与目标数据格式一致时，将第一数据确定为目标数据；或者，当第一数据与目标数据格式不一致时，在目标采集驱动中对第一数据进行解析，得到目标数据。
[0010]在第一方面的一种可能的实现方式中，上述方法还包括：按照采集任务的存储路径参数所指示的存储位置和/或存储路径，对目标数据进行存储。
[0011]在第一方面的一种可能的实现方式中，上述方法还包括：当第一可调用采集驱动升级为第二可调用采集驱动时，将驱动参数中与第一可调用采集驱动对应的参数，修改为
与第二可调用采集驱动对应的参数。
[0012]在第一方面的一种可能的实现方式中，上述方法还包括：当第一可调用采集排程更换为第二可调用采集排程时，将排程参数中与第一可调用采集排程对应的参数，修改为与第二可调用采集排程对应的参数。
[0013]第二方面，本申请实施例提供了一种数据采集装置，该装置包括：配置模块，用于根据采集任务的采集需求确定采集任务的驱动参数和排程参数；驱动参数包括至少一个可调用采集驱动的参数，排程参数包括至少一个可调用采集排程的参数；采集模块，用于启动采集任务后，根据驱动参数和排程参数采集目标数据。
[0014]第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，处理器执行计算机程序时实现如上述第一方面或第二方面任意一种实现方式的方法。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面任意一种实现方式的方法。
[0016]本申请实施例与现有技术相比存在的有益效果是：
[0017]本申请提出的一种数据采集方法，通过预先设置采集任务的驱动参数和排程参数，并根据设置好的驱动参数和排程参数执行采集任务，实现采集任务、采集驱动和采集排程这三个独立资源的解耦，并利用参数设置的方式将它们关联起来。此方法，使得采集程序的框架代码具备可重用性，当新增定制采集需求时，不需改动框架代码，根据需求设置对应的采集任务的参数后即可根据参数采集相应数据，这使得本方案具有很高的灵活性和适应性，可以用于满足多样化的定制需求，降低了开发和维护成本，提高了数据采集效率。
附图说明
[0018]图1为本申请一实施例提供的数据采集方法的应用场景示意图。
[0019]图2为本申请一实施例提供的数据采集方法的流程示意图。
[0020]图3为本申请另一实施例提供的数据采集方法的流程示意图。
[0021]图4为本申请另一实施例提供的数据采集方法的流程示意图。
[0022]图5为本申请一实施例提供的数据采集装置的结构示意图。
[0023]图6为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
[0024]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0025]图1为本申请实施例提供的数据采集方法的使用场景示意图，包括：数据中台和数据源。
[0026]数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而可以为企业提供高效服务。
[0027]本申请实施例提供的数据采集方法适用于数据中台从数据源中采集数据的过程。
[0028]现有数据中台多采用开源的数据同步工具，将某一数据源的数据无差别地同步到数据中台，由此实现对数据的简单采集过程。当要实现定制采集时，例如只需采集某一类数据，则需要对数据同步工具的相关代码进行修改、以设计出适用于该定制需求的特定数据同步工具，不仅步骤繁琐，还会随着需求增加而开发出越来越多、适用于不同采集需求的工具，增大后期的维护难度和维护成本，并不能很好地满足便捷高效采集多样化定制数据的需要。
[0029]针对上述问题，本申请实施例利用采集驱动对数据进行定制采集，并根据设置好的驱动参数和排程参数执行采集任务，实现将采集任务、采集驱动和采集排程这三个独立资源解耦，并利用参数设置的方式将它们关联起来。当新增定制采集需求时，根据需求设置对应的采集任务的参数后即可根据参数采集相应数据，不需改动框架代码，可以用于满足多样化的定制需求，降低了开发和维护成本，提高了数据采集效率。
[0030]图2示出了本申请实施例提供的一种数据采集方法的实现流程图，图2包括以下步骤。
[0031]S201、根据采集任务的采集需求确定采集任务的驱动参数和排程参数。
[0032]采集任务是指采集特定数据的任务。
[0033]数据中台采集数据时，可以只采集特定的数据。这种采集不同于无差别的采集，是一种针对性的采集。具体地，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：根据采集任务的采集需求确定所述采集任务的驱动参数和排程参数；所述驱动参数包括至少一个可调用采集驱动的参数，所述排程参数包括至少一个可调用采集排程的参数；启动所述采集任务后，根据所述驱动参数和所述排程参数采集目标数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述驱动参数和所述排程参数采集目标数据，包括：根据所述驱动参数对应的配置参数，从所述至少一个可调用采集驱动中调用目标采集驱动；根据所述排程参数对应的配置参数，从所述至少一个可调用采集排程中调用目标采集排程；根据所述目标采集排程的采集时间和/或采集频率，利用所述目标采集驱动采集所述目标数据。3.根据权利要求2所述的方法，其特征在于，在利用所述目标采集驱动采集所述目标数据时，所述方法还包括：按照所述采集任务的采集路径参数所指示的数据采集路径，进行采集。4.根据权利要求3所述的方法，其特征在于，所述按照所述采集任务的采集路径参数所指示的数据采集路径，进行采集，包括：按照所述采集任务的采集路径参数所指示的数据采集路径，利用所述目标采集驱动获取第一数据；当所述第一数据与所述目标数据格式一致时，将所述第一数据确定为所述目标数据；或者，当所述第一数据与所述目标数据格式不一致时，在所述目标采集驱动中对所述第一数据进行解析，得到所述目标数据。5.根据权利要求1所述的方法，...
【专利技术属性】
技术研发人员：陈波，洪英杰，
申请(专利权)人：广东畅视科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。