一种数据采集方法、装置及电子设备制造方法及图纸

本申请公开了一种数据采集方法、装置及电子设备，该方法包括：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

【技术实现步骤摘要】
一种数据采集方法、装置及电子设备
本申请涉及计算机
，尤其涉及一种数据采集方法、装置及电子设备。
技术介绍
目前，为便于数据需求方的数据采集，开发人员会基于数据需求方的数据采集需求制定一套定制化的数据采集流程。在上述场景中，每当数据需求方提出一种数据采集需求时，都需要开发人员重新制定一套数据采集流程。显然，现有技术每次在为数据需求方的数据采集需求制定数据采集流程时，都需要耗费人力资源去开发。
技术实现思路
本申请实施例提供了一种数据采集方法、装置及电子设备，以解决现有技术中的数据数据采集方法需要耗费大量的人力资源的问题。为解决上述技术问题，本申请实施例是这样实现的：第一方面，提出了一种数据采集方法，包括：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。第二方面，提出了一种数据采集装置，包括：获取单元，从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；执行单元，按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。第三方面，提出了一种电子设备，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。本申请实施例采用上述技术方案至少可以达到下述技术效果：由于能够首先从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程，该目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务，然后按照至少一个子步骤的执行顺序，依次并行执行目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。这样当获取到数据需求方提出的目标数据采集需求之后，便可以将该数据采集需求与预设的数据采集配置策略相匹配，获取与该数据采集需求相匹配的数据采集流程，并能够基于该数据采集流程中包含的子步骤以及子步骤包含的子任务，依次并行处理各个子步骤中的子任务，使得整个数据采集过程不需要开发人员花费精力参与，同时并行处理子步骤中的多个子任务也提高了数据采集效率。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本说明书一个实施例提供的一种数据采集方法的实现流程示意图；图2为本说明书一个实施例提供的数据采集方法应用在一种实际场景中的实现流程示意图；图3为本说明书一个实施例提供的一种数据采集装置的结构示意图；图4为本说明书一个实施例提供的一种电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。以下结合附图，详细说明本申请各实施例提供的技术方案。为解决现有技术中的数据数据采集方法需要耗费大量的人力资源的问题，本说明书实施例提供一种数据采集方法。本说明书实施例提供的数据采集方法的执行主体可以但不限于服务器等能够被配置为执行本专利技术实施例提供的该方法装置中的至少一种。为便于描述，下文以该方法的执行主体为能够执行该方法的服务器为例，对该方法的实施方式进行介绍。可以理解，该方法的执行主体为服务器只是一种示例性的说明，并不应理解为对该方法的限定。具体地，本说明书一个或多个实施例提供的一种低碳消费行为的识别方法的实现流程示意图如图1所示，包括：步骤110，从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程；其中，目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务。现有技术中，当用户某两次或几次的数据采集需求存在一些关联性时，比如第一次的数据采集需求为法人A名下所有公司(比如包括公司a、公司b和公司c)的税务信息，第二次的数据采集需求则是法人A名下所有公司的高管信息，那么现有技术对于第一次的数据采集需求和第二次的数据采集需求则要开发人员分别制定各自的数据采集流程。显然，在制定两次数据采集流程中，都要先获取法人A名下有哪些公司(公司a、公司b和公司c)，再获取公司a、公司b和公司c的税务信息，以及公司a、公司b和公司c的高管信息。若分别制定两个数据采集流程，显然第一步，获取法人A名下有哪些公司(公司a、公司b和公司c)是重复的，那么就会存在一些资源的浪费，且数据采集的效率较低。可选地，为了解决这一问题，本说明书一个或多个实施例在从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程之后，还可以确定该目标数据采集流程与历史数据采集流程之间是否存在一些关联性，或者该目标数据是否已被采集过了。具体来说，首先，若目标数据采集流程与历史数据采集流程之间存在关联性，则可以基于关联性，简化目标数据采集流程；然后，基于简化后的目标数据采集流程，对目标数据进行采集，以完成目标数据的采集需求。可选地，若目标数据采集流程与历史数据采集流程之间存在关联性，则基于关联性，简化目标数据采集流程，具体若目标数据采集流程与历史数据采集流程之间存在关联性，则可以首先从历史数据采集流程中获取与目标数据采集流程存在关联性的子步骤和对应的子任务；然后，基于历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务本文档来自技高网...

【技术保护点】
1.一种数据采集方法，包括：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

【技术特征摘要】
1.一种数据采集方法，包括：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。2.如权利要求1所述的方法，对于所述目标数据采集流程中的每个子步骤，在并行执行所述子步骤包含的至少一个子任务之后，所述方法还包括：获取所述子步骤包含的至少一个子任务的执行结果；将所述子步骤包含的至少一个子任务的执行结果进行合并；若基于所述合并结果，确定完成所述子步骤的采集任务，则执行所述目标数据采集流程的下一个子步骤。3.如权利要求1所述的方法，在从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程之后，所述方法还包括：若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程；基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求。4.如权利要求3所述的方法，若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程，包括：若所述目标数据采集流程与历史数据采集流程之间存在关联性，则从所述历史数据采集流程中获取与所述目标数据采集流程存在关联性的子步骤和对应的子任务；基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务，简化所述目标数据采集流程。5.如权利要求4所述的方法，基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务，简化所述目标数据采集流程，包括：获取所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果；基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果，简化所述目标数据采集流程。6.如权利要求3所述的方法，在基于所述简化后的所述目标数据采集...

【专利技术属性】
技术研发人员：陈贤毅，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY