分布式数据采集方法及装置制造方法及图纸

本发明专利技术实施例涉及数据处理技术领域，具体而言，涉及一种分布式数据采集方法及装置。该方法能够将用户输入的页面配置节点信息转换为动态目标信息，并采用运行器将动态目标信息转换为动态任务以使运行器能够通过任务等待的形式提交至分布式集群，然后采用分布式集群执行动态任务以获得对应的数据，如此，能够满足用户多样化的数据分析需求。

【技术实现步骤摘要】
分布式数据采集方法及装置
本专利技术实施例涉及数据处理
，具体而言，涉及一种分布式数据采集方法及装置。
技术介绍
随着大数据的快速发展，用户的数据分析需求越来越多样化。具体地，用户需要根据自身的业务、逻辑需求对数据进行分析和挖掘，这也要求后台对数据处理的能力能够与用户需求所匹配，但是现有技术难以满足用户多样化的数据分析需求。
技术实现思路
有鉴于此，本专利技术提供了一种分布式数据采集方法及装置。本专利技术实施例提供了一种分布式数据采集方法，应用于与客户端通信连接的服务端，所述方法包括：接收所述客户端发送的页面配置节点信息，将所述页面配置节点信息转换为动态目标信息；将所述动态目标信息传输至运行器，以使所述运行器将所述动态目标信息转换为动态任务，并使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群；使所述分布式集群执行所述动态任务以获得对应的数据，并使所述分布式集群将所述数据进行存储。可选地，将所述页面配置节点信息转换为动态目标信息的步骤，包括：将所述页面配置节点信息转换为动态sparkasm信息。可选地，将所述动态目标信息传输至运行器的步骤，包括：采用设定通信协议将所述动态sparkasm信息传输至运行器。可选地，使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群的步骤，包括：使所述运行器获取所述动态任务的预设优先级；使所述运行器将所述预设优先级转换为任务等待时长；使所述运行器根据所述任务等待时长将所述动态任务延时提交至spark分布式集群。可选地，所述分布式集群为spark分布式集群，使所述分布式集群将所述数据进行存储的步骤，包括：使所述spark分布式集群根据所述数据生成对应的列表，将所述列表存储至预设数据库。本专利技术实施例还提供了一种分布式数据采集装置，应用于与客户端通信连接的服务端，所述装置包括：信息转换模块，用于接收所述客户端发送的页面配置节点信息，将所述页面配置节点信息转换为动态目标信息；任务提交模块，用于将所述动态目标信息传输至运行器，以使所述运行器将所述动态目标信息转换为动态任务，并使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群；任务执行模块，用于使所述分布式集群执行所述动态任务以获得对应的数据，并使所述分布式集群将所述数据进行存储。可选地，所述信息转换模块通过以下方式将所述页面配置节点信息转换为动态目标信息：将所述页面配置节点信息转换为动态sparkasm信息。可选地，所述任务提交模块通过以下方式将所述动态目标信息传输至运行器：采用设定通信协议将所述动态sparkasm信息传输至运行器。可选地，所述任务提交模块通过以下方式使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群：使所述运行器获取所述动态任务的预设优先级；使所述运行器将所述预设优先级转换为任务等待时长；使所述运行器根据所述任务等待时长将所述动态任务延时提交至spark分布式集群。可选地，所述分布式集群为spark分布式集群，所述任务执行模块通过以下方式使所述分布式集群将所述数据进行存储：使所述spark分布式集群根据所述数据生成对应的列表，将所述列表存储至预设数据库。本专利技术实施例还提供了一种服务端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的分布式数据采集方法。本专利技术实施例还提供了一种计算机可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在服务端执行上述的分布式数据采集方法。有益效果本专利技术实施例所提供的一种分布式数据采集方法及装置，能够将用户输入的页面配置节点信息转换为动态目标信息，并采用运行器将动态目标信息转换为动态任务以使运行器能够通过任务等待的形式提交至分布式集群，然后采用分布式集群执行动态任务以获得对应的数据，用户输入的页面配置节点信息即为用户的数据分析需求，采用该方法无需根据用户每一次的需求进行代码的更改和编辑，保证了该方法能够针对多样化的用户需求进行相应的数据处理，进而满足用户多样化的数据分析需求。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例所提供的一种服务端10的方框示意图。图2为本专利技术实施例所提供的一种分布式数据采集方法的流程图。图3为一实施方式中图2所示的步骤S22包括的子步骤的示意图。图4为本专利技术实施例所提供的一种分布式数据采集装置20的模块框图。图标：10-服务端；11-存储器；12-处理器；13-网络模块；20-分布式数据采集装置；21-信息转换模块；22-任务提交模块；23-任务执行模块。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。专利技术人经调查发现，现有技术难以满足用户的数据分析需求，专利技术人通过深入研究发现，现有技术大多通过对代码进行重新编辑或修改的形式实现用户的不同需求，一方面增加了研发成本，另一方面降低了数据处理的灵活性，可能无法满足一些用户的特定数据分析需求。以上现有技术中的方案所存在的缺陷，均是专利技术人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本专利技术实施例针对上述问题所提出的解决方案，都应该是专利技术人在本专利技术过程中对本专利技术做出的贡献。基于上述研究，本专利技术实施例提供了一种分布式数据采集方法及装置，能够满足用户多样化的数据分析需求。图1示出了本专利技术实施例所提供的一种服务端10的方框示意图。本专利技术实施例中的服务端10具有数据存储、传输、处理功能，如图1所示，服务端10包括：存储器11、处理器12、网络模块13和分布式数据采集装置20。存储器11、处理器12和网络模块13之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有分布式数据采集装置20，所述分布式数据采集装置20包括至少一个可以软件或固件(firmware)的形式储存于所述存储器11中的软件功能模块，所述处理器12通过运行存储在存储器11内的软件程序以及模块，例如本专利技术实施例中的分布式数据采集装置20，从而执行各种功能应用以及数据处理，即实现本专利技术实施例中的分布式数据采集方法。其中，所述存储器11可以是，但不限于，随机存取存储器(RandomAccessMe本文档来自技高网...

【技术保护点】
1.一种分布式数据采集方法，其特征在于，应用于与客户端通信连接的服务端，所述方法包括：接收所述客户端发送的页面配置节点信息，将所述页面配置节点信息转换为动态目标信息；将所述动态目标信息传输至运行器，以使所述运行器将所述动态目标信息转换为动态任务，并使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群；使所述分布式集群执行所述动态任务以获得对应的数据，并使所述分布式集群将所述数据进行存储。

【技术特征摘要】
1.一种分布式数据采集方法，其特征在于，应用于与客户端通信连接的服务端，所述方法包括：接收所述客户端发送的页面配置节点信息，将所述页面配置节点信息转换为动态目标信息；将所述动态目标信息传输至运行器，以使所述运行器将所述动态目标信息转换为动态任务，并使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群；使所述分布式集群执行所述动态任务以获得对应的数据，并使所述分布式集群将所述数据进行存储。2.根据权利要求1所述的分布式数据采集方法，其特征在于，将所述页面配置节点信息转换为动态目标信息的步骤，包括：将所述页面配置节点信息转换为动态sparkasm信息。3.根据权利要求2所述的分布式数据采集方法，其特征在于，将所述动态目标信息传输至运行器的步骤，包括：采用设定通信协议将所述动态sparkasm信息传输至运行器。4.根据权利要求1所述的分布式数据采集方法，其特征在于，使所述运行器通过任务等待的形式将所述动态任务提交至分布式集群的步骤，包括：使所述运行器获取所述动态任务的预设优先级；使所述运行器将所述预设优先级转换为任务等待时长；使所述运行器根据所述任务等待时长将所述动态任务延时提交至spark分布式集群。5.根据权利要求1所述的分布式数据采集方法，其特征在于，所述分布式集群为spark分布式集群，使所述分布式集群将所述数据进行存储的步骤，包括：使所述spark分布式集群根据所述数据生成对应的列表，将所述列表存储至预设数据库。6.一种分布式数据采集装置，其特征在于，应用于与客户端通信连...

【专利技术属性】
技术研发人员：费滔，赖文文，王纯斌，赵神州，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51