一种并行的数据处理方法、装置和并行的数据处理系统制造方法及图纸

本申请实施例公开了一种并行的数据处理方法、装置和一种并行的数据处理系统。其中，所述方法包括：主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；主设备输出被合并任务的执行结果。根据本申请实施例，可以支持系统在资源不足或者资源浪费的情况下快速调整集群规模。

【技术实现步骤摘要】

本申请涉及通信和计算机
，特别是涉及一种并行的数据处理方法、装置和并行的数据处理系统。
技术介绍
随着《吐2.0技术的发展，互联网应用或者互联网平台中的业务数据，如用户行为数据和平台系统数据，都呈现出海量增长的趋势。为了适应对海量业务数据进行数据处理的应用需求，如，在互联网网站平台中，需要对用户行为数据和平台系统数据进行分析和计算，一种分布式的并行数据处理技术应运而生，其利用多个计算机相互协作工作，共同完成对海量数据的处理。当前，在大型的互联网网站平台中，应用最为广泛的一种分布式并行计算框架是 Hadoop系统框架。请参阅图1，其为现有技术中Hadoop系统框架的结构示意图。如图1所示，系统中包括一台主设备(Master)和一个从设备(Slave)集群，其中，每台从设备都具有逻辑功能上的数据节点(DataNode)和子任务追踪器(TaskTracker)。DataNode负责存储业务数据，TaskTracker负责执行主设备推送的任务，S卩，对DataNode中存储的业务数据进行处理，并将任务的执行结果进行局部合并。主设备从逻辑功能来看，包括名字节点 (NameNode)和任本文档来自技高网...

【技术保护点】
１．一种并行的数据处理方法，其特征在于，包括：主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并且，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；主设备输出被合并任务的执行结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：樊航成，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：KY