【技术实现步骤摘要】
本专利技术涉及计算机
，尤其涉及一种分布式并行数据处理方法以及装置。
技术介绍
当前，随着计算机技术的发展，计算机等设备需要处理的数据的数量也越来越大。目前，可以通过多台计算机等设备进行数据量较大的数据的并行处理。一般情况下，在进行数据量较大的数据的快速处理时，需要应用到分布式并行数据处理系统。分布式并行数据处理系统是一种将不同地点的、具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，通过统一管理控制下，协调地完成信息处理任务的计算机系统。相关技术中，分布式并行数据处理系统一般是对接收到的待处理数据，并将该待处理数据切割成与分布式节点的个数相同的数据片，并控制各个分布式节点对对应的数据片进行一对一的处理，即每一个分布式节点启动多线程对对应的数据片进行并发同步。但是，目前存在的问题是，上述分布式并行数据处理系统对待处理数据切割所得到的数据片较大，很难保证各个分布式节点能在相近的时间内完成，从而加大整体处理时间，导致系统运行时间超长；同时，为了提升单机处理性能，采用多读线程多写线程进行数据处理，中间数据存放在缓存中，一旦读写线程数量较多，就会出现部分...
【技术保护点】
一种分布式并行数据处理方法，其特征在于，包括以下步骤：接收待处理数据，并将所述待处理数据切割为多个切片索引；将所述多个切片索引存储至多个缓存池中；针对每个缓存池，为所述每个缓存池分配至少两个分布式节点；控制所述至少两个分布式节点依次从对应的缓存池中读取切片索引，并对所述读取到的切片索引执行处理。
【技术特征摘要】
1.一种分布式并行数据处理方法，其特征在于，包括以下步骤：接收待处理数据，并将所述待处理数据切割为多个切片索引；将所述多个切片索引存储至多个缓存池中；针对每个缓存池，为所述每个缓存池分配至少两个分布式节点；控制所述至少两个分布式节点依次从对应的缓存池中读取切片索引，并对所述读取到的切片索引执行处理。2.如权利要求1所述的分布式并行数据处理方法，其特征在于，所述将所述待处理数据切割为多个切片索引，包括：获取每个分布式节点中每个CPU的处理能力；确定所述每个切片索引的目标处理时间；根据所述每个CPU的处理能力以及所述每个切片索引的目标处理时间确定所述每个切片索引的大小；根据所述每个切片索引的大小将所述待处理数据切割为所述多个切片索引。3.如权利要求1所述的分布式并行数据处理方法，其特征在于，控制所述至少两个分布式节点依次从对应的缓存池中读取切片索引，并对所述读取到的切片索引执行处理，包括：控制所述至少两个分布式节点分别逐渐启动线程，并依靠锁机制依次从对应的缓存池中读取切片索引，并对所述读取到的切片索引执行处理。4.如权利要求1至3中任一项所述的分布式并行数据处理方法，其特征在于，在所述至少两个分布式节点从所述对应的缓存池中读取切片索引并执行处理的过程中，所述方法还包括：针对各个分布式节点，检测所述各个分布式节点中是否存在硬件资源使用率超过预设阈值的第一分布式节点；如果所述各个分布式节点中存在硬件资源使用率超过预设阈值的第一分布式节点，则暂停所述第一分布式节点增加线程，直至所述第一分布式节点的硬件资源使用率小于所述预设阈值时，控制所述第一分布式节点继续增加线程。5.如权利要求1至3中任一项所述的分布式并行数据处理方法，其特征在于，在所述至少两个分布式节点从所述对应的缓存池中读取切片索引并执行处理的过程中，所述方法还包括：针对各个分布式节点，周期性地检测所述各个分布式节点中是否存在宕机的第二分布式节点；如果所述各个分布式节点中存在宕机的第二分布式节点，则确定所述第二分布式节点所对应的缓存池，并确定所述各个分布式节点中当前未发生宕机的第三分布式节点；获取所述第二分布式节点所对应的缓存池中的剩余切片索引，并将所述剩余切片索引进行加权均等分配至所述第三分布式节点所对应的缓存池中。6.如权利要求5所述的分布式并行数据处理方法，其特征在于，所述将所述剩余切片索引进行加权均等分配至所述第三分布式节点所对应的缓存池中，包括：对所述第三分布式节点所对应的缓存池中的切片索引的个数进行加权求平均，以获得所述各个分布式节点针对切片...
【专利技术属性】
技术研发人员：李东鸽，牟晓光，
申请(专利权)人：东软集团股份有限公司，国家信息中心，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。