基于MapReduce的数据传输方法和装置制造方法及图纸

本申请实施例公开了基于MapReduce的数据传输方法和装置。该方法的一具体实施方式包括：执行Map任务，以生成计算结果文件，其中，该计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；将该计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过该目标文件系统获取该计算结果文件中的数据，其中，该目标文件系统按照预定的命名规则对该计算结果文件进行命名，以及按照预定目录结构对该计算结果文件进行存储。该实施方式避免了由于重计算而带来的计算资源消耗和时间花销，提升Shuffle过程的稳定性，并且具备较好的普适性。

【技术实现步骤摘要】
基于MapReduce的数据传输方法和装置
本申请实施例涉及计算机
，具体涉及基于MapReduce的数据传输方法和装置。
技术介绍
随着计算机技术的飞速发展，MapReduce分布式计算框架取得越来越广泛的应用。在Map(映射)和Reduce(规约)过程之间，需要Shuffle(洗牌)来实现数据从Map任务(Task)的输出到Reduce任务的输入的传输。由于Shuffle操作是连接Map过程和Reduce过程中必不可少的桥梁，且常常伴随着大量的网络传输和磁盘读写，因此Shuffle的性能往往直接影响整个MapReduce过程的性能和吞吐量。实践中，节点故障、网络延迟、集群负载较高等原因会导致Shuffle过程中数据传输超时，从而Reduce端(Reducer)无法从Map端(Mapper)获取到所需的数据，进而使得Shuffle过程失败。相关的方式通常是利用MapReduce本身提供的容错机制，对Shuffle失败的任务执行重计算(即选取部分输入数据重新执行Map过程再接续此前被中断的Reduce过程)。<br>专利技本文档来自技高网...

【技术保护点】
1.一种基于MapReduce的数据传输方法，应用于Map端，包括：/n执行Map任务，以生成计算结果文件，其中，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；/n将所述计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过所述目标文件系统获取所述计算结果文件中的数据，其中，所述目标文件系统按照预定的命名规则对所述计算结果文件进行命名，以及按照预定目录结构对所述计算结果文件进行存储。/n

【技术特征摘要】
1.一种基于MapReduce的数据传输方法，应用于Map端，包括：
执行Map任务，以生成计算结果文件，其中，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；
将所述计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过所述目标文件系统获取所述计算结果文件中的数据，其中，所述目标文件系统按照预定的命名规则对所述计算结果文件进行命名，以及按照预定目录结构对所述计算结果文件进行存储。


2.根据权利要求1所述的方法，其中，所述计算结果文件包括索引文件和数据文件，所述数据文件用于记录数据，所述索引文件用于标识各分区的数据在所述数据文件中的起始位置和结束位置；以及
所述方法还包括：
向任务调度端发送所述计算结果文件的元数据信息，其中，所述元数据信息包括所述计算结果文件与Map端的对应关系。


3.根据权利要求2所述的方法，其中，所述预定的命名规则包括所述计算结果文件的名称中包括对应的Map端的标识，以及根据后缀区分所述计算结果文件的数据文件和索引文件。


4.根据权利要求1-3之一所述的方法，其中，所述预定目录结构包括树形结构，所述树形结构自顶向下包括应用的标识、属于应用的MapReduce过程的标识、属于MapReduce过程的Map任务的标识、属于Map任务的计算结果文件的标识。


5.一种基于MapReduce的数据传输方法，应用于Reduce端，包括：
响应于确定从与所述Reduce端对应的Map端获取数据失败，从提供冗余存储的目标文件系统获取与所述Reduce端对应的分区的数据，其中，所述目标文件系统按照预定目录结构存储有计算结果文件，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；
利用所获取的数据，执行Reduce任务，以生成所述MapReduce过程的最终结果。


6.根据权利要求5所述的方法，其中，在所述从文件系统获取与所述Reduce端对应的分区的数据之前，所述方法还包括：
从任务调度端获取与所述Reduce端对应的至少一个Map端的地址，其中，所述任务调度端存储有所述计算结果文件的元数据信息，所述元数据信息包括所述计算结果文件与Map端的对应关系；<...

【专利技术属性】
技术研发人员：耿筱喻，顾荣，郭俊，
申请(专利权)人：南京大学，北京字节跳动网络技术有限公司，
类型：发明
国别省市：江苏;32