文件系统处理方法、装置、通信设备、介质及系统制造方法及图纸

本公开提供一种文件系统处理方法、装置、通信设备、介质及系统，涉及大数据领域，该方法由客户端设备执行，方法包括：获取第一数据集；按第一预设规则，对第一数据集进行合并或不合并，以获取第二数据集；向管理者节点发送第一写请求信息，第一写请求信息用于请求向工作者节点写入第二数据集；接收管理者节点发送的第一响应信息，第一响应信息用于指示是否允许客户端设备写入第二数据集；基于第一响应信息和第二数据集，确定第一数据块；将第一数据块写入工作者节点。本公开的方法，通过利用第一预设规则，对第一数据集进行合并或不合并，以减少客户端设备与管理者节点之间的交互次数，从而避免资源浪费。

【技术实现步骤摘要】

本公开涉及大数据领域领域，尤其涉及一种文件系统处理方法、装置、通信设备、介质及系统。

技术介绍

1、近些年来，随着大数据领域的发展，hadoop分布式文件系统(hadoop distributedfile system，hdfs)由于具有高度的容错性和吞吐量，被用于存储和管理超大规模的数据集场景中。然而相关技术中hdfs在读写时的数据块大小、副本数量(工作者节点)等均不可变，即只能采用单一的数据块大小和固定的副本进行读写操作，存在一定的资源浪费。

技术实现思路

1、本公开提供一种文件系统处理方法、装置、通信设备、介质及系统，通过利用第一预设规则，对第一数据集进行合并或不合并，以减少客户端设备与管理者节点之间的交互次数，从而避免资源浪费。

2、本公开的第一方面实施例提出了一种文件系统处理方法，该方法方法由客户端设备执行，包括：获取第一数据集；按第一预设规则，对第一数据集进行合并或不合并，以获取第二数据集；向管理者节点发送第一写请求信息，第一写请求信息用于请求向工作者节点写入第二数据集；接收管理者节点本文档来自技高网...

【技术保护点】

1.一种文件系统处理方法，其特征在于，所述方法由客户端设备执行，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据块写入所述工作者节点包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一数据块写入第一工作者节点包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.一种文件系统处理方法，其特征在于，所述方法由管理者节点执行，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：p>

8.根据权...

【技术特征摘要】

1.一种文件系统处理方法，其特征在于，所述方法由客户端设备执行，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据块写入所述工作者节点包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一数据块写入第一工作者节点包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.一种文件系统处理方法，其特征在于，所述方法由管理者节点执行，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

8.根据权利要求5所述的方法，其特征在...

【专利技术属性】
技术研发人员：李旭东，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：