【技术实现步骤摘要】
一种基于分布式文件系统的数据处理方法及装置
本专利技术涉及数据处理
，特别涉及一种基于分布式文件系统的数据处理方法及装置。
技术介绍
以移动互联网技术、人工智能技术和虚拟现实技术等为代表的新兴信息技术极大地改变了人类认知和生活方式。越来越多围绕个人行为、活动的信息被数字化的同时也被持久化存储下来，引起了数据量的急剧增长。数据量的急剧增加给存储系统带来了巨大压力。首先，单服务器和磁盘阵列的传统存储方法己经不能满足许多存储场景的需求，分布式存储系统具有更大的存储空间和更灵活的扩展方式;其次，以归档存储为代表的冷数据存储需求增大，使用廉价、通用的存储设备可靠地保存数据成为冷、温数据存储的重要方式。目前以云存储和归档存储为代表的分布式存储系统是较为常用的存储方式。但由于上述数据信息数据量较大，实时读写数据量大，处理端数据处理能力缺乏，导致分布式文件系统的数据读写时间较长、处理效率低下。因此，亟待提出一种针对上述数据进行数据处理的方法。
技术实现思路
本专利技术实施例提供了一种基于分布式文件系统的数据处理方法及装置，将数据读写进行优化处理，从而解决了现有技术中分布式文件系...
【技术保护点】
1.一种基于分布式文件系统的数据处理方法，其特征在于，所述方法包括写数据，具体为：客户端调用文件创建系统类的创建命令，所述文件创建系统类返回一个文件系统输出数据流给所述客户端；所述客户端得到所述文件系统输出数据流之后，调用写命令进行写文件操作，得到文件；所述文件系统输出数据流接收到客户端的所述文件，写入分布式文件系统之前，向主节点申请数据块，调用远程接口中的增加数据块命令，返回一个本地数据块对象；所述文件系统输出数据流根据返回的所述本地数据块对象，与相应的数据节点进行通信，建立数据流，将所述客户端的文件内容切割成一个一个块，写入到所述数据流中；所述文件系统输出数据流获得数据...
【技术特征摘要】
1.一种基于分布式文件系统的数据处理方法，其特征在于，所述方法包括写数据，具体为：客户端调用文件创建系统类的创建命令，所述文件创建系统类返回一个文件系统输出数据流给所述客户端；所述客户端得到所述文件系统输出数据流之后，调用写命令进行写文件操作，得到文件；所述文件系统输出数据流接收到客户端的所述文件，写入分布式文件系统之前，向主节点申请数据块，调用远程接口中的增加数据块命令，返回一个本地数据块对象；所述文件系统输出数据流根据返回的所述本地数据块对象，与相应的数据节点进行通信，建立数据流，将所述客户端的文件内容切割成一个一个块，写入到所述数据流中；所述文件系统输出数据流获得数据节点返回的写入成功信息后，就会向所述客户端返回写文件成功信息；所述客户端就会调用关闭命令，关闭所述数据流连接，文件系统输出数据流收到客户端的关闭命令，通知主节点关闭文件，完成一次文件写入流程。2.根据权利要求1所述的方法，其特征在于，进一步的，所述方法包括读数据，具体为：所述客户端通过所述文件创建系统类的打开命令打开文件，相对应的所述文件创建系统类就会返回一个文件系统输出数据流给客户端；所述客户端调用所述主节点的远程调用接口的取数据块地址命令，获得所述文件第一个数据块的保存地址；调用所述文件系统输出数据流的读取命令读取文件数据；所述文件系统输出数据流和数据节点建立连接，调用数据节点的读数据接口读取数据块；当读取完该数据块后，如果文件尚未读取完，继续调用取数据块地址命令获得下一个数据块的地址；所述文件系统输出数据流和存储所述数据块的数据节点进行通信，读取数据块内容；重复上述读数据块过程，直到文件读取完毕，所述客户端调用关闭命令关闭数据流。3.根据权利要求1所述的方法，其特征在于，进一步的，其中在所述写数据之前：将分布式文件系统中的小文件根据分布式文件系统的归档方法得到归档大文件。4.一种基于分布式文件系统的数据处理装置，其特征在于，包括写数据...
【专利技术属性】
技术研发人员：赵晶明，沈逸岑，
申请(专利权)人：江苏汇智达信息科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。