一种基于ceph的rbd文件传输方法及其系统技术方案

本发明专利技术公开了一种基于ceph的rbd文件传输方法及其系统，rbd文件传输方法步骤包括：本地rbd客户端访问ceph分布式存储平台的rbd文件；异地rbd客户端新建ceph分布式存储平台的rbd文件；本地rbd客户端和异地rbd客户端建立tcp长连接；本地rbd客户端rbd文件，对其进行压缩并传输至异地rbd客户端；异地rbd客户端对接收到的rbd文件数据流进行解压缩，并将其写入步骤S2中新建的rbd文件中；本地rbd客户端读取完所有ceph分布式存储平台的rbd文件，发送结束标志到异地rbd客户端，异地rbd客户端接收到结束标志后停止rbd文件。本发明专利技术精简了rbd文件传输操作，节省存储空间，并且使得传输时间加快以及降低了rbd文件传输成本。

A RBD file transfer method and system based on CEPH

【技术实现步骤摘要】
一种基于ceph的rbd文件传输方法及其系统
本专利技术涉及分布式存储的文件传输
，特别涉及一种基于ceph的rbd文件快速传输方法及其系统。
技术介绍
ceph是目前较流行的虚拟化存储架构。在行业中，ceph分布式存储集群使用最好的场景是块存储和文件存储。而ceph的块存储文件(rbd文件)现只支持RAW格式(非稀疏文件格式)。因此在存储或传输RAW格式文件时，需要消耗更多的网络资源和存储资源。现有技术中，跨集群的文件传输存在问题有：1)rbd文件导出到本地文件，再传输文件，最后到异地再导入文件的方式操作繁琐，同时要求本地和异地需要充足的空间存放rbd文件；2)rbd文件传输是文件流，即实际场景中，文件容量与传输流量是1:1，这使得传输时间，成本都大幅度提高。
技术实现思路
本专利技术要解决的技术问题在于，提供一种基于ceph的rbd文件传输方法及其系统，精简了rbd文件传输操作，节省存储空间，并且使得传输时间加快以及降低了rbd文件传输成本。为解决上述技术问题，本专利技术提供本文档来自技高网...

【技术保护点】
1.一种基于ceph的rbd文件快速传输方法，其特征在于，包括以下步骤：/nS1、本地rbd客户端访问并打开ceph分布式存储平台的rbd文件；/nS2、异地rbd客户端新建ceph分布式存储平台的rbd文件，用于存储接收的数据流；/nS3、本地rbd客户端和异地rbd客户端建立tcp长连接；/nS4、本地rbd客户端读取ceph分布式存储平台的rbd文件，对其进行压缩并传输至异地rbd客户端；/n其中，rbd文件是一遍进行压缩然后一边进行传输的，将rbd文件传输至异地rbd客户端过程就会产生rbd文件的数据流；本地rbd客户端通过tcp会话发送数据流到异地rbd客户端；/nS5、异地rbd客...

【技术特征摘要】
1.一种基于ceph的rbd文件快速传输方法，其特征在于，包括以下步骤：
S1、本地rbd客户端访问并打开ceph分布式存储平台的rbd文件；
S2、异地rbd客户端新建ceph分布式存储平台的rbd文件，用于存储接收的数据流；
S3、本地rbd客户端和异地rbd客户端建立tcp长连接；
S4、本地rbd客户端读取ceph分布式存储平台的rbd文件，对其进行压缩并传输至异地rbd客户端；
其中，rbd文件是一遍进行压缩然后一边进行传输的，将rbd文件传输至异地rbd客户端过程就会产生rbd文件的数据流；本地rbd客户端通过tcp会话发送数据流到异地rbd客户端；
S5、异地rbd客户端对接收到的rbd文件数据流进行解压缩，并将其写入步骤S2中新建的rbd文件中；
S6、重复步骤S4-S5，直至本地rbd客户端读取完所有ceph分布式存储平台的rbd文件并完全发送至异地rbd客户端，然后本地rbd客户端发送结束标志到异地rbd客户端，异地rbd客户端接收到结束标志后停止写入ceph分布式存储平台的rbd文件。


2.根据权利要求1所述的一种基于ceph的rbd文件快速传输方法，其特征在于，所述步骤S1前还包括步骤S0、本地rbd客户端和异地rbd客户端均连接ceph分布式存储平台。


3.根据权利要求2所述的一种基于ceph的rbd文件快速传输方法，其特征在于，所述步骤S6后还包括步骤S7、本地rbd客户端和异地rbd客户端均关闭与ceph分布式存储平台的连接，本地rbd客户端和异地rbd客户端断开tcp长连接。


4.根据权利要求1所述的一种基于ceph的rbd文件快速传输方法，其特征在于，所述步骤S4中，本地rbd客户端读取c...

【专利技术属性】
技术研发人员：曾星，史伟，闵宇，
申请(专利权)人：广东睿江云计算股份有限公司，
类型：发明
国别省市：广东;44