一种节约传输链路中带宽和数据量的数据传输方法和系统技术方案

本发明专利技术公开了一种节约传输链路中带宽和数据量的数据传输方法和系统，其中方法包括：步骤1，将数据写入主存储端的缓存；步骤2，对存储在所述主存储端的数据进行压缩，形成压缩数据；步骤3，将所述压缩数据复制并传输到从存储端进行存储。通过先压缩后复制传输的方法，当主机的应用将数据写入主存储端的缓存之后，先对数据进行压缩，然后进行复制传输到从存储端，由于数据在传输过程当中，已经进行了压缩，使得数据传输的传输量减少，降低了对复制链路的负担，在带宽不变的前提下，在相同的时间可以传输更多的数据量，在带宽不变且传输的原数据量不变的前提下，可以在较短的时间内完成数据复制，降低了数据丢失的风险，提高数据存储的可靠性。

【技术实现步骤摘要】
一种节约传输链路中带宽和数据量的数据传输方法和系统
本专利技术涉及数据存储和传输
，特别是涉及一种节约传输链路中带宽和数据量的数据传输方法和系统。
技术介绍
随着云计算和大数据的不断发展，需要存储的数据量急剧增加，虽然存储设备的存储密度也在快速增加，但是由于其制造工艺的不断优化和成熟，承恩越来越低，存储设备的使用量也在同步扩张。随着存储产品的技术越来越先进，能够解决更多的应用方案。存储设备的功能适用于数据的存储，现在先进的技术有远程复制和压缩等。远程复制是为了达到数据保护或灾难恢复的目的，会配置多台存储设备，并同时保留同一份数据，当灾难发生时，还有另一份数据提供业务保障，即实现将一份数据复制成两份拷贝的目的。当主机写入存储的数据到达缓存时，数据直接从主端的缓存中复制到从端的缓存中。同时，为了节省存储空间，也会为多台存储设备配置压缩功能，减小了数据的存储空间，实现数据压缩是在远程复制完成后，在各存储端分别进行的压缩。然后两个独立系统的数据开始从缓存中落入到卷中，在这个过程中会触发对数据的压缩。传统的先复制、后压缩的处理流程，虽然节约了存储空间的使用率，但是在较长的复制链路中会随着本文档来自技高网...

【技术保护点】
一种节约传输链路中带宽和数据量的数据传输方法，其特征在于，包括：步骤1，将数据写入主存储端的缓存；步骤2，对存储在所述主存储端的数据进行压缩，形成压缩数据；步骤3，将所述压缩数据复制并传输到从存储端进行存储。

【技术特征摘要】
1.一种节约传输链路中带宽和数据量的数据传输方法，其特征在于，包括：步骤1，将数据写入主存储端的缓存；步骤2，对存储在所述主存储端的数据进行压缩，形成压缩数据；步骤3，将所述压缩数据复制并传输到从存储端进行存储。2.如权利要求1所述节约传输链路中带宽和数据量的数据传输方法，其特征在于，所述步骤2包括：对写入所述主存储端的数据进行分块处理后再进行压缩，形成所述压缩数据。3.如权利要求2所述节约传输链路中带宽和数据量的数据传输方法，其特征在于，所述对写入所述主存储端的数据进行分块处理后再进行压缩，包括：对写入所述主存储端的数据随机分块处理或等量分块处理后再进行压缩。4.如权利要求3所述节约传输链路中带宽和数据量的数据传输方法，其特征在于，所述对写入所述主存储端的数据进行分块处理后再进行压缩，包括：对写入所述主存储端的数据分为20M～100M的数据块后，对所述数据块进行压缩。5.如权利要求3所述节约传输链路中带宽和数据量的数据传输方法，其特征在于，所述对写入所述主存储端的数据进行分块处理后再进行压缩，包括：依据写入所述主存储端的数据的数据量并按照预定的数据块数量进行分块处理后进行压缩。6.如权利要求3所述节约传输链路中带宽和数...

【专利技术属性】
技术研发人员：贾梦颖，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41