一种云备份方法及装置制造方法及图纸

本发明专利技术公开了一种云备份方法，包括：接收客户端发送的待备份的文件数据；将所述文件数据进行缓存；在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。相应的，本发明专利技术还公开了一种云备份装置。采用本发明专利技术实施例，能够提高网络利用率及系统性能。

【技术实现步骤摘要】

本专利技术涉及云计算
，尤其涉及一种云备份方法及装置。
技术介绍
云备份是通过集群应用、网格技术、分布式文件系统等功能，将各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份的功能服务。云备份技术依赖于网络技术的传输。在现有的备份方案中，每改变一个备份集的文件时，就需进行一次文件的备份操作。而此备份操作包含网络传输，以及本地或者云存储的文件读写操作，频繁的网络传输导致网络带宽的占用率高，各类大小文件的频繁读写操作导致备份系统性能的严重下降。
技术实现思路
本专利技术实施例提出一种云备份方法及装置，能够提高网络利用率及系统性能。本专利技术实施例提供一种云备份方法，包括：接收客户端发送的待备份的文件数据；将所述文件数据进行缓存；在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。进一步地，所述将所述文件数据进行缓存，具体包括：为所述文件数据分配唯一的文件标识值；根据所述文件标识值为所述文件数据分配缓存系统；将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。进一步地，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：采用哈希算法计算获得所述文件标识值的哈希值；计算所述哈希值对缓存系统的总个数取余的余数值；为所述文件数据分配编号为所述余数值的缓存系统。进一步地，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。进一步地，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云端进行备份之后，还包括：清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。相应地，本专利技术实施例还提供一种云备份装置，包括：接收模块，用于接收客户端发送的待备份的文件数据；缓存模块，用于将所述文件数据进行缓存；以及，备份模块，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。进一步地，所述缓存模块具体包括：标识值分配单元，用于为所述文件数据分配唯一的文件标识值；缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。进一步地，所述缓存系统分配单元具体包括：哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。进一步地，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。进一步地，所述云备份装置还包括：反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。实施本专利技术实施例，具有如下有益效果：本专利技术实施例提供的云备份方法及装置，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。附图说明图1是本专利技术提供的云备份方法的一个实施例的流程示意图；图2是本专利技术提供的云备份装置的一个实施例的结构示意图；图3是本专利技术提供的云备份系统的一个实施例的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，本专利技术提供的云备份方法的一个实施例的流程示意图，包括：S1、接收客户端发送的待备份的文件数据；S2、将所述文件数据进行缓存；S3、在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。需要说明的是，本专利技术实施例是从云备份服务端这一侧进行描述的。云备份服务端为每一个备份新建备份集，填写客户端地址和备份目录后，向客户端发送指令以使客户端进行备份。客户端在接收到该指令后，将待备份的文件数据上传至云备份服务端，云备份服务端缓存上传的文件数据，并在缓存的数据量，如文件数量、文件大小，达到预设的阈值时，将缓存的所有文件数据一并推送写入到包括本地磁盘、云存储等存储后端。云备份服务端在接收到客户端发送的文件数据时不会马上将文件数据写入云存储端，而是先缓存起来，缓存到一定数量后再一并推送写入到云存储端，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能。进一步地，所述将所述文件数据进行缓存，具体包括：为所述文件数据分配唯一的文件标识值；根据所述文件标识值为所述文件数据分配缓存系统；将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。需要说明的是，云备份服务端具有N个缓存系统，其中，N≥1。云备份服务端在接收到客户端上传的文件数据后，需将文件数据缓存到缓存系统中。云备份服务端先对文件数据分配一个唯一的文件标识值，再对文件标识值进行处理获得该文件数据所对应的缓存服务器，从而将该文件数据及其对应的文件标识值以键值对的形式缓存到相应的缓存服务器中。其中，采用分布式的架构来设计缓存系统，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。进一步地，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：采用哈希算法计算获得所述文件标识值的哈希值；计算所述哈希值对缓存系统的总个数取余的余数值；为所述文件数据分配编号为所述余数值的缓存系统。需要说明的是，云备份服务端中的N个缓存系统均具有一个编号，其编号依次为0～N-1。在为文件数据分配缓存系统时，先采用哈希算法对该文件数据的唯一的文件标识值进行计算，获得哈希值，再用哈希值对N取余，获得一个位于缓存系统编号区间的余数值，从而将编号为该余数值的缓存系统分配给该文件数据，以便文件数据及其对应的文件数据缓存到分配的缓存系统中。另外，在文件数据还缓存在云备份服务端中时，客户端可根据云备份服务端反馈的文件列表来向云备份服务端发送文件读取请求，其中，文件读取请求包括文件标识值。云备份服务端在接收到该文件读取请求后，对文件标识值进行处理，先采用哈希算法对该文件标志值进行计算，获得哈希值，再用哈希值对N取余，获得的余数值，进而从编号为该余数值的缓存系统中读取出文件标识值所对应的文件数据，并反馈给客户端。进一步地，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存本文档来自技高网...

【技术保护点】
一种云备份方法，其特征在于，包括：接收客户端发送的待备份的文件数据；将所述文件数据进行缓存；在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

【技术特征摘要】
1.一种云备份方法，其特征在于，包括：接收客户端发送的待备份的文件数据；将所述文件数据进行缓存；在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。2.如权利要求1所述的云备份方法，其特征在于，所述将所述文件数据进行缓存，具体包括：为所述文件数据分配唯一的文件标识值；根据所述文件标识值为所述文件数据分配缓存系统；将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。3.如权利要求2所述的云备份方法，其特征在于，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：采用哈希算法计算获得所述文件标识值的哈希值；计算所述哈希值对缓存系统的总个数取余的余数值；为所述文件数据分配编号为所述余数值的缓存系统。4.如权利要求2或3所述的云备份方法，其特征在于，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。5.如权利要求4所述的云备份方法，其特征在于，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份之后，还包括：清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件...

【专利技术属性】
技术研发人员：陈飞，宋吉鹏，
申请(专利权)人：广州杰赛科技股份有限公司，
类型：发明
国别省市：广东;44