一种文件多通道备份的方法技术

一种文件多通道备份的方法，通过多线程并行工作的方法，充分利用磁盘IO，极大提升文件备份速度，将整个备份流程分割为以下几个部件：扫描器、分片器和备份工作者，每个部件都是工作在独立的线程上，各个部件之间通过消息队列进行通讯，每次备份会生成一个扫描器，一个分片器，一个或以上的备份工作者。本发明专利技术提供的一种文件多通道备份的方法，具有以下优点：发挥了CPU的性能、发挥了磁盘I/O性能和具有良好的稳定性。

【技术实现步骤摘要】
一种文件多通道备份的方法
本专利技术涉及计算机数据处理
，尤其涉及一种文件多通道备份的方法。
技术介绍
文件备份是指将文件系统中的数据加以复制，当发生灾难或者误操作时，可以方便且及时地恢复系统的有效数据以保证系统的正常运行。对于文件备份来说一个重要的指标是备份速度，这直接关系到备份作业所要占用的时间窗口。而由于在备份过程中需要占用大量的系统资源(如：磁盘IO、CPU时间)，这会对业务系统造成一定的影响。因此缩短这个时间窗口就显得很有必要了，缩短时间窗口需要提升备份的速度。对于文件备份，目前已有的解决方案都是通过单线程来进行工作，并且备份的各个步骤是串行进行的。这种工作方式有如下缺点：1.备份流程的串行化导致整个备份的各个部件之间相互等待，要进行下一步必须要等待上一部完成才能进行。2.单个线程进行备份数据并不能充分利用系统资源、导致备份速度并未达到最优。
技术实现思路
本专利技术正是针对现有技术存在的不足，提供了一种文件多通道备份的方法。为解决上述问题，本专利技术所采取的技术方案如下：一种文件多通道备份的方法，通过多线程并行工作的方法，充分利用磁盘IO，极大提升文件备份速度，将整个备本文档来自技高网...

【技术保护点】
一种文件多通道备份的方法，其特征在于：通过多线程并行工作的方法，充分利用磁盘IO，极大提升文件备份速度，将整个备份流程分割为以下几个部件：扫描器、分片器和备份工作者，每个部件都是工作在独立的线程上，各个部件之间通过消息队列进行通讯，每次备份会生成一个扫描器，一个分片器，一个或以上的备份工作者；各个部件的功能如下：(1).扫描器；根据用户设置的备份选项扫描文件系统得到要备份的详细文件列表，并将此列表发送给分片器；(2).分片器；分片器将从扫描器接收到的文件列表通过内部算法平均地分发到各个备份工作者；(3).备份工作者；备份工作者建立一条与存储服务器连接的通道根据接收到的文件列表将文件备份到存储服...

【技术特征摘要】
1.一种文件多通道备份的方法，其特征在于：通过多线程并行工作的方法，充分利用磁盘IO，极大提升文件备份速度，将整个备份流程分割为以下几个部件：扫描器、分片器和备份工作者，每个部件都是工作在独立的线程上，各个部件之间通过消息队列进行通讯，每次备份会生成一个扫描器，一个分片器，一个或以上的备份工作者；各个部件的功能如下：(1).扫描器；根据用户设置的备份选...

【专利技术属性】
技术研发人员：陈健龙，
申请(专利权)人：广州鼎甲计算机科技有限公司，
类型：发明
国别省市：广东,44