【技术实现步骤摘要】
【国外来华专利技术】用于有效地备份大数据集的系统和方法
技术介绍
[0001]在一个不断互联互通的时代，无法有效地创建并保持重要数据的备份可能责任重大。计算设备易于出现各种临时和致命错误，并且甚至数据或服务的临时丢失可对企业极具破坏力。从备份中快速恢复系统的能力对于希望保持一致服务的企业至关重要。同样重要的是快速创建备份的能力。需要大量时间来创建的备份不太可能被频繁地更新，从而在备份之间发生故障的情形下导致潜在数据丢失。另外，可创建备份的效率越高，组织需要致力于创建备份的资源就越少。
[0002]最小化由备份所占有的存储空间也是重要的。用于创建备份的许多传统系统涉及去重，即，(通常出于复原目的而被创建的)重复数据在存储之前从数据集消除，从而减少存储数据集所需的存储空间的过程。然而，传统系统在去重过程中的各个点处可为低效的，从而增加了创建备份所需的时间和/或资源。因此，本公开确定并解决了对用于有效地备份大数据集的另外和改进的系统和方法的需要。
技术实现思路
[0003]如将在下文更详细地描述，本公开整体涉及用于通过将数据分段并使用管道来处置传送、处...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于有效地备份大数据集的计算机实现的方法，所述方法的至少一部分由包括至少一个处理器的计算设备执行，所述方法包括：识别应用程序服务器上的待由去重服务器去重并且存储在备份服务器上的数据集合；将所述应用程序服务器上的所述数据集合划分为多个数据子集；以及针对初始数据子集之后的每个数据子集：响应于检测到先前数据子集已完成传送到所述去重服务器而将所述数据子集传送到所述去重服务器；响应于检测到所述先前数据子集已由所述去重服务器完成去重而由所述去重服务器对所述数据子集进行去重；以及响应于检测到所述数据子集已完成去重并且所述先前数据子集已完成传送到所述备份服务器而将所述数据子集的去重版本传送到所述备份服务器。2.根据权利要求1所述的计算机实现的方法，其中将所述应用程序服务器上的所述数据集合划分为所述多个数据子集包括：划分所述数据集合，使得每个子集是独立于每个其他子集经受去重的独特数据集。3.根据权利要求1所述的计算机实现的方法，其中将所述应用程序服务器上的所述数据集合划分为所述多个数据子集包括：划分所述数据集合，使得每个子集所占据的存储区中的空间小于所述去重服务器上可用的存储区中的空间的量。4.根据权利要求1所述的计算机实现的方法，其中所述数据集合包括所述应用程序服务器上的数据库的列集合。5.根据权利要求1所述的计算机实现的方法，其中所述应用程序服务器包括应用程序服务器的集群。6.根据权利要求1所述的计算机实现的方法，其中所述去重服务器包括去重服务器的集群。7.根据权利要求1所述的计算机实现的方法，其中与所述去重服务器相比所述应用程序服务器包括更大存储量。8.根据权利要求1所述的计算机实现的方法，其中所述去重服务器所包括的存储区不足以存储来自所述应用程序服务器的所述数据集合。9.一种用于有效地备份大数据集的系统，所述系统包括：识别模块，所述识别模块存储在存储器中，所述识别模块识别应用程序服务器上的待由去重服务器去重并且存储在备份服务器上的数据集合；划分模块，所述划分模块存储在存储器中，所述划分模块将所述应用程序服务器上的所述数据集合划分为多个数据子集；传送模块，所述传送模块存储在存储器中，所述传送模块针对初始数据子集之后的每个数据子集，响应于检测到先前数据子集已完成传送到所述去重服务器而将所述数据子集传送到所述去重服务器；去重模块，所述去重模块存储在存储器中，所述去重模块针对所述初始数据子集之后的每个数据子集，响应于检测到所述先前数据子集已由所述去重服务器完成去重而由所述去重服务器对所述数据子集进行去重；存储模块，所述存储模块存储在存储器中，所述存储模块针对所述初始数据子集之后
的每个数据子集，响应于检测到所述数据子集已完成去重并且所述先前数据子集已完成传送到所述...
【专利技术属性】
技术研发人员：V，
申请(专利权)人：华睿泰科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。