用于数据智能存储系统的实况还原技术方案

技术编号:14868634 阅读:39 留言:0更新日期:2017-03-21 00:40
单个系统合并主要数据存储、数据保护和智能。通过内联数据分析提供智能,并且关于受保护的数据和先前的分析收集数据智能和分析,并且数据智能和分析被存储在发现点中,而完全不会影响主要存储的性能。与HA处理内联进行实时分析,从而允许多种数据分析,数据分析随后被用作实况还原操作的一部分。可以在对象或块层级对数据内容进行实况还原。数据复原开始于元数据还原,随后是对于正被还原的数据的“热”区段的接近即时的访问,从而允许站点操作在还原正在进行中时继续或恢复。

【技术实现步骤摘要】
【国外来华专利技术】版权提醒本专利文献的公开内容的一部分包含受到版权保护的资料。版权所有人不反对任何人按照其在专利商标局专利文件或记录中所出现的那样对专利文献或专利公开内容进行复制再现,但是在其他方面无论如何保留的所有版权权利。版权2013,DataGravity,Inc.。
本公开内容涉及计算机存储系统,并且更具体来说涉及统一了主要存储、数据保护和数据分析功能的方法和系统中的实况数据还原。
技术介绍
数据存储解决方案是大的业务,并且对许多企业有大量需求。存储解决方案常常被设计用于特定目的,并且公司常常利用分开的系统作为专用于这样的目的的数据筒仓(silo),比如主要存储(块和文件)、备份存储以及用于分析的存储。这三份存储拷贝通常被保持在不同的器件上并且被分开管理。这三个筒仓之间的数据移动可能困难,这是因为在确定主筒仓与备份或分析筒仓之间发生了什么改变方面会涉及到时间。这导致尝试补偿把数据移动到备份和分析筒仓所需的时间长度的复杂备份策略。所涉及的定时涵盖了确定自从上一次捕获数据以来发生了什么改变,以及通常通过某种类型的网络把数据移动到新的筒仓。这一处理通常在主要存储系统上是资源密集的,会消耗例如处理器周期、存储器、盘操作和网络带宽之类的关键主要存储资源。为此原因,去到备份和分析的数据移动常常被安排在非工作时间,并且被仔细地管理以免与日常操作发生干扰。除了在把数据移动到备份和分析系统时的处理和定时难题之外,在主数据失效或丢失的情况下所需的还原操作也可能是耗时的。此外,在还原操作正在发生时,主数据通常是不可访问的。除了前面的定时和计算问题之外,现今的分析系统(比如使用Hadoop的那些分析系统)在安全性和用户账户情境方面是独立于主要存储系统的。这就使得针对数据访问的保护复杂化,并且通常会失去关于改变何时发生以及谁作出了改变的情境。许多系统还需要多层附加的第三方软件以从数据中提取出任何信息。备份系统在传统上专注在复原点目标(RPO)和复原时间目标(RTO)上。RPO表示数据丢失的可接受风险的最大时间段——举例来说,24小时的RPO意味着在主要存储失效时,多达24小时的数据可能会被丢失并且不可复原。RTO表示在失效之后在操作可以恢复之前对应于复原的最大可接受时间——举例来说,24小时的RTO意味着在主要存储失效时,在主要存储被还原并且可以恢复正常操作之前,从备份的还原将花费多达24小时。从备份系统的复原或还原通常是困难且耗时的处理。从备份复原通常需要识别文件(或文件集合)和时间标记(日期)。如果所述日期或文件是未知的,则已经时间密集的还原处理变得还要复杂得多。在不知道所述文件和日期的情况下,在备份系统内搜索数据以识别出所期望的还原通常是试错处理,比如挑选某一日期,从该日期开始还原备份,搜索所还原的数据以识别出所述数据是否包括所期望的项目,并且重复所述处理直到找到所期望的项目为止。一旦识别出所期望的文件,则还原处理开始。通常直到完成了整个还原处理才准许对于文件的访问。这可能会导致在用户可以开始使用所还原的数据之前许多分钟或者甚至数小时的等待时间。由于在存储备份数据时所使用的存储优化技术,这一时间可能会被大大延长。举例来说,为了最大化备份容量,备份可能被压缩,从而需要密集的(并且常常是整个站点(complete-site)的)还原来复原单个文件。有一种趋势是把备份和分析系统合并到将备份数据用于分析的单个系统中。在这方面遇到了另外的问题,这是因为备份系统通常并不按照与主要存储相同的格式来保存数据。即使格式不是问题,在移动数据以及断开主要存储与改变认识(changeinsights)之间的联系方面仍然存在问题。此外,对备份数据应用分析还没有克服关于确定改变的时间和来源(authorship)的问题。现有技术描述美国专利7,412,577“SHAREDDATAMIRRORINGAPPARATUS,METHOD,ANDSYSTEM”(Boyd等人,2008年8月12日)在摘要中公开了以下内容:“描述了一种可用于通过编写包含写入地址信息的日志来跟踪写入活动的网络组件。所述跟踪组件可以被使用在采用数据镜像的联网系统中,以便在数据镜像不可用的时间期间记录被写入到主要存储卷的数据块地址。...在重建数据镜像时,所编写的日志可以被用来构造指向主要存储卷上的其中数据不同于所述镜像的辅助存储卷构件的块地址的列表。”这个解决方案改进了存储网络内的数据镜像。美国专利7,756,837“METHODSANDAPPARATUSFORSEARCHINGBACKUPDATABASEDONCONTENTANDATTRIBUTES”(Williams等人,2010年7月13日)在摘要中公开了以下内容:公开了允许广泛的备份存储器件的透明桥接的方法和设备,从而使得备份软件将把中间器件识别成那些存储器件之一,并且将把其备份数据流透明地发送到该处以作为现有的标准备份处理的一部分。在接收到来自备份软件的备份数据流时,所述方法和设备提供用于分析数据流中的数据单元,收集关于这些数据单元的管理信息,并且按照易于访问的格式存储所述管理信息以供原始数据的用户和管理员进行后续审阅和查询。”这种解决方案提供了对于备份数据的索引和搜索能力。美国专利7,937,365“METHODANDSYSTEMFORSEARCHINGSTOREDDATA”(Prahlad等人,2011年5月3日)在摘要中公开了以下内容:此外公开了用于管理与通过网络耦合到多台计算机的数据存储组件相关联的数据的系统和方法。此外还公开了用于访问可以通过网络获得的文档的系统和方法,其中所述文档被存储在耦合到网络的一个或更多数据存储器件上。”这种解决方案提供了对于跨包括辅助存储的多个储存库的数据的索引、搜索和访问。美国专利申请公开2009/0083336“SEARCHBASEDDATAMANAGEMENT”(Srinivasan,2009年3月26日)在摘要中公开了以下内容:“本专利技术包括一种系统,所述系统包括:包括数据项目的一个或更多存储器件;用于把元数据与每一个数据项目相关联的元数据加标签组件;根据元数据来定义一项或更多项数据管理策略的策略组件;用于生成满足数据管理策略的数据项目列表的搜索引擎;以及用于对由搜索引擎生成的数据项目列表中的每一个数据项目应用数据管理策略的数据管理应用。”这种解决方案对于“数据项目的优先权……、所有者……、群组……、上一次访问时间……、上一次修改时间……、创建时间……、归档时间……、逻辑位置……、和物理位本文档来自技高网...

【技术保护点】
一种主要存储、高可用性和数据分析系统,其包括:被编程为操作主要节点软件的一个或更多处理器;以及被编程为操作智能节点软件的一个或更多处理器;其中,主要节点软件:拦截数据访问请求,镜像到智能节点软件,以便提供包括在数据访问请求中的数据的高可用性,对数据访问请求执行内联数据分析,并且把数据访问请求引导到主要存储储集池中的物理存储介质上的实际文件系统或块卷;并且其中,智能节点软件:把镜像数据存储在与主要存储储集池分开的智能存储储集池中的物理存储介质中,对镜像数据和/或先前实施的内联数据分析实施分析,并且在智能存储储集池内创建发现点。

【技术特征摘要】
【国外来华专利技术】2013.06.13 US 61/834806;2013.09.04 US 14/017754;201.一种主要存储、高可用性和数据分析系统,其包括:
被编程为操作主要节点软件的一个或更多处理器;以及
被编程为操作智能节点软件的一个或更多处理器;
其中,主要节点软件:
拦截数据访问请求,
镜像到智能节点软件,以便提供包括在数据访问请求中的数据的高可用性,
对数据访问请求执行内联数据分析,并且
把数据访问请求引导到主要存储储集池中的物理存储介质上的实际文件系统或块卷;
并且
其中,智能节点软件:
把镜像数据存储在与主要存储储集池分开的智能存储储集池中的物理存储介质中,
对镜像数据和/或先前实施的内联数据分析实施分析,并且
在智能存储储集池内创建发现点。
2.权利要求1的系统,其中,主要节点软件还向一个或更多用户提供用户、web或编程接
口,从而允许访问由智能节点软件存储的数据并且允许从所述数据进行还原。
3.权利要求1的系统,其中,内联数据分析包括实时识别文件或数据访问和改变,并且
在被发送到智能节点软件的改变编目条目中跟踪所述内联数据分析。
4.权利要求3的系统,其中,内联数据分析包括针对所有数据创建、访问和修改跟踪谁、
何时、如何以及在何处进行了所述创建、访问或修改。
5.权利要求3的系统,其中,改变编目条目是一种形式的元数据或数据标签。
6.权利要求3的系统,其中,每一个所存储的发现点包含从先前的发现点直到下一个发
现点的创建为止的数据分析的递增改变,并且可选地包含从先前的发现点直到下一个发现
点的创建为止的数据的递增改变。
7.权利要求6的系统,其中,智能节点软件基于以下各项当中的一项或更多项创建新的
发现点:从上一次发现点创建以来的时间、跨所有数据和/或分析的百分比改变、跨数据和/
或分析的子集的百分比改变、所检测到的与使用模式的偏差、对于数据内容的实时分析、用
户输入、以及用户指定的指标。
8.权利要求3的系统,其中,智能节点软件还操作自适应并行处理引擎,以便使用先前
收集的实时分析导出更加复杂的分析,包括随着时间跟踪系统和内容改变和使用,而不会
对主要存储性能或可用性造成任何影响。
9.权利要求8的系统,其中,智能节点软件还创建镜像数据的全文本索引。
10.权利要求8的系统,其中,所述自适应并行处理引擎利用针对数据的分析、系统或应
用的操作和/或已经收集的分析的一条或更多条规则的集合。
11.权利要求10的系统,其中,所述自适应并行处理引擎在时间序列中应用多条规则,
从而使得通过应用一条或更多条规则产生的分析导致应用附加的规则。
12.权利要求10的系统,其中,至少一条规则的应用触发即时动作、安排动作或者安排
重复性动作,所述动作包括以下各项当中的一项或更多项:创建临时或永久规则、通知、保
留、隔离、数据提取或者数据的修改。
13.权利要求10的系统,其中,所述已经收集的分析包括在改变编目中包括的内容。
14.权利要求10的系统,其中,所述规则被配置成收集以下各项当中的一项或更多项:
用于分析随着时间的总的存储和系统使用的存储智能、用于保护数据和所收集的分析的复
原智能、用于分析应用日志以及使用和安全性模式的操作智能、以及用于从非结构化、半结
构化、结构化和/或复杂数据中提取分析的数据智能。
15.权利要求14的系统,其中,所收集的智能允许结合对应于以下各项当中的一项或更
多项的附加分析的操作:协作、趋势、电子发现、审计、评分、以及相似性。
16.权利要求10的系统,其中,一条或更多条规则从数据内容中提取附加的分析元数
据。
17.权利要求16的系统,其中,可以由一个或更多用户搜索分析元数据、标签和内容索
引当中的至少一项。
18.权利要求2的系统,其中,操作主要节点软件的处理器和操作智能节点软件的处理
器可以被部署在独立配置或共享配置中,并且在任一种配置中,主要节点软件向用户呈现
单个系统管理视图。
19.权利要求6的系统,其中,主要节点软件还提供以下各项当中的一项或更多项:应用
编程接口、基于文件访问的接口、web接口、以及用于搜索存储在一个或更多发现点中的分
析的用户接口。
20.权利要求19的系统,其中,被发送到智能节点软件的内联数据分析包括标识针对相
关联的数据对象的访问权利的安全性许可,并且可搜索的分析基于对应于个体用户的安全
性许可受到限制,并且对于由管理员进行的搜索不受限制。
21.权利要求19的系统,其中,主要节点软件还提供:对于存储在所选择的发现点中的
数据的处于文件、目录、个体文件系统或者块卷粒度的选择性还原,和/或对于存储在所选
择的发现点中的整个文件系统或块卷的裸机还原,和/或对于所选择发现点的整个集合的
裸机还原,其中选择来自对于分析的搜索和/或可用发现点的列表。
22.权利要求21的系统,其中,一旦相关联的元数据被还原,主要节点软件就允许用户
访问正被还原的数据,而与实际数据的还原的完成无关。
23.权利要求22的系统,其中,当数据还原正在发生时,主要节点软件和智能节点软件
跟踪、保护并且分析对于所有数据的数据访问、创建和修改,所述所有数据包括正被还原的
数据。
24.权利要求22的系统,其中,主要节点软件和/或智能节点软件使用系统访问请求和
所收集的分析元数据数据对数据还原期间的数据还原的顺序进行优先权排序。
25.权利要求14的系统,其中,存储智能还允许在主要存储储集池与智能存储储集池之
间进行可用物理存储的动态分配和/或再分配。
26.权利要求1的系统,其中,操作主要节点软件的所述一个或更多处理器就是操作智
能节点软件的所述一个或更多处理器。
27.权利要求1的系统,其中,操作主要节点软件的所述一个或更多处理器还被编程为
在操作智能节点软件的所述一个或更多处理器上的智能节点软件失效的情况下开始操作
智能节点软件。
28.权利要求1的系统,其中,操作智能节点软件的所述一个或更多处理器还被编程为
在操作主要节点软件的所述一个或更多处理器上的主要节点软件失效的情况下开始操作
主要节点软件。
29.一种用于集成的主要数据存储、镜像和分析的方法,其包括以下步骤:
在主要节点处:
通过网络连接从所连接的计算机接收包括请求数据的数据访问请求;
对数据访问请求和任何请求数据实施实时内联分析;
把内联分析、数据访问请求和请求数据转发到智能节点;以及
通过把请求数据转发到主要存储储集池或者从主要存储储集池取回请求数据来对数
据访问请求做出响应,而无需首先等待来自智能节点的确认;
在智能节点处:
如果数据访问请求针对请求数据的写入,则把请求数据镜像到智能存储储集池;
把扩展元数据存储在智能储集池中;
如果数据访问请求包括对于请求数据的改变,则把改变数据存储在智能储集池中以作
为改变编目中的改变条目,其中所述改变条目包括以下各项当中的一项或更多项:对应于
发生改变的请求数据的标识符、发起数据访问请求的用户以及访问请求的时间;
把内联分析存储在智能储集池中;
对数据访问请求、请求数据和/或内联分析实施附加的分析,以便提供扩展元数据;以

在所确定的时间点在智能储集池中存储发现点,所述发现点包括改变编目的内容、对
应于存储在主要存储储集池中的发生改变的数据的标识符以及扩展元数据。
30.一种用于在数据存储系统中处置数据的方法,其包括:
接收数据访问请求的拷贝以及涉及数据访问请求的元...

【专利技术属性】
技术研发人员:P龙EK麦克卡尔D博奇科夫M泽利科夫BK潘纳A费里斯I冈奇GJ麦克黑尔JA莱西K肯特蒂
申请(专利权)人:数据引力公司
类型:发明
国别省市:美国;US

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1