数据快照方法及装置制造方法及图纸

本公开涉及一种数据快照方法及装置。该方法包括：对索引的数据进行快照，得到所述数据对应的数据快照；获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；根据所述位置信息和所述路径信息，对所述数据快照进行存储。本公开的数据快照方法及装置，在针对索引进行数据快照之前，不需要创建仓库并在已建立的仓库上创建数据快照，而能够直接将数据快照存储到规定的目的存储介质的路径中，简化对索引的数据进行快照的流程。

【技术实现步骤摘要】
数据快照方法及装置
本公开涉及数据处理
，尤其涉及一种数据快照方法及装置。
技术介绍
目前，信息化给人们的生活带来巨大的改变，出现移动支付、语音识别、面部识别、系统画像、共享物品和人工智能等技术。上述技术的出现依托于信息科技的发展和数据处理能力的提高。试想一个场景：共享物品所属的公司如果丢失了所有的用户信息(例如存储介质受到损害)，那么公司和用户都将会遭受极大的损失。社会正处于大数据时代，数据备份必不可少。数据有自己的生命周期(LifeCycle)，包括数据的产生、使用、迁移、清理、销毁等。为了确保系统稳定高效地运行，需要把数据量控制在稳定的水平，由此诞生了DLM(DataLifeCycleManagement，数据生命周期管理)。根据数据生命周期的时间走向，数据可以分为热数据、温数据、冷数据、冻结和解冻等阶段。数据备份可以分为热备份和冷备份等多种。
技术实现思路
有鉴于此，本公开提出了一种数据快照方法及装置，以解决相关技术中ES快照存在着打快照方式复杂等问题。根据本公开的一方面，提供了一种数据快照方法，包括：对索引的数据进行快照，得到所述数据对应的数据快照；获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；根据所述位置信息和所述路径信息，对所述数据快照进行存储。根据本公开的另一方面，提供了一种数据快照装置，包括：快照模块，用于对索引的数据进行快照，得到所述数据对应的数据快照；信息获取模块，用于获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；存储模块，用于根据所述位置信息和所述路径信息，对所述数据快照进行存储。根据本公开的另一方面，提供了一种数据快照装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。本公开的数据快照方法及装置，通过对索引的数据进行快照，得到该数据对应的数据快照，获取用于存储该数据快照的目的存储介质的位置信息，以及用于存储该数据快照的目的存储介质的路径信息，并根据该位置信息和该路径信息，对所述数据快照进行存储，由此在针对索引进行数据快照之前，不需要创建仓库并在已建立的仓库上创建数据快照，而能够直接将数据快照存储到规定的目的存储介质的路径中，简化对索引的数据进行快照的流程。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开一实施例的数据快照方法的流程图。图2示出根据本公开一实施例的数据快照方法的流程图。图3示出根据本公开一实施例的数据快照方法的流程图。图4示出根据本公开一实施例的数据快照装置的框图。图5示出根据本公开一实施例的数据快照装置的框图。图6是根据一示例性实施例示出的一种用于数据快照装置900的框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。相关技术中，ES(ElasticSearch)是一个基于Lucene的搜索服务器，能够提供分布式多用户能力的全文搜索引擎，具有实时搜索、稳定可靠、快速便捷等优点。ES可以对单个索引或整个集群进行快照(Snapshot)和恢复(Restore)，由此能够实现对数据的备份和还原。但是，ES快照和恢复存在着打快照方式复杂、恢复操作受局限等问题。ES的索引(Index)可以指拥有多个相似特征的文档的集合，每个文档都是可被索引的基础信息单元。例如，一个客户数据的索引，或一个产品目录的索引，或一个订单数据的索引等，本公开对此不做限制。文档是存储数据的基本单元，使用JSON(JavaScriptObjectNotation，JavaScript对象标记语言)来表示。索引的名称可以用来标识索引，通过索引的名称可以对索引中的文档进行查询、更新和删除等操作。ES快照(Snapshot)可以指通过备份索引到FS(FileSystem，文件系统)、HDFS(HadoopDistributedFileSystem，分布式文件系统)等目的存储介质上，从而实现将索引的数据迁移的操作。但是，ES快照的实现方式较为繁琐，首先需要创建仓库，并在创建仓库时指定仓库的类型(例如FS、HDFS等)以及传入URI(UniformResourceIdentifier，统一资源标识符)，然后在已建立的仓库上创建快照。仓库可以包括同一集群的多个快照，快照根据集群中的唯一名称进行区分。相关技术中，在进行任何ES快照或ES恢复之前，ES中必须注册有仓库。通过XPUT命令规定仓库的类型(Type)、位置(Location)和路径(Path)等信息，能够实现在ES中注册仓库。例如，通过XPUT命令创建名称为Backup的仓库，仓库的类型为HDFS，HDFS的IP地址和端口号为100.0.0.100:8020，HDFS的路径为/es/lion。例如，通过XPUT命令创建名称为Snapshot的快照，并将名称为Snapshot的快照存储在IP地址和端口号为100.0.0.100:8020的HDFS的/es/lion这个路径中。ES恢复(Restore)可以指将索引的状态和数据等恢复到快照时的操作。例如，在周一打了快照Snapshot，数据持续导入索引。周二时想将数据还原到周一时的数据，恢复操作即可以实现。但是，ES恢复的实现方式存在局限。当索引为关闭状态时，可以通过恢复操作恢复某个时间点的快照。但当索引为开启状态时，则无法通过恢复操作恢复某个时间点的快照，而需要关闭该索引后再执行恢复操作才能恢复成功。图1示出根据本公开一实施例的数据快照方法的流程图。该方法用于运行ES的设备中。如图1所示，该方法包括步骤S11至步骤S13。在步骤S11中，对索引的数据进行快照，得到该数据对应的数据快照。在步骤S12中，获取用于存储该数据快照的目的存储介质的位置信息，以及用于存储该数据快照的目的存储介质的路径信息。在步骤S13中，根据该位置信息和该路径信息，对该数据快照进行存储。其中，目的存储介质可以指用于存储数据快照的介质。目的存储介质的类型可以包括FS、HDFS等。在一种实现方式中，目的存储介质的位置信息包括目的存储介质的IP地址和端口号。例如，若目的存储介质为FS，则目的存储介质的位置信息为FS的IP地址和端口号，例如100.0.0.99:9020。若目的存储本文档来自技高网...

【技术保护点】
1.一种数据快照方法，其特征在于，包括：对索引的数据进行快照，得到所述数据对应的数据快照；获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；根据所述位置信息和所述路径信息，对所述数据快照进行存储。

【技术特征摘要】
1.一种数据快照方法，其特征在于，包括：对索引的数据进行快照，得到所述数据对应的数据快照；获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；根据所述位置信息和所述路径信息，对所述数据快照进行存储。2.根据权利要求1所述的方法，其特征在于，所述位置信息包括所述目的存储介质的IP地址和端口号。3.根据权利要求2所述的方法，其特征在于，根据所述位置信息和所述路径信息，对所述数据快照进行存储，包括：将所述数据快照存储至所述目的存储介质的路径中，所述目的存储介质由所述位置信息确定，所述路径由所述路径信息确定。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：当检测到针对所述数据快照的恢复请求时，获取所述索引的状态；若所述索引为开启状态，则将所述索引设置为关闭状态，并将所述索引的状态和数据恢复到所述数据快照记录的索引的状态和数据。5.一种数据快照装置，其特征在于，包括：快照模块，用于对索引的数据进行快照，得到所述数据对应的数据快照；信息获取模块，用于获取用于存储所述数据快照的目的存储介质的位...

【专利技术属性】
技术研发人员：周俊杰，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41