跨地域分布式存储数据的方法、装置、终端及存储介质制造方法及图纸

本发明专利技术提出一种跨地域分布式存储数据的方法，每启动跨地域节点时，生成序列版本号，序列版本号能够区分不同地域的节点的数据来源，避免多个跨地域节点之间进行数据出现环同步，能够区分同一个节点的两次启动，使得数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息即可，实现了多地域写入数据。将数据写入不同的跨地域节点时，记录数据对应的单条更新序列信息，根据序列版本号和单条更新序列信息，比较多个跨地域节点中存储的数据是否一致，若不一致，则对多个跨地域节点进行数据同步操作，实现了数据的双向配置，保证数据一致性。本发明专利技术还提供了跨地域分布式存储数据的装置、终端和计算机可读存储介质。

【技术实现步骤摘要】
跨地域分布式存储数据的方法、装置、终端及存储介质
本专利技术涉及分布式存储领域，具体涉及一种跨地域分布式存储数据的方法，还涉及一种跨地域分布式存储数据的装置，一种跨地域分布式存储数据的终端以及一种计算机可读存储介质。
技术介绍
随着云计算技术的普及，企业产生的数据量越来越大，需要存储系统能够支持海量数据的高效存取，尤其是跨地域数据的存取。目前，跨地域分布式存储有三种方式：第一种，通过Paxos/Raft等分布式协议将数据写入节点，节点反馈之后，完成数据同步写入，提供了各个节点中数据的强一致性保证，然而，当进行跨地域写入节点时，由于通信时间的延长，跨地域链路不稳定，导致写入延迟，分布式存储数据性能差；第二种，通过转发binlog到跨地域节点，如果遇到节点磁盘损坏的情况，被写入数据的节点无法反馈写入完成的信息给写入数据的节点，导致两个节点之间无法保证数据一致，而且导致重复写入，又因为Binlog是记录写入数据的日志，按顺序记录写入key/value，但是，无法区分写入时来源于本地域还是跨地域，转发时也不做区分，因此无法进行多地域写入，只能对其中的一个节点进行单地域写入，不同地域之间的节点只能单向写入。第三种，通过外部系统如kafka进行跨地域数据传输，再写入本地节点，不仅需要依赖外部系统、消耗额外的资源。因此，如何实现跨地域分布式存储数据，保证数据一致性，提高分布式存储性能，节省资源，是本领域技术人员急需要解决的技术问题。
技术实现思路
本专利技术实施例提供一种跨地域分布式存储数据的方法，一种跨地域分布式存储数据的装置，一种跨地域分布式存储数据的终端以及一种计算机可读存储介质以至少解决现有技术中的以上技术问题。第一方面，本专利技术实施例提供了一种跨地域分布式存储数据的方法，包括：选择至少一个跨地域节点，每启动被选的所述跨地域节点时，在被选的所述跨地域节点中生成序列版本号；将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。结合第一方面，本专利技术在第一方面的第一种实施方式中，所述单条更新序列信息包括时间戳、原子递增变量以及数据键值。结合第一方面，本专利技术在第一方面的第二实施方式中，所述对多个所述跨地域节点进行数据同步操作，包括：根据比较结果提取各个所述跨地域节点中的增量数据；按照所述增量数据对应的最新的所述时间戳，将所述增量数据在各个所述跨地域节点中进行同步更新。结合第一方面，本专利技术在第一方面的第三实施方式中，所述跨地域节点包括内存索引装置和内存存储装置，所述对多个所述跨地域节点进行数据同步操作之后，包括：将同步后的所述数据存储至所述内存存储装置中，以允许通过所述内存索引装置对所述内存存储装置中的数据进行检索。第二方面，本专利技术实施例提供了一种跨地域分布式存储数据的装置，包括：序列版本生成模块，用于选择一个或多个跨地域节点，每启动被选的所述跨地域节点时，在所述跨地域节点中生成序列版本号；序列信息记录模块，用于将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；数据同步模块，用于根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。结合第二方面，本专利技术在第二方面的第一实施方式中，所述数据同步模块包括：数据比较单元，用于根据序列版本号以及单条更新序列信息，比较多个跨地域节点中存储的数据是否一致；数据提取单元，用于若多个跨地域节点中存储的数据不一致，根据比较结果提取各个跨地域节点中的增量数据；数据同步单元，用于按照增量数据对应的最新的时间戳，将增量数据在各个跨地域节点中进行同步更新。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，跨地域分布式存储数据的终端的结构中包括处理器和存储器，所述存储器用于存储支持跨地域分布式存储数据的装置执行上述第一方面中跨地域分布式存储数据的方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述跨地域分布式存储数据的装置还可以包括通信接口，用于跨地域分布式存储数据的装置与其他设备或通信网络通信。第三方面，本专利技术实施例提供了一种计算机可读存储介质，用于存储跨地域分布式存储数据的装置所用的计算机软件指令，其包括用于执行上述第一方面中跨地域分布式存储数据的方法为跨地域分布式存储数据的装置所涉及的程序。上述技术方案中的一个技术方案具有如下优点或有益效果：本方案中，每启动跨地域节点时，生成序列版本号，序列版本号能够区分不同地域的节点的数据来源，避免多个跨地域节点之间进行数据出现环同步，能够区分同一个节点的两次启动，使得数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息即可，实现了多地域写入数据。将数据写入不同的跨地域节点时，记录数据对应的单条更新序列信息，根据序列版本号和单条更新序列信息，比较多个跨地域节点中存储的数据是否一致，若不一致，则对多个跨地域节点进行数据同步操作，实现了数据的双向配置，保证数据一致性。上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本专利技术进一步的方面、实施方式和特征将会是容易明白的。附图说明在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本专利技术公开的一些实施方式，而不应将其视为是对本专利技术范围的限制。图1为本专利技术实施例提供的一种跨地域分布式存储数据的方法流程图；图2为本专利技术实施例提供的一种跨地域分布式存储数据的不同地域节点数据写入示意图；图3为本专利技术实施例提供的一种跨地域分布式存储数据的不同地域节点之间的数据同步示意图；图4为本专利技术实施例提供的一种跨地域节点的结构示意图；图5为本专利技术实施例提供的一种跨地域分布式存储数据的装置示意框图；图6为本专利技术实施例提供的一种跨地域分布式存储数据的终端的结构示意图。具体实施方式在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本专利技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。实施例一在一种具体的实施方式中，提供了一种跨地域分布式存储数据的方法，如图1所示，包括：步骤S1：选择至少一个跨地域节点，每启动被选的跨地域节点时，在被选的跨地域节点中生成序列版本号。其中，如图2所示，如北京、南京、杭州、南昌等地域，选择三个跨地域节点，选择如北京的节点、南京的节点以及杭州的节点，在对选择的上述各个跨地域节点写入海量数据时，如10G的数据，首先将10G的数据分成10份1G的数据，10份1G的数据依次写入所选的跨地域节点中，每次启动时，跨地域节点中生成一个序列版本号，此次启动后写入的数据中均标识有此序列版本号，例如，当北京的节点启动后，生成序列版本号A1，写入数据X1后，X1能够用序列版本号A1标识，当北京的节本文档来自技高网...

【技术保护点】
一种跨地域分布式存储数据的方法，其特征在于，包括：选择至少一个跨地域节点，每启动被选的所述跨地域节点时，在被选的所述跨地域节点中生成序列版本号；将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。

【技术特征摘要】
1.一种跨地域分布式存储数据的方法，其特征在于，包括：选择至少一个跨地域节点，每启动被选的所述跨地域节点时，在被选的所述跨地域节点中生成序列版本号；将数据写入被选的所述跨地域节点时，记录所述数据对应的单条更新序列信息；根据所述序列版本号以及所述单条更新序列信息，比较多个所述跨地域节点中存储的数据是否一致，若不一致，则对多个所述跨地域节点进行数据同步操作。2.如权利要求1所述的跨地域分布式存储数据的方法，其特征在于，所述单条更新序列信息包括时间戳、原子递增变量以及数据键值。3.如权利要求2所述的跨地域分布式存储数据的方法，其特征在于，所述对多个所述跨地域节点进行数据同步操作，包括：根据比较结果提取各个所述跨地域节点中的增量数据；按照所述增量数据对应的最新的所述时间戳，将所述增量数据在各个所述跨地域节点中进行同步更新。4.如权利要求2所述的跨地域分布式存储数据的方法，其特征在于，所述跨地域节点包括内存索引装置和内存存储装置，所述对多个所述跨地域节点进行数据同步操作之后，包括：将同步后的所述数据存储至所述内存存储装置中，以允许通过所述内存索引装置对所述内存存储装置中的数据进行检索。5.一种跨地域分布式存储数据的装置，其特征在于，包括：序列版本...

【专利技术属性】
技术研发人员：胡杰，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11