分片数据的写入方法、系统及电子设备技术方案

本发明专利技术提供了一种分片数据的写入方法、系统及电子设备，属于数据库的技术领域，缓解了现有技术容易导致一个文件的多个分片的改动结果不一致的问题。该方法包括：收集每个分片的日志区间，所述日志区间包括生效的最后一条日志的日志序号I，及记录的最后一条日志的日志序号L；若全部分片的I与L均相等，则执行新增日志步骤；若存在I=n且L=n+1的分片，则通过纠删算法使I与L相等，并返回收集每个分片的日志区间的步骤；若存在I=n，L＜n或L＞n+1的分片，则将该分片的日志区间的L视为无效，并执行新增日志步骤；新增日志步骤：基于PAXOS共识算法对各个分片进行新增日志写入；其中，n为任意自然数。然数。然数。

【技术实现步骤摘要】
分片数据的写入方法、系统及电子设备


[0001]本专利技术涉及数据库
，尤其是涉及一种分片数据的写入方法、系统及电子设备。

技术介绍

[0002]随着对数据安全性的要求不断提高，分布式文件系统被越来越多的场景应用。在分布式文件系统的设计中，要将文件的一个特定大小的数据块（条带）使用纠删码算法（如李德所罗门纠删码）计算为附带冗余的分片（条块），然后将分片分布在容灾域内不同的磁盘上，以实现分散容灾的能力。
[0003]在分片的分发与合并，即写与读的操作时，时常出现对同一文件存在多个改动进程的情况，容易导致一个文件的多个分片的改动结果不一致的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种分片数据的写入方法、系统及电子设备，缓解了现有技术容易导致一个文件的多个分片的改动结果不一致的问题。
[0005]第一方面，本专利技术提供一种分片数据的写入方法，包括：收集每个分片的日志区间，所述日志区间包括生效的最后一条日志的日志序号I，及记录的最后一条日志的日志序号L；若全部分片的I与L均相等，则执行新增日志步骤；若存在I=n且L=n+1的分片，则通过纠删算法使I与L相等，并返回收集每个分片的日志区间的步骤；若存在I=n，L＜n或L＞n+1的分片，则将该分片的日志区间的L视为无效，并执行新增日志步骤；新增日志步骤：基于PAXOS共识算法对各个分片进行新增日志写入；其中，n为任意自然数。
[0006]进一步的，通过纠删算法使I与L相等的步骤，包括：判断I=n且L=n+1的分片的数量是否大于或等于原始数据块个数；若是，则通过纠删算法对全部分片执行第n+1条日志，使第n+1条日志生效，且使I=n+1；若否，则删除第n+1条日志，使L=n。
[0007]进一步的，通过纠删算法对全部分片执行第n+1条日志的步骤之前，还包括：若第n+1条日志为写操作，则判断各分片中第n+1条日志中的哈希值是否一致；若是，则执行通过纠删算法对全部分片执行第n+1条日志的步骤；若否，则执行删除第n+1条日志的步骤。
[0008]进一步的，当新增日志存在日志正文时，所述新增日志步骤具体包括：当新增日志的日志序号小于或等于生效的最后一条日志的日志序号I时，返回新
增日志成功消息；当新增日志的日志序号等于I+1时，若内存日志无效，则将新增日志写入内存日志；若内存日志有效，则比较新增日志与内存日志的时代号，若新增日志的时代号大于内存日志的时代号，则将新增日志写入内存日志；当新增日志的日志序号等于I+2时，若内存日志无效，则结束新增日志；若内存日志有效，则先执行并生效内存日志，将内存日志写入生效日志列表和记录的最后一条日志，再将新增日志写入内存日志。
[0009]进一步的，当新增日志不存在日志正文时，所述新增日志步骤具体包括：当新增日志的日志序号小于或等于生效的最后一条日志的日志序号I时，返回新增日志成功消息；当新增日志的日志序号等于I+1时，若内存日志无效，则结束新增日志；若内存日志有效，则执行并生效内存日志，将内存日志写入生效日志列表和记录的最后一条日志。
[0010]进一步的，若内存日志的日志序号等于生效的最后一条日志的日志序号I，则内存日志无效，否则内存日志有效。
[0011]进一步的，所述时代号包括系统配置号字段和锁编号字段。
[0012]进一步的，所述系统配置号字段包括容灾图配置号和磁盘上下线状态号。
[0013]第二方面，本专利技术还提供一种分片数据的写入系统，包括：收集模块，用于收集每个分片的日志区间，所述日志区间包括生效的最后一条日志的日志序号I，及记录的最后一条日志的日志序号L；比较模块，用于将I与L进行比较；执行模块，用于在全部分片的I与L均相等时，执行新增日志步骤；在存在I=n且L=n+1的分片时，通过纠删算法使I与L相等，并返回收集模块收集每个分片的日志区间；在存在I=n，L＜n或L＞n+1的分片时，则将该分片的日志区间的L视为无效，并执行新增日志步骤；其中，新增日志步骤为：基于PAXOS共识算法对各个分片进行新增日志写入；其中，n为任意自然数。
[0014]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0015]本专利技术提供的分片数据的写入方法，应用于分布式文件系统，当有新增的文件修改日志时，首先通过收集每个分片的日志区间，对各个分片的统一性进行核查。如果全部分片中生效的最后一条日志的日志序号I，与记录的最后一条日志的日志序号L相等，则表示各分片是统一的，可以执行新增日志步骤；如果有部分分片中I与L相等，另一部分分片中I=n且L=n+1，即L比I大1，则表示各分片的内容不统一，需通过纠删算法使各分片的内容统一，使I与L相等，再重新收集每个分片的日志区间；如果某些分片中的I=n，L＜n或L＞n+1的分片，则将该分片的日志区间的L视为无效，再执行新增日志步骤。
[0016]通过以上步骤使每个分片的内容都统一之后，再执行新增日志步骤，基于PAXOS共识算法对各个分片进行新增日志写入，从而能够在对同一文件出现多个改动进程的情况下，更好的保证各个分片的一致性，缓解了现有技术容易造成一个文件的多个分片的改动结果不一致的问题。
[0017]相应地，本专利技术实施例提供的一种分片数据的写入系统和电子设备，也同样具有上述技术效果。
附图说明
[0018]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的分片数据的写入方法的流程图；图2为本专利技术实施例中分片数据结构的示意图；图3为本专利技术实施例中时代号的数据结构的示意图；图4为本专利技术实施例提供的分片数据的写入系统的示意图。
具体实施方式
[0020]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]本专利技术实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0022]本专利技术提供一种分片数据的写入方法，应用于分布式文件系统，如图1所示，该方法包括以下步骤：S1：收集每个分片的日志区间。
[0023]分布式文件系统是将一个文件分为K个原始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分片数据的写入方法，其特征在于，包括：收集每个分片的日志区间，所述日志区间包括生效的最后一条日志的日志序号I，及记录的最后一条日志的日志序号L；若全部分片的I与L均相等，则执行新增日志步骤；若存在I=n且L=n+1的分片，则通过纠删算法使I与L相等，并返回收集每个分片的日志区间的步骤；若存在I=n，L＜n或L＞n+1的分片，则将该分片的日志区间的L视为无效，并执行新增日志步骤；新增日志步骤：基于PAXOS共识算法对各个分片进行新增日志写入；其中，n为任意自然数。2.根据权利要求1所述的方法，其特征在于，通过纠删算法使I与L相等的步骤，包括：判断I=n且L=n+1的分片的数量是否大于或等于原始数据块个数；若是，则通过纠删算法对全部分片执行第n+1条日志，使第n+1条日志生效，且使I=n+1；若否，则删除第n+1条日志，使L=n。3.根据权利要求2所述的方法，其特征在于，通过纠删算法对全部分片执行第n+1条日志的步骤之前，还包括：若第n+1条日志为写操作，则判断各分片中第n+1条日志中的哈希值是否一致；若是，则执行通过纠删算法对全部分片执行第n+1条日志的步骤；若否，则执行删除第n+1条日志的步骤。4.根据权利要求1所述的方法，其特征在于，当新增日志存在日志正文时，所述新增日志步骤具体包括：当新增日志的日志序号小于或等于生效的最后一条日志的日志序号I时，返回新增日志成功消息；当新增日志的日志序号等于I+1时，若内存日志无效，则将新增日志写入内存日志；若内存日志有效，则比较新增日志与内存日志的时代号，若新增日志的时代号大于内存日志的时代号，则将新增日志写入内存日志；当新增日志的日志序号等于I+2时，若内存日志无效，则结束新增日志；若内存日志有效，则先执行并生效...

【专利技术属性】
技术研发人员：戴林，王健，于宏志，任少卿，王朝昕，刘婉琪，
申请(专利权)人：天地伟业技术有限公司，
类型：发明
国别省市：