一种数据一致性并行维护方法技术

本发明专利技术公开了一种数据一致性并行维护方法。本方法为：1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储同步块的同步锚或初始化一起始同步块S0及其同步锚；2)有数据添加需求的节点i在数据A0中写入当前同步周期的同步锚，并按需生成一数组[A]N；数据A0为需要在同步周期添加到一致性数据中的待添加数据；3)各节点并行完成本节点数组[A]N的构建并进行广播；4)节点对收到的拥有相同同步锚的所有[A]N进行过滤，剔除非法数据，构建下一同步周期的同步块。本发明专利技术每个同步块之间的数据可并行产生，同时整个数据结构仍保持在依赖关系上的全局一致性。

【技术实现步骤摘要】

本专利技术属于计算机
，具体涉及一种在网络分布式计算环境下具有全局一致性并对并行处理过程友善的数据校验方法。
技术介绍
网络分布式计算在网络环境中的计算单元(包括但不限于计算机)独立运行，通过特定的通讯协议和应用软件协作完成特定的计算任务。当分布式计算需要依赖同一数据集时，所有计算节点依赖中心化的存储管理机制来读写所需数据。这种数据读写方式在获得充分管理的计算条件下适用，在缺少中心化存储管理的场合中，虽然现有的数据校验手段可以解决传输中的验证和纠错，但因没有中心节点提供对数据一致性的追溯手段，无法维护节点间所获数据的一致性，也无法抵御恶意节点在数据上施加干扰。数字签名数字签名技术是最常见的数据完整性保护机制，能产生比人类指纹更可靠的“数据指纹”。数据产生者将信息用自己的私钥加密，数据获取者对读到的数据与用数据产生者公钥解密出来的信息做对比，验证信息的完整性。这一特点也可以用于校验数据的一致性。当用这种方式来校验一组数据时，需要在数据产生时遵循一定的串行顺序来产生数据的一致性特征，不支持多节点对同一组数据的并行处理。数字摘要是将任意长度的消息变成固定长度的短消息，它类似于一个自变量是消息的函数，也就是Hash函数。数字摘要就是采用单项Hash函数将需要加密的明文“摘要”成一串固定长度(128位)的密文这一串密文又称为数字指纹，它有固定的长度，而且不同的明文摘要成密文，其结果总是不同的，而同样的明文其摘要必定一致。同上所述，使用数字摘要来校验一组数据的一致性关系时，也需要遵循特定的串行顺序，因此在多节点并行运算时也将成为处理瓶颈。对等网络和哈希树当网络分布式计算环境中不存在特定的优先节点和中心控制节点时，计算节点以对等的方式协同的一种分布式计算方式。对等网络可以利用哈希树的方式来保证共享数据的一致性，但这一方法仅对静态数据有效，无法满足分布式计算的动态计算需求。校验链表在离散数据中使用特定的规则，使校验数据形成可追溯的链表，通过对链表的查询可以处理历史数据的一致性校验(参考文献：Haber,S.；Stornetta,W.S.(1991).\How to time-stamp a digital document\.Journal of Cryptology 3(2).)，但这样的链表仅适用于单机单节点环境下使用，如果想要在分布式环境下使用，则不仅需要中心管理节点来仲裁读写过程，还需要复杂的读写锁来避免访问冲突，对并发的读写请求做串行化处理，读写效率非常低。大数据技术大数据技术越来越多的用于互联网分布式应用中来解决某些并行数据问题，由于互联网大数据的离散性和非结构化的特点，大数据技术使用冗余和分布式存储的方式来保证数据的可靠性和读写性能，同时放弃了对数据关系一致性的强制性要求。因此大数据需要花较大的代价解决数据质量，尤其是数据一致性的问题(参考文献：FANW，GEERTS F.Foundations of data quality management[J].Synthesis Lectures on Data Management，2012，4(5)：1-217.)。主要的解决方式是采用数据清洗等后期处理(参考文献：范令，基于MAP-REDUCE的大数据不一致性解决算法，2015年微型机与应用第15期；RAHM E，DO H H.Data cleaning：problems and current approaches[J].IEEE Data Eng.Bull.，2000，23(4)：3-13.)，尚不能在数据产生时就生成有关数据一致性的相关校验信息。综上所述，多节点分布式计算的现有方案依赖中心化存储和串行化处理来解决数据一致性问题，在去中心化场景中如果想要保持数据的一致性，则必须依赖数据的串行化操作，串行化方法会阻塞其他节点的操作，即使不存在上下文依赖关系的节点也经常要等待其他节点的操作完成，大大降低操作效率。而采用后处理的方法来解决数据一致性的问题则无法满足分布式系统实时运行中的数据需求。
技术实现思路
分布式系统中的增量全局数据在由多节点同时操作时，会将操作串行化来保持数据一致性，串行化会降低系统效率。本专利技术通过在数据结构中设置一种同步块机制，为并行数据操作提供一致性参考依据，实现多节点并行处理增量全局数据时仍能保持数据的一致性。其中，同步块是由认可公共数据结构的节点共同参与生成的。同步块与节点数据之间的数据结构关系如图1所示，第x同步周期的同步块Sx的唯一数字特征(比如数字摘要)作为第x+1个同步周期内所有后继数据块数组[A]N的依赖参照(本专利技术中称为同步锚)。在相邻同步周期的两同步块Sx和同步块Sx+1之间允许存在任意多个数据块数组[A]N。每个数据块数组[A]N由多个数据块[A]组成，后继数据块A[n]中包含前一数据块A[n-1]的数字摘要。由于允许同时存在多个[A]N，当网络上的计算节点各自形成[A]N时，可以并行进行互不影响。同步块校验和固化增量数据之间的依赖关系，并为后续增量数据提供依赖参照，使得每个同步块之间的数据可以完全并行产生，同时整个数据结构仍保持在依赖关系上的全局一致性。本专利技术的技术方案为：一种数据一致性并行维护方法，其步骤为：1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储的同步块的同步锚或初始化一起始同步块S0及其同步锚，并视该同步锚为当前同步周期的同步锚；2)有数据添加需求的每一节点i在数据A0中写入当前同步周期的同步锚，并按需生成数据块A1，A2，……An，得到一数组[A]N；数据A0为需要在当前同步周期添加到一致性数据中的待添加数据；An为数组[A]N中的第n个数据块；3)各节点并行完成本节点数组[A]N的构建并进行广播；4)节点对收到的拥有相同同步锚的所有[A]N进行过滤，剔除非法数据，构建下一同步周期的同步块。进一步的，同步锚为同步块的唯一数字特征，第x同步周期的同步块Sx的唯一数字特征作为第x+1个同步周期内所有后继数据块数组的同步锚。进一步的，第x同步周期的同步块Sx中包含上一同步周期同步块Sx-1的唯一数字特征、同步块标号、自定义的数据以及同步块Sx内容的校验数据。进一步的，步骤2)中，数组[A]N是任意长度，且不同[A]N的长度相同或不同；其中，在第n次产生的数据块An中包含前一次产生的数据块An-1的同步锚，在A1中包含A0的唯一数字特征。进一步的，相邻同步周期的同步块Sx和同步块Sx+1之间存在若干数据块数组[A]N；每一数据块数组[A]N包块多个数据块[A]，后继数据块An中包含前一数据块An-1的唯一数字特征，在A1中包含A0的唯一数字特征。进一步的，数据块A0中包含同步锚记录和同步块标号记录、数据块A0自身的标号、自定义数据以及数据块A0自身数据内容的校验数据；数据块An中包含An-1的唯一数字特征、数据块An自身标号、自定义数据以及数据块An自身数据内容的校验数据，在A1中包含A0的唯一数字特征。进一步的，步骤2)中，节点i独立产生若干数据块添加到该数组[A]N中。进一步的，步骤2)中，节点i与网络中其他节点协调产生若干数据块添加到该数组[A]N中。进一步的本文档来自技高网...

【技术保护点】
一种数据一致性并行维护方法，其步骤为：1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储的同步块的同步锚或初始化一起始同步块S0及其同步锚，并视该同步锚为当前同步周期的同步锚；2)有数据添加需求的每一节点i在数据A0中写入当前同步周期的同步锚，并按需生成数据块A1，A2，……An，得到一数组[A]N；数据A0为需要在当前同步周期添加到一致性数据中的待添加数据；An为数组[A]N中的第n个数据块；3)各节点并行完成本节点数组[A]N的构建并进行广播；4)节点对收到的拥有相同同步锚的所有[A]N进行过滤，剔除非法数据，构建下一同步周期的同步块。

【技术特征摘要】
1.一种数据一致性并行维护方法，其步骤为：1)节点向网络中其他节点广播请求当前同步周期的同步块并计算当前同步周期的同步锚，若未获得期望的同步块，则该节点计算已存储的同步块的同步锚或初始化一起始同步块S0及其同步锚，并视该同步锚为当前同步周期的同步锚；2)有数据添加需求的每一节点i在数据A0中写入当前同步周期的同步锚，并按需生成数据块A1，A2，……An，得到一数组[A]N；数据A0为需要在当前同步周期添加到一致性数据中的待添加数据；An为数组[A]N中的第n个数据块；3)各节点并行完成本节点数组[A]N的构建并进行广播；4)节点对收到的拥有相同同步锚的所有[A]N进行过滤，剔除非法数据，构建下一同步周期的同步块。2.如权利要求1所述的方法，其特征在于，同步锚为同步块的唯一数字特征，第x同步周期的同步块Sx的唯一数字特征作为第x+1个同步周期内所有后继数据块数组的同步锚。3.如权利要求1所述的方法，其特征在于，第x同步周期的同步块Sx中包含上一同步周期同步块Sx-1的唯一数字特征、自定义的数据以及同步块Sx内容的校验数据。4.如权利要求3所述的方法，其特征在于，第x同步周期的同步块Sx中包含上一同步周期同步块Sx-1的同步块标号。5.如权利要求1或2或3所述的方法，其特征在于，步骤2)中，构建数组[A]N时，在第n次产生的数据块An中包含前一次产生的数据块An-1的唯一数字特征，在A1中包含A0的唯一数字特征。6.如权利要求1或2或3所述的方法，其特征在于，相邻同步周期的同步块Sx和同步块Sx+1之间存在若...

【专利技术属性】
技术研发人员：陈光宇，史兴国，
申请(专利权)人：陈光宇，
类型：发明
国别省市：北京;11