一种基于卫星网络环境下的数据一致性系统技术方案

本发明专利技术公开了一种基于卫星网络环境下的数据一致性系统，包括n个信关站，每个信关站包括元数据服务器，用于当链路平均速度大于等于阈值时，使用基于链路的强一致性策略通过事务链实现元数据同步，否则，使用基于链路的弱一致性策略通过事务链实现元数据同步；热备元数据服务器，用于在元数据服务器宕机时，接管元数据服务器服务；数据服务器，用于当链路平均速度大于等于阈值时，对数据服务器中的数据块的写操作提供基于链路的强一致性策略，否则，提供基于链路的弱一致性策略。本发明专利技术具有细粒度的一致性保证、快速的读写响应、减小重复数据的同步开销的优点。

A data consistency system based on satellite network environment

The invention discloses a data consistency system based on the satellite network environment, including n communication stations, each of which includes a metadata server. When the link average speed is greater than the threshold value, the link based strong consistency strategy is used to synchronize metadata through the transaction chain, otherwise, the link based link is used. The weak consistency strategy realizes metadata synchronization through the transaction chain, and the metadata server is used to take over the metadata server service when the metadata server goes down; the data server, when the link average speed is greater than or equal to the threshold, provides a strong link based on the write operation of the block in the data server. Conformance strategy, otherwise, link based weak consistency strategy is provided. The invention has the advantages of fine-grained consistency guarantee, fast read and write response, and reduced synchronization cost of duplicate data.

【技术实现步骤摘要】
一种基于卫星网络环境下的数据一致性系统
本专利技术属于计算机存储
，更具体地，涉及一种基于卫星网络环境下的数据一致性系统。
技术介绍
随着互联网飞速发展，信息共享无缝覆盖及多种业务需求与日俱增，在商业需求和军事需求的双重影响下，天地一体化信息网络概念模型应运而生，这使得利用卫星组建空间互联网的研究变得尤为重要。利用卫星组建一个或多个协调运行的分布式系统面临着许多需要解决的难题，其中数据一致性保证是分布式系统的重要研究方向。由于卫星网络受到带宽、功耗、卫星轨道和通信硬件等多方面的影响，其大致具有如下特点。其一，由于卫星的功耗和通信模块的限制，其通信带宽是严格限制的并只能在特定情况下才能进行通信；其二，由于距离和轨道等原因不能保证所有的卫星都可以在通信时形成连通图，因此只能部分连通从而造成卫星之间的延时较长；其三，卫星的轨道是可以预测，在卫星网络变化前可以通过计算得出卫星网络的拓扑结构。在卫星网络这一特殊网络环境下提供及时信息服务的需求给卫星分布式文件系统的数据一致性保证带来了极大困难。当前现有的分布式系统的数据一致性大致分为网络拓扑相对稳定的地面站有线网络分布式系统和网络拓扑相对动态的无线网络分布式系统一致性。当前地面和无线网络分布式环境中有较为完善成熟的一致性算法，但在分布式卫星网络环境下的数据一致性保证较少考虑，由于卫星网络大时延、高误码特殊性，采用单一的一致性保证策略存在一定的局限性，且目前缺乏多样化的数据的一致性保证策略，无法实现细粒度的一致性保证，读写响应慢、开销大。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于卫星网络环境下的数据一致性系统，由此解决现有技术存在无法实现细粒度的一致性保证、读写响应慢、开销大的技术问题。为实现上述目的，本专利技术提供了一种基于卫星网络环境下的数据一致性系统，包括n个信关站，信关站通过卫星网络与卫星群通信，各个信关站之间通过链路连接，每个信关站包括元数据服务器、热备元数据服务器和数据服务器；所述元数据服务器，用于将元数据服务器的ba个写操作转成b个事务块，b个事务块构成一个事务链，其中，a≥1，b≥1，当链路平均速度大于等于阈值时，使用基于链路的强一致性策略通过事务链实现元数据同步，否则，使用基于链路的弱一致性策略通过事务链实现元数据同步；所述热备元数据服务器，用于在元数据服务器宕机时，接管元数据服务器服务；所述数据服务器，用于当链路平均速度大于等于阈值时，对数据服务器中的数据块的写操作提供基于链路的强一致性策略，否则，提供基于链路的弱一致性策略，当数据服务器执行写操作时，采用三备份机制对数据服务器中的数据进行备份，得到三个副本，三个副本分别使用同架存储，离架同站存储和离站存储；所述强一致性策略为涉及写操作的数据服务器或者元数据服务器均完成，所述弱一致性策略为涉及写操作的数据服务器或者元数据服务器半数以上完成。进一步的，数据一致性系统还包括若干客户端，所述客户端，用于发送写操作给元数据服务器和数据服务器。进一步的，客户端在发送写操作时，通过广播将写操作发送给数据一致性系统内所有的元数据服务器，最先响应的元数据服务器将获得该写操作的处理优先权。进一步的，元数据服务器还用于在写操作完成后基于写操作的内容保存一份Hash表；元数据服务器在后续处理写操作时通过得到的基于写操作的内容的hash值与Hash表进行比对，若重复则返回该写操作的已存文件地址；否则继续执行该写操作并同步更新hash表。进一步的，链路为卫星链路或者地面链路。进一步的，数据服务器在对数据块的写操作进行离站存储时，若该数据服务器所在的信关站与离站备份服务器所在信关站既能通过卫星链路通信，又能通过与二者皆存在地面链路的第三方信关站使用地面链路通信，且通过第三方的地面链路通信优于卫星链路通信，则将该数据块的写操作的离站存储操作通过第三方信关站的数据服务器进行转发。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)细粒度的一致性保证：当链路平均速度大于等于阈值时，使用基于链路的强一致性策略，即全部相关服务器完成数据服务器端数据块的备份操作和元数据服务器端元数据事物链的同步操作；否则使用基于链路的弱一致性策略，即半数以上相关服务器完成即可，因此可以实现细粒度的动态一致性保证。(2)快速的读写响应：通过系统中所有元数据服务器维护的全局事务链，使得数据的读操作能够快速得到响应；通过写竞争机制，数据端及元数据端基于链路的动态一致性策略，使得数据的写操作能快速完成，因此可以有效降低延时开销，实现快速的读写响应。(3)减小重复数据的同步开销：通过将写操作的hash值与数据接收端维护的全局hash表比对，若重复，则返回该写操作的已存文件地址；否则继续执行该写操作并同步更新hash表，因此可以避免重复数据占用网络带宽和存储空间，从而减小重复数据的同步开销。附图说明图1是本专利技术实施例提供的系统结构图；图2是本专利技术实施例提供的数据服务器的数据一致性保证示意图；图3是本专利技术实施例提供的元数据服务器的数据一致性保证示意图；图4是本专利技术实施例提供的元数据服务器的写竞争机制示意图；图5是本专利技术实施例提供的增量更新处理机制示意图；图6是本专利技术实施例提供的最佳路径选择示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1所示，一种基于卫星网络环境下的数据一致性系统，包括n个信关站和若干客户端，所述客户端，用于发送写操作给元数据服务器和数据服务器。信关站通过卫星网络和卫星群通信，信关站之间通过链路连接，每个信关站包括元数据服务器(NameNode，在途中用NN表示)、热备元数据服务器(standbyNameNode，在图中用HA表示)和数据服务器(DataNode，在图中用DN表示)；如图2所示，所述数据服务器，用于当链路平均速度大于等于阈值时，对数据服务器中的数据块Block_A的写操作提供基于链路的强一致性策略，即所有涉及写操作的数据服务器均完成；否则，提供基于链路的弱一致性策略，即涉及写操作的数据服务器半数以上完成即可，当数据服务器执行写操作时，采用三备份机制对数据进行备份，得到三个副本，三个副本分别使用同架存储，离架同站存储和离站存储。如图3所示，所述元数据服务器，用于将元数据服务器的ba个写操作转成b个事务块，b个事务块构成一个事务链，其中，a≥1，b≥1，当链路平均速度大于等于阈值时，使用基于链路的强一致性策略通过事务链实现元数据同步，否则，使用基于链路的弱一致性策略通过事务链实现元数据同步；具体地：每个NN将各自处理的写和更新事务转成一个(TransactionBlock)，并与之前的事务块链接成一个全局事务链(TransactionChain，用以保存元数据的写操作和更新操作)，事务块初始设定阈值大小M(capacity)，当Capacity(TransactionBlock)≥M时，将该事物块(TransactionBlock)本文档来自技高网...

【技术保护点】
一种基于卫星网络环境下的数据一致性系统，其特征在于，包括n个信关站，信关站通过卫星网络与卫星群通信，各个信关站之间通过链路连接，每个信关站包括元数据服务器、热备元数据服务器和数据服务器；所述元数据服务器，用于将元数据服务器的ba个写操作转成b个事务块，b个事务块构成一个事务链，其中，a≥1，b≥1，当链路平均速度大于等于阈值时，使用基于链路的强一致性策略通过事务链实现元数据同步，否则，使用基于链路的弱一致性策略通过事务链实现元数据同步；所述热备元数据服务器，用于在元数据服务器宕机时，接管元数据服务器服务；所述数据服务器，用于当链路平均速度大于等于阈值时，对数据服务器中的数据块的写操作提供基于链路的强一致性策略，否则，提供基于链路的弱一致性策略，当数据服务器执行写操作时，采用三备份机制对数据服务器中的数据进行备份，得到三个副本，三个副本分别使用同架存储，离架同站存储和离站存储；所述强一致性策略为涉及写操作的数据服务器或者元数据服务器均完成，所述弱一致性策略为涉及写操作的数据服务器或者元数据服务器半数以上完成。

【技术特征摘要】
1.一种基于卫星网络环境下的数据一致性系统，其特征在于，包括n个信关站，信关站通过卫星网络与卫星群通信，各个信关站之间通过链路连接，每个信关站包括元数据服务器、热备元数据服务器和数据服务器；所述元数据服务器，用于将元数据服务器的ba个写操作转成b个事务块，b个事务块构成一个事务链，其中，a≥1，b≥1，当链路平均速度大于等于阈值时，使用基于链路的强一致性策略通过事务链实现元数据同步，否则，使用基于链路的弱一致性策略通过事务链实现元数据同步；所述热备元数据服务器，用于在元数据服务器宕机时，接管元数据服务器服务；所述数据服务器，用于当链路平均速度大于等于阈值时，对数据服务器中的数据块的写操作提供基于链路的强一致性策略，否则，提供基于链路的弱一致性策略，当数据服务器执行写操作时，采用三备份机制对数据服务器中的数据进行备份，得到三个副本，三个副本分别使用同架存储，离架同站存储和离站存储；所述强一致性策略为涉及写操作的数据服务器或者元数据服务器均完成，所述弱一致性策略为涉及写操作的数据服务器或者元数据服务器半数以上完成。2.如权利要求1所述的一种基于卫星网络环境下的数据一致性系统，其特征在于，所述数据一致性系统还包括若干客户端，所述...

【专利技术属性】
技术研发人员：谭支鹏，张鑫，孙晨华，窦志斌，陈乃辉，
申请(专利权)人：华中科技大学，中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：湖北,42