【技术实现步骤摘要】
本申请实施例涉及分布式系统，尤其涉及一种具备动态优化复制策略的混合一致性方法和系统。
技术介绍
1、分布式系统常使用静态、单一的一致性方法保证软件/系统组件之间数据的一致性，但随着工作负载的波动，现有技术无法保证一致性方法的性能能够适应复杂的工作流。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本专利技术实施例的主要目的在于提出一种具备动态优化复制策略的混合一致性方法和系统，能够减少被覆盖的写操作同步次数，降低复制策略开销，而且能够保证一致性提高性能。
3、为实现上述目的，本专利技术实施例的第一方面提供一种具备动态优化复制策略的混合一致性方法，所述具备动态优化复制策略的混合一致性方法包括：
4、根据多个副本节点的历史读操作之间的写操作数量，采用机器学习预测模型预测最近一次读操作与下一次读操作之间的写操作数量；
5、构建所述多个副本节点之间具备强一致性和因果一致性的混合一致性模型，在所述混合一致性模型中，统计当前时刻至最近一次读操作之间的写操作数量，并根据统计的写操作数量与预测的写操作数量之间的比较结果，执行所述多个副本节点之间的同步操作。
6、在一些实施例中，所述机器学习预测模型为lstm模型，所述lstm模型包括：
7、ht＝f(wh·[ht-1,xt]+bh)
8、yt＝g(wc·ht+bc)
9、其中，ht为lstm的隐藏状态，
10、在一些实施例中，所述具备动态优化复制策略的混合一致性方法还包括：
11、根据每个副本节点的得分，对所述多个副本节点的同步优先级进行排序；其中得分通过如下方式计算：
12、
13、其中，c为副本节点存储容量，φ为副本节点可用内存，为副本节点处理请求的时延，ξ为副本节点宕机概率，l1,l2,l3为系数。
14、在一些实施例中，当同步操作为写同步操作时，执行所述多个副本节点之间的同步操作包括：
15、通过所述多个副本节点中的协调者接收第一键值对信息的目标写操作；
16、通过系统代理判断所述第一键值对信息在当前时刻至最近一次读操作之间的写操作数量大于预测的写操作数量，由所述协调者和参与者执行所述目标写操作，当所述协调者和所述参与者执行完成所述目标写操作，由所述系统代理更新当前时刻至最近一次读操作之间的写操作数量；所述系统代理是指搭载有所述机器学习预测模型的副本节点，所述参与者是待执行所述目标写操作的副本节点；
17、通过系统代理判断所述第一键值对信息在当前时刻至最近一次读操作之间的写操作数量小于预测的写操作数量，由所述协调者执行所述目标写操作，当所述协调者执行完成所述目标写操作，由所述系统代理更新当前时刻至最近一次读操作之间的写操作数量。
18、在一些实施例中，所述由所述协调者和参与者执行所述目标写操作，包括：
19、通过所述系统代理发送所述参与者的地址至所述协调者；
20、通过所述协调者向所述参与者发送包含所述目标写操作的commit request消息；
21、通过所述参与者向所述协调者反馈能执行所述目标写操作的消息；
22、通过所述协调者在本地副本执行所述目标写操作，并向所述参与者发送commit消息；
23、通过所述参与者执行所述目标写操作并向所述协调者反馈执行所述目标写操作的成功消息；
24、通过所述协调者向所述系统代理反馈执行所述目标写操作的成功消息。
25、在一些实施例中，当同步操作为读同步操作时，执行所述多个副本节点之间的同步操作包括：
26、通过系统代理判断第二键值对信息在当前时刻至最近一次读操作之间的写操作数量大于预测的写操作数量，读取所述多个副本节点中的过半副本节点中的所述第二键值对信息，并由所述系统代理更新读操作次数并重新统计当前时刻至最近一次读操作之间的写操作次数；所述系统代理是指搭载有所述机器学习预测模型的副本节点；
27、通过系统代理判断所述第二键值对信息在当前时刻至最近一次读操作之间的写操作数量小于预测的写操作数量，等待所述多个副本节点中的优先级排序最后一个副本节点执行所述第二键值对信息的写操作之后，再读取所述多个副本节点中的过半副本节点中的所述第二键值对信息，并由所述系统代理更新读操作次数并重新统计当前时刻至最近一次读操作之间的写操作次数。
28、在一些实施例中，每个副本节点保存一个向量时钟，一个向量时钟以map的方式记录对应的副本节点所执行的同步操作次数；当所述同步操作为写同步操作时，执行所述多个副本节点之间的同步操作包括：
29、通过第一副本节点执行第三键值对信息的写同步操作，并更新对应的向量时钟；
30、通过系统代理判断所述第三键值对信息在当前时刻至最近一次读操作之间的写操作数量大于预测的写操作数量，通过所述第一副本节点将本地的向量时钟和所述第三键值对信息的写同步操作组合成混合格数据结构，由所述第一副本节点将所述混合格数据结构发送至第二副本节点；
31、通过所述第二副本节点根据所述混合格数据结构中的向量时钟与预设的合并规则，判断执行写同步操作，并更新本地的向量时钟；
32、通过所述系统代理更新当前时刻至最近一次读操作之间的写操作数量。
33、在一些实施例中，每个副本节点保存一个向量时钟，一个向量时钟以map的方式记录对应的副本节点所执行的同步操作次数；当所述同步操作为读同步操作时，执行所述多个副本节点之间的同步操作包括：
34、当读同步操作对应的第四键值对信息的写同步操作次数为0，执行所述第四键值对信息的读同步操作；当读同步操作对应的所述第四键值对信息的写同步操作次数为0，由系统代理通知待执行写同步操作的副本节点执行第四键值对信息的写同步操作，所述系统代理是指搭载有所述机器学习预测模型的副本节点。
35、在一些实施例中，在执行所述多个副本节点之间的同步操作之前，所述具备动态优化复制策略的混合一致性方法还包括：
36、通过使最后一次执行写操作的副本节点执行同步操作，直至所有副本节点均执行同步操作完成。
37、为实现上述目的，本专利技术实施例的第二方面提供一种具备动态优化复制策略的混合一致性系统，所述具备动态优化复制策略的混合一致性系统包括：
38、写操作预测单元，用于根据多个副本节点的历史读操作之间的写操作数量，采用机器学习预测模型预测最近一次读操作与下一次读操作之间的写操作数量；
39、同步执行单元，用于构建所述多个副本节点之间具备强一致性和因果一致性的混合本文档来自技高网...
【技术保护点】
1.一种具备动态优化复制策略的混合一致性方法，其特征在于，所述具备动态优化复制策略的混合一致性方法包括：
2.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，所述机器学习预测模型为LSTM模型，所述LSTM模型包括：
3.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，所述具备动态优化复制策略的混合一致性方法还包括：
4.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，当同步操作为写同步操作时，执行所述多个副本节点之间的同步操作包括：
5.根据权利要求4所述的具备动态优化复制策略的混合一致性方法，其特征在于，所述由所述协调者和参与者执行所述目标写操作，包括：
6.根据权利要求1或4或5所述的具备动态优化复制策略的混合一致性方法，其特征在于，当同步操作为读同步操作时，执行所述多个副本节点之间的同步操作包括：
7.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，每个副本节点保存一个向量时钟，一个向量时钟以map的方式记录对应的
8.根据权利要求1或7所述的具备动态优化复制策略的混合一致性方法，其特征在于，每个副本节点保存一个向量时钟，一个向量时钟以map的方式记录对应的副本节点所执行的同步操作次数；当所述同步操作为读同步操作时，执行所述多个副本节点之间的同步操作包括：
9.根据权利要求8所述的具备动态优化复制策略的混合一致性方法，其特征在于，在执行所述多个副本节点之间的同步操作之前，所述具备动态优化复制策略的混合一致性方法还包括：
10.一种具备动态优化复制策略的混合一致性系统，其特征在于，所述具备动态优化复制策略的混合一致性系统包括：
...【技术特征摘要】
1.一种具备动态优化复制策略的混合一致性方法，其特征在于，所述具备动态优化复制策略的混合一致性方法包括：
2.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，所述机器学习预测模型为lstm模型，所述lstm模型包括：
3.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，所述具备动态优化复制策略的混合一致性方法还包括：
4.根据权利要求1所述的具备动态优化复制策略的混合一致性方法，其特征在于，当同步操作为写同步操作时，执行所述多个副本节点之间的同步操作包括：
5.根据权利要求4所述的具备动态优化复制策略的混合一致性方法，其特征在于，所述由所述协调者和参与者执行所述目标写操作，包括：
6.根据权利要求1或4或5所述的具备动态优化复制策略的混合一致性方法，其特征在于，当同步操作为读同步操作时，执行所述多个副本节点之间的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。