一种一致性级别可控的自适应数据同步方法和系统技术方案

本发明专利技术提供一种一致性级别可控的自适应数据同步方法和系统，本方法包括接收集群中节点基本特征与场景特征；计算节点失效概率分布和用户请求概率分布，并与节点基本特征与场景特征一同送入至环境特征模型，结合排除规则集合获取算法的选择范围；根据算法的选择范围与场景特征，结合收益规则集合确定算法以及算法参数，并生成算法决策并同步到每个节点；每个节点根据接收到的算法决策确定算法以及算法参数，以响应用户请求并实现数据同步。本发明专利技术解决了大规模集群的数据同步过程中针对不同类型数据的时效性需求，增强了数据同步的性能，保障了水平扩展能力且适用于大规模集群，提供了动态调整和插拔的能力。

An adaptive data synchronization method and system with controllable consistency level

【技术实现步骤摘要】
一种一致性级别可控的自适应数据同步方法和系统
本专利技术涉及软件
，尤其涉及一种一致性级别可控的自适应数据同步方法和系统。
技术介绍
分布式键值对(Key-Value)存储系统在集群中维护了数据的多份副本并保障了一致性，在很多领域得到广泛应用，一种典型的适用场景是在集群中共享具有指定主题(Topic)的相关数据(如应用共享的配置信息等)，并基于发布-订阅机制，在对应Topic更新时通知所有已订阅这一Topic的节点获取最新数据，节点响应这些数据改变并进行相应的操作以实现集群管理、负载均衡、故障转移等目标。这一系统中包含两个集群，分别由客户端节点和服务器节点组成，客户端节点会向服务器集群中的某个服务器节点发出请求以订阅指定的Topic，服务器节点会将这一信息在服务器集群内同步，当对应Topic的数据有更新时，所有服务器节点上的所有数据副本以及所有订阅这一Topic的客户端节点上的数据副本都会收到更新，从而实现数据同步。目前广泛使用的分布式Key-Value存储系统包括ZooKeeper及etcd等，都依赖底层的一致性保障机制确保针对本文档来自技高网...

【技术保护点】
1.一种一致性级别可控的自适应数据同步方法，包括以下步骤：/n1)监测集群中节点的状态，接收集群中节点基本特征与场景特征；/n2)根据场景特征计算节点失效概率分布和用户请求概率分布，并与节点基本特征与场景特征一同送入至环境特征模型，结合排除规则集合获取算法的选择范围；/n3)根据算法的选择范围与场景特征，结合收益规则集合确定算法以及算法参数，并生成算法决策；/n4)将算法决策同步到每个节点；/n5)根据每个节点接收到的算法决策确定算法以及算法参数，以响应用户请求并实现数据同步。/n

【技术特征摘要】
1.一种一致性级别可控的自适应数据同步方法，包括以下步骤：
1)监测集群中节点的状态，接收集群中节点基本特征与场景特征；
2)根据场景特征计算节点失效概率分布和用户请求概率分布，并与节点基本特征与场景特征一同送入至环境特征模型，结合排除规则集合获取算法的选择范围；
3)根据算法的选择范围与场景特征，结合收益规则集合确定算法以及算法参数，并生成算法决策；
4)将算法决策同步到每个节点；
5)根据每个节点接收到的算法决策确定算法以及算法参数，以响应用户请求并实现数据同步。


2.如权利要求1所述的方法，其特征在于，所述节点包括生成决策的管理节点、提供分布式Key-Value存储的服务器节点，以及订阅具体数据并接收更新数据的客户端节点。


3.如权利要求1所述的方法，其特征在于，所述节点基本特征包括网络特征、可使用的计算能力比例以及节点的CPU、内存、磁盘的配置；所述场景特征包括客户端节点和服务器节点的集群规模、节点健康状态、用户预先配置的信息、用户发起数据更新请求的速率与模式、请求响应时间。


4.如权利要求1或3所述的方法，其特征在于，根据节点健康状态拟合出所述节点失效概率分布；根据用户发起数据更新请求的速率与模式，得到所述用户请求概率分布。


5.如权利要求1所述的方法，其特征在于，所述环境特征模型是通过MAPE-K自治计算模型构建；所述环境特征模型的维度包括服务器集群特征、客户端集群特征、用户最大可容忍的不一致窗口、网络延迟、节点失效的概率模型。


6.如权利要求1所述的方法，其特征在于，所述排除规则集合为包含了特定...

【专利技术属性】
技术研发人员：黄涛，唐震，王伟，魏峻，郑莹莹，宋傲，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京;11