数据处理方法及装置制造方法及图纸

本申请实施例提供了一种数据处理方法及装置，其中方法包括：利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；利用分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；在第一主节点中进行数据更新；其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据；根据第一主节点的数据更新结果，在第二主节点中进行数据更新；其中，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。通过本申请实施例，能够保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验。

【技术实现步骤摘要】
数据处理方法及装置
本申请涉及数据处理领域，尤其涉及一种数据处理方法及装置。
技术介绍
目前，为了应对全球高并发场景下的数据访问问题，保证用户在各个地区读取到的同一数据的取值均相同，通常将一个国家的数据存储节点作为主数据节点，主数据节点负责数据的写入，通过消息机制或任务机制将数据同步到其他地区的分数据节点，从而实现全球高并发场景下的数据访问，并保证数据的一致性。然而，上述过程中，当主数据节点出现故障导致保存的数据错误时，其他分数据节点同步的数据也可能出现错误，也即存在数据的单点风险。因此，有必要提出一种技术方案，以保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验。
技术实现思路
本申请实施例的目的是提供一种数据处理方法及装置，以保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验。为达到上述目的，本申请实施例是这样实现的：第一方面，本申请实施例提供了一种数据处理方法，包括：利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；利用所述本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点...

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。2.根据权利要求1所述的方法，其特征在于，所述在所述第一主节点中进行数据更新，包括：在所述第一主节点中进行数据修改；所述方法还包括：在所述第一主节点中进行数据修改前，确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录；其中，所述读取记录缓存集群用于缓存数据读取记录，所述指定时间范围包括当前时间之前至当前时间的预设时间范围。3.根据权利要求1所述的方法，其特征在于，所述在所述第一主节点中进行数据更新，包括：在所述第一主节点中进行数据修改；所述方法还包括：在所述第一主节点中进行数据修改前，根据读取记录缓存集群中缓存的数据读取记录，确定所述第二主节点中缓存有待修改数据，并在所述第二主节点中删除所述待修改数据；其中，所述读取记录缓存集群用于缓存数据读取记录；所述第二从节点在所述第二主节点数据删除完成后，自动同步所述第二主节点中的数据；所述根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新，包括：根据所述第一主节点中的数据修改结果，在所述第二主节点中增加修改后的数据。4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：利用所述分布式一致性算法，在所述读取记录缓存集群包括的多个第三节点中确定第三主节点和第三从节点；其中，所述读取记录缓存集群包括多个第三节点，所述第三从节点在所述第三主节点缓存数据读取记录完成后，自动同步所述第三主节点中的数据；所述第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：设置第一配置信息；其中，所述第一配置信息用于配置每次在所述第一主节点中数据更新完成后，所述数据存储集群中均有超过预设数量比例的第一从节点，自动同步所述第一主节点中的数据；其中，所述预设数量比例为进行数据同步的所述第一从节点的数量占全部所述第一从节点的数量的比例；设置第二配置信息；其中，所述第二配置信息用于配置每次在所述第二主节点中数据更新完成后，所述数据缓存集群中全部的第二从节点，均自动同步所述第二主节点中的数据；设置第三配置信息；其中，所述第三配置信息用于配置每次在所述第三主节点中缓存数据读取记录完成后，所述读取记录缓存集群中全部的第三从节点，均自动同步所述第三主节点中的数据。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述第二主节点或所述第二从节点中查询目标数据；若未查询到，则向所述第一主节点发送所述目标数据对应的数据查询请求，其中，所述第一主节点根据所述数据查询请求提供数据查询功能，或者，所述第一主节点控制存储有所述目标数据的第一从节点提供数据查询功能；根据提供的所述数据查询功能获取所述目标数据；在所述第二主节点中缓存所述目标数据，其中，所述数据缓存集群中的第二从节点在所述第二主节点缓存所述目标数据完成后，自动同步所述第二主节点中的数据。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：利用混合逻辑时钟HLC设置各个所述第一节点、各个所述第二节点、各个所述第三节点的...

【专利技术属性】
技术研发人员：孙蔚，李涛，
申请(专利权)人：麒麟合盛网络技术股份有限公司，
类型：发明
国别省市：北京,11