一种数据同步方法、装置及电子设备制造方法及图纸

本申请实施例提供一种应用于高可用集群中的数据同步方法、装置及电子设备，通过监测USN日志是否发生变化，并在USN日志发生变化时，向从节点同步发生变化的USN日志所对应的文件。这样，通过USN日志是否发生变化来决定是否向从节点同步自身数据，这相较于相关技术而言，不需要对所有文件的内容本身逐个进行哈希值计算，也不需要额外的存储资源来存储哈希值，因此节约了节点的计算资源以及内存资源。

A Data Synchronization Method, Device and Electronic Equipment

【技术实现步骤摘要】
一种数据同步方法、装置及电子设备
本申请涉及云计算
，具体而言，涉及一种数据同步方法、装置及电子设备。
技术介绍
随着互联网的快速发展，用户业务量的不断增加，对业务的可靠性和性能要求越来越高。在实际的生产环境中，绝大多数集群都是高可用的，高可用集群的数据同步是保证集群一致性的前提。目前，为了保证高可用集群中数据同步的可靠性，会在主节点上定时通过哈希算法来校验数据目录上的文件，一旦发现文件的哈希值和前一次计算的数据目录上的文件的哈希值不一致，就将主节点的数据同步到从节点。这一方案需要对数据目录上的所有文件的内容本身逐个进行哈希值计算，并需要保存前一次计算得到的哈希值，对于主节点的计算资源以及存储资源消耗较大。
技术实现思路
本申请实施例的目的在于提供一种应用于高可用集群中的新的数据同步方法、装置及电子设备，用以解决相关技术中，对于节点的计算资源以及内存资源消耗较大的问题。本申请实施例提供了一种数据同步方法，应用于高可用集群中的主节点上；所述高可用集群包括所述主节点和从节点；所述数据同步方法包括：监测USN(UpdateSequenceNumberJournal，更新序列号)日志是否发生变化；在所述USN日志发生变化时，向所述从节点同步发生变化的所述USN日志所对应的文件。在上述实现过程中，通过USN日志是否发生变化来决定是否向从节点同步自身数据，这相较于相关技术而言，不需要对所有文件的内容本身逐个进行哈希值计算，也不需要额外的存储资源来存储哈希值，因此节约了节点的计算资源以及内存资源。进一步地，所述监测USN日志是否发生变化包括：预设的监测程序监测所述USN日志是否发生变化。需要说明的是，目前在高可用集群中的各个节点上通常都会预设有监测程序(例如看门狗程序)来实现对节点内程序的监控，从而防止程序发生死循环或程序跑飞(程序运行偏离正常的运行路径时即为程序跑飞)。在上述实现过程中，基于监测程序本身就会对节点内程序进行监控的这一特点，由预设的监测程序来实现对USN日志的监测，在程序实现上简单，也不需要在系统内再建专门的USN监测程序，降低了系统复杂度，具有很好的普适性和实用性。进一步地，所述预设的监测程序监测所述USN日志是否发生变化包括：所述监测程序在接收到USN日志管理程序发来的更改通知时，确定所述USN日志发生变化；否则，确定所述USN日志未发生变化；所述更改通知为所述USN日志管理程序在更改所述USN日志时生成的通知。在上述实现过程中，USN日志管理程序在更改USN日志的同时会生成相应的更改通知以发送给监测程序，这样，监测程序在接收到USN日志管理程序发来的更改通知时，即可确定USN日志发生变化；否则，即可确定USN日志未发生变化。这样，通过USN日志管理程序的主动通报即可实现USN日志的变化监测，实现简单，且时效性高。进一步地，所述预设的监测程序监测所述USN日志是否发生变化包括：所述监测程序从上一次解析结束位置处开始读取并解析所述USN日志；在解析结果为空时，确定所述USN日志未发生变化；否则，确定所述USN日志发生变化。在上述实现过程中，监测程序会主动从上一次解析结束位置处开始读取并解析USN日志。通过解析，如果从上一次解析结束后，未有文件发生了修改，或未有新增/删除文件，则本次解析时解析结果为空，进而可以确定USN日志未发生变化；否则，即可确定USN日志发生变化。这样，即实现了对USN日志的变化监测，实现简单。进一步地，在所述监测更新序列号USN日志是否发生变化之前，还包括：接收预先关联的应用程序上传的数据，并保存至预设的数据目录中。在上述实现过程中，在接收预先关联的应用程序上传的数据，并保存至预设的数据目录中时，节点内的USN日志即必然发生了变化，此时即触发监测更新序列号USN日志是否发生变化的机制，进而保证了对上传的数据的同步及时性。本申请实施例还提供了一种数据同步装置，应用于高可用集群中的主节点上；所述高可用集群包括主节点和从节点；所述数据同步装置包括：更新序列号USN日志监测模块、文件确定模块和数据同步模块；所述USN日志监测模块用于监测USN日志是否发生变化；所述文件确定模块用于在所述USN日志发生变化时，确定发生变化的所述USN日志所对应的文件；所述数据同步模块用于向所述从节点同步所述发生变化的所述USN日志所对应的文件。在上述实现过程中，通过USN日志是否发生变化来决定是否向从节点同步自身数据，这相较于相关技术而言，不需要对所有文件的内容本身逐个进行哈希值计算，也不需要额外的存储资源来存储哈希值，因此节约了节点的计算资源以及内存资源。进一步地，所述USN日志监测模块具体用于调用预设的监测程序监测所述USN日志是否发生变化。在上述实现过程中，基于监测程序本身就会对节点内程序进行监控的这一特点，由预设的监测程序来实现对USN日志的监测，在程序实现上简单，也不需要在系统内再建专门的USN监测程序，降低了系统复杂度，具有很好的普适性和实用性。进一步地，所述USN日志监测模块包括接收子模块和第一确认子模块；所述接收子模块用于调用所述监测程序接收到USN日志管理程序发来的更改通知；所述更改通知为所述USN日志管理程序在更改所述USN日志时生成的通知；所述第一确认子模块用于在所述监测程序接收到USN日志管理程序发来的更改通知时，确定所述USN日志发生变化；否则，确定所述USN日志未发生变化。在上述实现过程中，通过USN日志管理程序的主动通报即可实现USN日志的变化监测，实现简单，且时效性高。进一步地，所述USN日志监测模块包括解析子模块和第二确认子模块；所述解析子模块用于调用所述监测程序从上一次解析结束位置处开始读取并解析所述USN日志；所述第二确认子模块用于在解析结果为空时，确定所述USN日志未发生变化；否则，确定所述USN日志发生变化。在上述实现过程中，通过调用监测程序从上一次解析结束位置处开始读取并解析所述USN日志，在本次解析结果为空时确定USN日志未发生变化；否则，确定USN日志发生变化。这样，即实现了对USN日志的变化监测，实现简单。本申请实施例还提供了一种电子设备，包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的一个或者多个程序，以实现上述任一种的数据同步方法的步骤。本申请实施例中还提供了一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种数据同步方法的步骤。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种数据同步方法的流程示意图；图2为本申请实施例提供的一种数据同步的场景示意图；图3为本申请实施例提供的一种数据同步装置的结构框图；图4为本申请实施例提供的一种USN日志监测模块的结构框图；图5为本申请实施例提供的另一种USN日志监测模块的结构框图；图6为本申请实施例提供的一种较具体本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，应用于高可用集群中的主节点上；所述高可用集群包括所述主节点和从节点；所述数据同步方法包括：监测更新序列号USN日志是否发生变化；在所述USN日志发生变化时，向所述从节点同步发生变化的所述USN日志所对应的文件。

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于高可用集群中的主节点上；所述高可用集群包括所述主节点和从节点；所述数据同步方法包括：监测更新序列号USN日志是否发生变化；在所述USN日志发生变化时，向所述从节点同步发生变化的所述USN日志所对应的文件。2.如权利要求1所述的数据同步方法，其特征在于，所述监测USN日志是否发生变化包括：预设的监测程序监测所述USN日志是否发生变化。3.如权利要求2所述的数据同步方法，其特征在于，所述预设的监测程序监测所述USN日志是否发生变化包括：所述监测程序在接收到USN日志管理程序发来的更改通知时，确定所述USN日志发生变化；否则，确定所述USN日志未发生变化；所述更改通知为所述USN日志管理程序在更改所述USN日志时生成的通知。4.如权利要求2所述的数据同步方法，其特征在于，所述预设的监测程序监测所述USN日志是否发生变化包括：所述监测程序从上一次解析结束位置处开始读取并解析所述USN日志；在解析结果为空时，确定所述USN日志未发生变化；否则，确定所述USN日志发生变化。5.如权利要求1所述的数据同步方法，其特征在于，在所述监测更新序列号USN日志是否发生变化之前，还包括：接收预先关联的应用程序上传的数据，并保存至预设的数据目录中。6.一种数据同步装置，其特征在于，应用于高可用集群中的主节点上；所述高可用集群包括主节点和从节点；所述数据同步装置包括：更新序列号USN日志监测模块、文件确定模块和数据同步...

【专利技术属性】
技术研发人员：许广彬，吴业亮，谭瑞忠，濮天晖，刘馗，
申请(专利权)人：无锡华云数据技术服务有限公司，
类型：发明
国别省市：江苏,32