一种高性能云计算云爆发同步方法技术

本发明专利技术公开了一种高性能云计算云爆发同步方法，属于云计算数据同步技术领域。现有的云爆发等解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。本发明专利技术包括任务调度器、同步器、虚拟集群管理器；本发明专利技术能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明专利技术方案合理，易于编程实现，提高云计算效率。

【技术实现步骤摘要】
一种高性能云计算云爆发同步机制
本专利技术涉及一种高性能云计算云爆发同步机制，属于云计算数据同步

技术介绍
在高性能云计算领域中，随着复杂度、运算密集度以及研发需求大规模增加，该领域的企业内购置的多批次高性能运算集群将承载更高的运算能力、运算时间、运算量的压力。因此企业会采取云爆发等解决方案，一方面提供足够弹性的资源能够应对不同时段中的运算需求，另一方面能确保企业内部的关键性任务和数据优先处理。但传统云爆发的解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于提供一种能够有效进行数据同步，从而实现云数据的互通和本地访问的可用性和健壮性的高性能云计算云爆发同步机制。为实现上述目的，本专利技术的技术方案为：一种高性能云计算云爆发同步机制，包括任务调度器、同步器、虚拟集群管理器；任务调度器，用于接受任务的提交，并进行任务调度，以确保不同资源环境下，策略和场景的适用性；虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；同步器，用于任务同步；任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件Eventwriter。本专利技术能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本专利技术方案合理，易于编程实现，提高云计算效率。作为优选技术措施，整个数据同步主要分为同步端与需同步端两端，同步端即为任务调度器，而需同步端则为虚拟集群管理以及同步器，把整个数据链进行分层次处理，便于编程实现。作为优选技术措施，同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致，从而确保数据一致性；同步机制中的操作主要涉及原子操作，确保每次分配的同步事件都是唯一且单调递增的；同步机制中涉及的事务，用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交(commit)或当遇到任意错误时执行回滚至事务初始状态，从而确保需同步一次性写入的日志结构LOG以及绑定的事件。作为优选技术措施，需同步的事件写入机制：需同步端自身维护序列号seq，即需同步端的时序ID且是单调递增的，并将序列号seq绑定的事件写入日志结构LOG，每一次写入是由事件、序列号seq以及需同步端的写入时间组成的集合。当需同步端写入事件时，序列号seq原子性自增，一并提交(commit)事件及绑定序列号seq的日志结构LOG，以确保每次写入事件都是全量的日志结构LOG。这样做的好处是依附于日志结构LOG的特性，使得同步序列都有时序和因果关系，单独事件全量且独立，尤其是对于多云环境下，简化复杂的时序及因果关系，增强整体系统的健壮性。作为优选技术措施，需同步端提供的未同步事件查询机制：由于本专利技术中同步端会主动轮询需同步端，并获取未同步的事件进而同步，因此需同步端提供具体查询同步机制。该同步机制主要传入序列号seq以及需拉取事件的个数n作为参数，从而针对日志结构LOG全集查找最近大于序列号seq的n个事件。这样做保持查询的简单且去除需同步端维护过多的状态所导致的数据一致性问题。作为优选技术措施，同步端轮询同步机制：对于同步端，需维护最新已同步的最后的序列号；当同步时，会先向需同步端通过最后的序列号查询未同步的事件，对于返回未同步的事件逐步根据事件(event)以及写入时间(tw)执行写入操作，并更新最后的序列号用于后续同步并最终提交(commit)该事务；这样做一是确保任意写入失败不会导致级连错误，其二是任意事务的失败下一次同步都会从最近一次已提交的序列号seq继续同步，从而对于系统的稳定性以及健壮性都有一定保障。作为优选技术措施，多云环境下应用同步机制的步骤：步骤1.当本地端云爆发至云端，即为确保本地端的可用性，而不完全实时依赖云端状态，即本地端作为同步端；步骤2.云端作为需同步端，不断写入待同步状态，并提供未同步事件的查询接口；步骤3.本地端作为同步端会间歇性向云端轮询未同步事件并同步自身状态。作为优选技术措施，这样确保同步期间，本地端依然能够处理运算，同时当云端出现故障或者不可用时，本地端依旧能访问已同步后的数据，同时云端需同步的数据不会丢失(除去存储故障)，当故障去除后，同步操作从最近的同步点开始继续同步，这样一是保障本地访问的高可用，二是保障整体系统的健壮性。与现有技术相比，本专利技术具有以下有益效果：本专利技术能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本专利技术方案合理，易于编程实现，提高云计算效率。附图说明图1是本专利技术实施例的模块顺序图；图2是本专利技术需同步的事件写入机制示图；图3为本专利技术需同步端提供的未同步事件查询机制示图；图4为本专利技术同步端轮询同步机制示图；具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。相反，本专利技术涵盖任何由权利要求定义的在本专利技术的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本专利技术有更好的了解，在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。如图1所示，一种高性能云计算云爆发同步机制，其包括从爆发调度以及状态同步的整个生命周期，并包括以下步骤：任务调度器接受任务的提交，并进行任务调度，以确保不同资源环境下，策略和场景的适用性。任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境等调度因子匹配最佳的云端集群，并提交相应输入至该集群。其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态。虚拟集群管理器接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理，当云端集群状态变更后，接收到状态通知并与同步器写入全量事件(Eventwriter)。以下阐述具体同步机制整个数据同步主要分为同步端与需同步端两端，同步端即为图1顺序图中的任务调度器，而需同步端则为虚拟集群管理以及同步器。同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加(Append-only)特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致，从而确保数据一致性。同步机制中的操作主要涉及原子操作，如序列号seq原子性自增，确保每次分配的同步事本文档来自技高网...

【技术保护点】
1.一种高性能云计算云爆发同步机制，其特征在于，包括任务调度器、同步器、虚拟集群管理器；任务调度器，用于接受任务的提交，并进行任务调度；虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；同步器，用于任务同步；任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件。

【技术特征摘要】
1.一种高性能云计算云爆发同步机制，其特征在于，包括任务调度器、同步器、虚拟集群管理器；任务调度器，用于接受任务的提交，并进行任务调度；虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；同步器，用于任务同步；任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件。2.如权利要求1所述的一种高性能云计算云爆发同步机制，其特征在于，整个数据同步主要分为同步端与需同步端两端，同步端即为任务调度器，而需同步端则为虚拟集群管理以及同步器。3.如权利要求2所述的一种高性能云计算云爆发同步机制，其特征在于，同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致；同步机制中的操作主要涉及原子操作；同步机制中涉及的事务，用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交或当遇到任意错误时执行回滚至事务初始状态。4.如权利要求3所述的一种高性能云计算云爆发同步机制，其特征在于，需同步的事件写入机制：需同步端自身维护序列号seq，即需同步端的时序ID且是单调递增的，并将序列号seq绑定的事件写...

【专利技术属性】
技术研发人员：朱兆生，江汉儒，吴健明，
申请(专利权)人：浙江远算云计算有限公司，远算智能北京科技有限公司，
类型：发明
国别省市：浙江,33