一种高性能云计算云爆发同步方法技术

本发明专利技术公开了一种高性能云计算云爆发同步方法，属于云计算数据同步技术领域。现有的云爆发等解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。本发明专利技术包括任务调度器、同步器、虚拟集群管理器；本发明专利技术能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明专利技术方案合理，易于编程实现，提高云计算效率。

【技术实现步骤摘要】
一种高性能云计算云爆发同步机制
本专利技术涉及一种高性能云计算云爆发同步机制，属于云计算数据同步

技术介绍
在高性能云计算领域中，随着复杂度、运算密集度以及研发需求大规模增加，该领域的企业内购置的多批次高性能运算集群将承载更高的运算能力、运算时间、运算量的压力。因此企业会采取云爆发等解决方案，一方面提供足够弹性的资源能够应对不同时段中的运算需求，另一方面能确保企业内部的关键性任务和数据优先处理。但传统云爆发的解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于提供一种能够有效进行数据同步，从而实现云数据的互通和本地访问的可用性和健壮性的高性能云计算云爆发同步机制。为实现上述目的，本专利技术的技术方案为：一种高性能云计算云爆发同步机制，包括任务调度器、同步器、虚拟集群管理器；任务调度器，用于接受任务的提交，并进行任务调度，以确保不同资源环境下，策略和场景的适用性；虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行本文档来自技高网...

【技术保护点】
1.一种高性能云计算云爆发同步机制，其特征在于，包括任务调度器、同步器、虚拟集群管理器；任务调度器，用于接受任务的提交，并进行任务调度；虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；同步器，用于任务同步；任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件。

【技术特征摘要】
1.一种高性能云计算云爆发同步机制，其特征在于，包括任务调度器、同步器、虚拟集群管理器；任务调度器，用于接受任务的提交，并进行任务调度；虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；同步器，用于任务同步；任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件。2.如权利要求1所述的一种高性能云计算云爆发同步机制，其特征在于，整个数据同步主要分为同步端与需同步端两端，同步端即为任务调度器，而需同步端则为虚拟集群管理以及同步器。3.如权利要求2所述的一种高性能云计算云爆发同步机制，其特征在于，同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致；同步机制中的操作主要涉及原子操作；同步机制中涉及的事务，用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交或当遇到任意错误时执行回滚至事务初始状态。4.如权利要求3所述的一种高性能云计算云爆发同步机制，其特征在于，需同步的事件写入机制：需同步端自身维护序列号seq，即需同步端的时序ID且是单调递增的，并将序列号seq绑定的事件写...

【专利技术属性】
技术研发人员：朱兆生，江汉儒，吴健明，
申请(专利权)人：浙江远算云计算有限公司，远算智能北京科技有限公司，
类型：发明
国别省市：浙江,33