一种数据同步的方法、装置及介质制造方法及图纸

技术编号:35648531 阅读:15 留言:0更新日期:2022-11-19 16:42
本申请涉及云平台技术领域,公开了本发明专利技术所提供的一种数据同步的方法、装置及介质,应用于云平台,包括:通过预设协议与云管平台建立通讯连接,并监听源数据库中的日志信息。在根据日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中,目的数据获取到新数据时生成数据更新相关消息,并将数据更新相关消息通过预设协议发送至云管平台,以便于云管平台拉取目的数据库中的更新数据进行数据同步。由此,对云平台进行实时监听,在资源信息发生更新时,及时将对应目标更新事件的更新数据存储至目的数据库中,云管平台直接从目的数据库中拉取数据进行数据同步,无需拉取云平台所有数据,避免造成云平台数据库的压力。台数据库的压力。台数据库的压力。

【技术实现步骤摘要】
一种数据同步的方法、装置及介质


[0001]本申请涉及云平台
,特别是涉及一种数据同步的方法、装置及介质。

技术介绍

[0002]随着云计算技术的快速发展,越来越多的公司推出了自己的私有云或公有云平台。不同的云平台底层使用的系统架构不同,因此,在实际的使用场景中,若需要使用多种系统架构的机器时,需要对不同的系统架构部署不同的云平台,此时,为了方便管理和运用,利用云管平台将所有部署的云平台进行统一管理。
[0003]在使用云管平台时,为了保证与下层云平台数据的一致性,需要定期进行数据同步。数据同步时,云管平台会拉去云平台的数据库中的全量数据,通过这样的方式实现数据的一致性。采用这样的方式实时性较差,云管平台无法实时感知到底层云平台数据的变化,并且频繁的进行全量数据拉去会给云平台数据库带来压力,特别是云平台业务处理繁忙时会直接影响云平台的业务质量。
[0004]由此可见,如何保证云管平台和云平台之间数据同步的实时性,以及减少云平台数据库的压力,是本领域技术人员亟待解决的问题。

技术实现思路

[0005]本申请的目的是提供一种数据同步的方法、装置及介质,保证云平台和云管平台之间数据同步的实时性,以及减少云平台数据库的压力,提升用户体验感。
[0006]为解决上述技术问题,本申请提供一种数据同步的方法,应用于云平台,包括:
[0007]通过预设协议与云管平台建立通讯连接;
[0008]监听源数据库中的日志信息;
[0009]在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中;
[0010]通过所述预设协议发送数据更新相关信息至所述云管平台,以便于所述云管平台拉取所述目的数据库中的更新数据进行数据同步;其中,所述数据更新相关消息在所述目的数据库获取到新数据时生成。
[0011]优选地,所述在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中包括:
[0012]获取上一资源信息更新时刻至当前资源信息更新时刻之间的所述日志信息;
[0013]在依据所述日志信息确定资源信息发生更新时,解析所述日志信息得到解析结果;
[0014]根据所述解析结果确定所述目标更新事件;
[0015]转换所述目标更新事件对应的更新数据的格式;
[0016]将转换格式后的更新数据存储至所述目的数据库中。
[0017]优选地,在所述在根据所述日志信息确定资源信息发生更新时,将对应目标更新
事件的更新数据存储至目的数据库中之前,还包括:
[0018]判断是否初次与所述云管平台建立通讯连接;
[0019]若是,将所有资源信息对应的数据存储至所述目的数据库中;
[0020]若否,则进入所述在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中的步骤。
[0021]优选地,所述通过预设协议与云管平台建立通讯连接包括:
[0022]接收建立通讯连接的请求以便建立通讯连接;
[0023]获取所述云管平台发送的心跳包,以便感知与所述云管平台之间的连接状态。
[0024]为了解决上述技术问题,本申请还提供了一种数据同步的方法,应用于云管平台,包括:
[0025]通过预设协议与云平台建立通讯连接;
[0026]接收所述云平台在监听源数据库中的日志信息,并在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中之后,通过所述预设协议发送的数据更新相关信息;其中,所述数据更新相关消息在所述目的数据获取到新数据时生成;
[0027]拉取所述目的数据库中的更新数据以进行数据同步。
[0028]优选地,在所述拉取所述目的数据库中的更新数据以进行数据同步之前,还包括:
[0029]依据纳管的各云平台的相关资源类型,建立不同的消息处理队列;
[0030]将所述数据更新相关信息存储至对应的消息处理队列中;
[0031]对各所述消息处理队列进行过滤,以便保留唯一标识相同且时间戳最新的数据更新相关消息;
[0032]按照预设优先级规则,选取优先处理的目标更新事件;
[0033]从所述目的数据库中拉取所述优先处理的目标更新事件所对应的更新数据以进行数据同步。
[0034]优选地,所述的数据同步的方法,还包括:
[0035]当确定和云平台在预设时长内对同一资源执行操作时,以操作时间戳较新者的执行结果为基准对云管平台数据库进行更新。
[0036]为了解决上述技术问题,本申请还提供了一种数据同步的装置,应用于云平台,包括:
[0037]建立模块,用于通过预设协议与云管平台建立通讯连接;
[0038]监听模块,用于监听源数据库中的日志信息;
[0039]存储模块,用于在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中;
[0040]发送模块,用于通过所述预设协议发送数据更新相关信息至所述云管平台,以便于所述云管平台拉取所述目的数据库中的更新数据进行数据同步;其中,所述数据更新相关消息在所述目的数据库获取到新数据时生成。
[0041]为了解决上述技术问题,本申请还提供了一种数据同步的装置,包括存储器,用于存储计算机程序;
[0042]处理器,用于执行所述计算机程序时实现所述的数据同步的方法的步骤。
[0043]为了解决上述技术问题,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的数据同步的方法的步骤。
[0044]本专利技术所提供的一种数据同步的方法,应用于云平台,包括:通过预设协议与云管平台建立通讯连接,并监听源数据库中的日志信息。在根据日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中,目的数据获取到新数据时生成数据更新相关消息,并将数据更新相关消息通过预设协议发送至云管平台,以便于云管平台拉取目的数据库中的更新数据进行数据同步。由此可见,本申请所提供的技术方案,对云平台进行实时监听,在资源信息发生更新时,及时将对应目标更新事件的更新数据存储至目的数据库中,云管平台直接从目的数据库中拉取数据进行数据同步,无需拉取纳管云平台的所有数据,避免造成云平台数据库的压力。
[0045]此外,本申请还提供一种数据同步的装置和介质,与上述的数据同步的方法相对应,效果同上。
附图说明
[0046]为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0047]图1为本申请实施例所提供的一种数据同步的方法的流程图;
[0048]本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据同步的方法,其特征在于,应用于云平台,包括:通过预设协议与云管平台建立通讯连接;监听源数据库中的日志信息;在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中;通过所述预设协议发送数据更新相关信息至所述云管平台,以便于所述云管平台拉取所述目的数据库中的更新数据进行数据同步;其中,所述数据更新相关消息在所述目的数据库获取到新数据时生成。2.根据权利要求1所述的数据同步的方法,其特征在于,所述在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中包括:获取上一资源信息更新时刻至当前资源信息更新时刻之间的所述日志信息;在依据所述日志信息确定资源信息发生更新时,解析所述日志信息得到解析结果;根据所述解析结果确定所述目标更新事件;转换所述目标更新事件对应的更新数据的格式;将转换格式后的更新数据存储至所述目的数据库中。3.根据权利要求2所述的数据同步的方法,其特征在于,在所述在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中之前,还包括:判断是否初次与所述云管平台建立通讯连接;若是,将所有资源信息对应的数据存储至所述目的数据库中;若否,则进入所述在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的更新数据存储至目的数据库中的步骤。4.根据权利要求2所述的数据同步的方法,其特征在于,所述通过预设协议与云管平台建立通讯连接包括:接收建立通讯连接的请求以便建立通讯连接;获取所述云管平台发送的心跳包,以便感知与所述云管平台之间的连接状态。5.一种数据同步的方法,其特征在于,应用于云管平台,包括:通过预设协议与云平台建立通讯连接;接收所述云平台在监听源数据库中的日志信息,并在根据所述日志信息确定资源信息发生更新时,将对应目标更新事件的...

【专利技术属性】
技术研发人员:孟令鲁闫冬冬
申请(专利权)人:浪潮电子信息产业股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1