基于多云管理的数据同步方法、系统、终端及存储介质技术方案

本发明专利技术提供一种基于多云管理的数据同步方法、系统、终端及存储介质，包括：利用数据库增量日志监控工具采集目标云平台的增量日志；利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。本发明专利技术避免了不断查询对端平台数据库时对数据库造成的负载过高的缺陷，提高了数据信息更新的实时性。

【技术实现步骤摘要】
基于多云管理的数据同步方法、系统、终端及存储介质
本专利技术涉及多云管理
，具体涉及一种基于大数据的发型推荐方法、系统、终端及存储介质。
技术介绍
企业IT架构日益复杂化，多云战略已经是当下大多数上云企业的选择。2020年Flexera的云状态报告显示，93％的企业在IT架构上选择多云战略。这一多元的环境，使得对接多个云环境，为企业提供查询、迁移和管理的功能也就势在必行。为了方便客户，构建差异化竞争力，浪潮云计算基础平台(简称ICS)开发了多云管理的功能，在平台上可以加入多个云计算基础平台的站点。客户只需要选择云计算产品名称、输入管理地址、端口、版本、用户名、密码即可完成多云站点的加入，从而实现同时管理多个云平台。这里的管理模式是通过接口实现的单向管理，所以会存在以下痛点：对端平台升级后，版本信息无法自动更新；需要频繁加载对端平台主机、虚拟机等数据信息，无形中增加了对端平台的服务器及数据库的负载。目前业内为了减少查询频率，会引入数据缓存机制，通常更新缓存数据依赖设定的定时任务，通过定时任务不断查询更新缓存数据，但这种方式如果查询频率过高，又会触发对端平台负载问题，如果查询频率过低，又可能会因为读取更新数据不及时而导致缓存中数据的准确性下降。
技术实现思路
针对现有技术的上述不足，本专利技术提供一种基于多云管理的数据同步方法、系统、终端及存储介质，以解决上述技术问题。第一方面，本专利技术提供一种基于多云管理的数据同步方法，包括：利用数据库增量日志监控工具采集目标云平台的增量日志；利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。进一步的，所述利用数据库增量日志监控工具采集目标云平台的增量日志，包括：在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。进一步的，所述利用日志解析服务对所述增量日志进行解析并将解析后的增量日志发送至中间消息队列，包括：在本地云平台部署日志解析服务的服务端和客户端；所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；所述服务端将目标云平台推送的增量日志解析为可读消息体；所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。进一步的，所述若监控线程监控到消息队列存在更新的增量日志则将所述增量日志的更新内容同步至本地云平台缓存库，包括：预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。第二方面，本专利技术提供一种基于多云管理的数据同步系统，包括：日志采集单元，配置用于利用数据库增量日志监控工具采集目标云平台的增量日志；日志解析单元，配置用于利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；同步缓存单元，配置用于创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。进一步的，所述日志采集单元包括：日志采集模块，配置用于在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。进一步的，所述日志解析单元包括：服务部署模块，配置用于在本地云平台部署日志解析服务的服务端和客户端；日志采集模块，配置用于所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；日志解析模块，配置用于所述服务端将目标云平台推送的增量日志解析为可读消息体；格式转换模块，配置用于所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；日志发送模块，配置用于所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。进一步的，所述同步缓存单元包括：映射创建模块，配置用于预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；内容同步模块，配置用于将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。第三方面，提供一种终端，包括：处理器、存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本专利技术的有益效果在于，本专利技术提供的基于多云管理的数据同步方法、系统、终端及存储介质，通过利用数据库增量日志监控工具准确的捕捉对端平台的数据变化，并及时的将最新数据同步到本地云平台平台中，避免了不断查询对端平台数据库时对数据库造成的负载过高的缺陷，提高了数据信息更新的实时性。此外，本专利技术设计原理可靠，结构简单，具有非常广泛的应用前景。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例的方法的示意性流程图。图2是本专利技术一个实施例的系统的示意性框图。图3为本专利技术实施例提供的一种终端的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。图1是本专利技术一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种基于多云管理的数据同步系统。如图1所示，该方法100包括：步骤110，利用数据库增量日志监控工具采集目标云平台的增量日志；步骤120，利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；步骤130，创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。为了便于对本专利技术的理解，下面以本专利技术基于多云管理的数据同步本文档来自技高网...

【技术保护点】
1.一种基于多云管理的数据同步方法，其特征在于，包括：/n利用数据库增量日志监控工具采集目标云平台的增量日志；/n利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；/n创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。/n

【技术特征摘要】
1.一种基于多云管理的数据同步方法，其特征在于，包括：
利用数据库增量日志监控工具采集目标云平台的增量日志；
利用日志解析服务抓取所述增量日志，并将所述增量日志解析后发送至中间消息队列；
创建所述消息队列的监控线程，若所述监控线程监控到消息队列存在更新的增量日志，则将所述增量日志的更新内容同步至本地云平台的缓存库。


2.根据权利要求1所述的方法，其特征在于，所述利用数据库增量日志监控工具采集目标云平台的增量日志，包括：
在目标云平台开启增量日志监控功能，若所述增量日志监控工具监控到目标云平台的数据库发生数据增加操作、数据删除操作、数据修改操作或数据查询操作，则采集目标云平台生成的与操作对应的增量日志。


3.根据权利要求1所述的方法，其特征在于，所述利用日志解析服务对所述增量日志进行解析并将解析后的增量日志发送至中间消息队列，包括：
在本地云平台部署日志解析服务的服务端和客户端；
所述服务端模拟目标云平台数据库的主从交互协议向目标云平台发送日志采集请求；
所述服务端将目标云平台推送的增量日志解析为可读消息体；
所述客户端从所述服务端获取所述可读消息体，并将所述可读消息体转换为对象简谱格式的增量日志；
所述客户端将所述对象简谱格式的增量日志发送至中间消息队列。


4.根据权利要求1所述的方法，其特征在于，所述若监控线程监控到消息队列存在更新的增量日志则将所述增量日志的更新内容同步至本地云平台缓存库，包括：
预先创建所述目标云平台的数据库表与本地云平台的缓存库表的映射关系；
将所述增量日志的更新内容同步至与所述增量日志所属表具有映射关系的缓存库表中。


5.一种基于多云管理的数据同步系统，其特征在于，包括：
日志采集单元，配置用于利用数据库增量日志监控工具采集目标云平台的增量日志；
日志解析单元，配置用于利用日志解析...

【专利技术属性】
技术研发人员：桑圣远，闫冬冬，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32