【技术实现步骤摘要】
本申请涉及通信，尤其涉及一种数据同步方法、装置、设备及存储介质。
技术介绍
1、为了满足业务需求，可以按照区域设置对应的分机房对该区域的业务进行处理，每个分机房需要将获得的业务数据传输至中心机房，中心机房对各个分机房的业务数据进行汇总分析。
2、一些示例性的技术中，每个分机房对应设置一个消息中间件，分机房将业务数据存储至消息中间件中。每个消息中间件对应设置至少一个数据同步工具，每个数据同步工具从消息中间件中获取业务数据后，都将业务数据同步至中心机房对应的消息中间件中。
3、实际应用中，新增数据同步需求时，需要对着整个同步链路进行手动调节，数据同步系统的维护成本较高。
技术实现思路
1、本申请提供一种数据同步方法、装置、设备及存储介质，用以解决数据同步系统的维护成本较高技术问题。
2、第一方面，本申请提供一种数据同步方法，应用于数据同步系统，所述数据同步系统包括多个分机房、每个分机房对应的消息中间件、pods容器集群、中心机房以及中心机房对应的消息中间件，所述pods容器集群包括多个pod，该方法包括：接收数据同步指令，所述数据同步指令包括数据同步所需pod的标识、待消费的消息中间件以及中心机房对应的消息中间件；在所述数据同步所需pod的标识对应的pod下创建同步任务，并基于所述数据同步指令对所述同步任务进行配置；启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件。
3、可选
4、可选地，所述数据同步指令还包括待同步数据的主题，所述待消费的消息中间件为kafka，所述接收数据同步指令之后，所述方法还包括：向所述kafka发送所述待同步数据的主题，以使所述kafka创建所述待同步数据的主题对应的消息队列；所述从所述待消费的消息中间件中获取待同步数据，包括：从所述待同步数据主题对应的消息队列中获取待同步数据。
5、可选地，所述中心机房对应的消息中间件为pulsar，所述接收数据同步指令之后，所述方法还包括：向pulsar发送所述待同步数据的主题，以使所述pulsar创建所述待同步数据的主题对应的bookie；所述将所述待同步数据发送给所述中心机房对应的消息中间件之后，所述方法还包括：将所述待同步数据传输给pulsar中的broker，通过所述pulsar中的broker将所述待同步数据存储至所述待同步数据的主题对应的bookie中。
6、可选地，所述启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件之后，所述方法还包括：接收监控指令，所述监控指令包括数据同步所需pod的标识；调用数据同步所需pod的标识对应的pod中代理服务提供的api接口，获取所述同步任务的执行状态。
7、可选地，所述同步任务包括多个线程，所述启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件，包括：启动所述多个线程，从所述待消费的消息中间件中循环拉取所述待同步数据，并将所述待同步数据异步发送给所述中心机房对应的消息中间件。
8、可选地，所述启动所述同步任务，从所述待消费的数据源中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件之后，所述方法还包括：从所述中心机房对应的消息中间件中获取待同步数据，对所述待同步数据进行汇聚、统计和分析。
9、第二方面，本申请提供一种数据同步装置，应用于数据同步系统，所述数据同步系统包括多个分机房、每个分机房对应的消息中间件、pods容器集群、中心机房以及中心机房对应的消息中间件，所述pods容器集群包括多个pod，所述装置包括：接收模块，用于接收数据同步指令，所述数据同步指令包括数据同步所需pod的标识、待消费的消息中间件以及中心机房对应的消息中间件；处理模块，用于在所述数据同步所需pod的标识对应的pod下创建同步任务，并基于所述数据同步指令对所述同步任务进行配置；同步模块，用于启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件。
10、可选地，所述处理模块具体用于：调用数据同步所需pod的标识对应的pod中代理服务提供的api接口，将所述数据同步指令传输给所述代理服务，以使所述代理服务创建所述同步任务，并对所述同步任务进行配置。
11、可选地，所述数据同步指令还包括待同步数据的主题，所述待消费的消息中间件为kafka，所述装置还包括：发送模块，用于向所述kafka发送所述待同步数据的主题，以使所述kafka创建所述待同步数据的主题对应的消息队列；所述同步模块用于从所述待消费的消息中间件中获取待同步数据时，具体用于：从所述待同步数据主题对应的消息队列中获取待同步数据。
12、可选地，所述中心机房对应的消息中间件为pulsar，所述发送模块还用于：向pulsar发送所述待同步数据的主题，以使所述pulsar创建所述待同步数据的主题对应的bookie；所述装置还包括：存储模块，用于将所述待同步数据传输给pulsar中的broker，通过所述pulsar中的broker将所述待同步数据存储至所述待同步数据的主题对应的bookie中。
13、可选地，所述接收模块还用于：接收监控指令，所述监控指令包括数据同步所需pod的标识；所述装置还包括：监控模块，用于调用数据同步所需pod的标识对应的pod中代理服务提供的api接口，获取所述同步任务的执行状态。
14、可选地，所述同步任务包括多个线程，所述同步模块具体用于：启动所述多个线程，从所述待消费的消息中间件中循环拉取所述待同步数据，并将所述待同步数据异步发送给所述中心机房对应的消息中间件。
15、可选地，所述装置还包括：分析模块，用于从所述中心机房对应的消息中间件中获取待同步数据，对所述待同步数据进行汇聚、统计和分析。
16、第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现用于实现如前所述的方法。
17、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前所述的方法。
18、本申请提供的数据同步方法、装置、设备及存储介质中，接收数据同步指令，数据同步指令包括数据同步所需pod的标识、待消费的消息中间件以及中心机房对应的消本文档来自技高网...
【技术保护点】
1.一种数据同步方法，其特征在于，应用于数据同步系统，所述数据同步系统包括多个分机房、每个分机房对应的消息中间件、pods容器集群、中心机房以及中心机房对应的消息中间件，所述pods容器集群包括多个pod，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在所述数据同步所需pod的标识对应的pod下创建同步任务，并基于所述数据同步指令对所述同步任务进行配置，包括：
3.根据权利要求1所述的方法，其特征在于，所述数据同步指令还包括待同步数据的主题，所述待消费的消息中间件为kafka，所述接收数据同步指令之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述中心机房对应的消息中间件为pulsar，所述接收数据同步指令之后，所述方法还包括：
5.根据权利要求2所述的方法，其特征在于，所述启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件之后，所述方法还包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述同步任务包括多个线程，所
7.根据权利要求1-5任一项所述的方法，其特征在于，所述启动所述同步任务，从所述待消费的数据源中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件之后，所述方法还包括：
8.一种数据同步装置，其特征在于，应用于数据同步系统，所述数据同步系统包括多个分机房、每个分机房对应的消息中间件、pods容器集群、中心机房以及中心机房对应的消息中间件，所述pods容器集群包括多个pod，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，所述处理模块具体用于：
10.根据权利要求8所述的装置，其特征在于，所述数据同步指令还包括待同步数据的主题，所述待消费的消息中间件为kafka，所述装置还包括：
11.根据权利要求10所述的装置，其特征在于，所述中心机房对应的消息中间件为pulsar，所述发送模块还用于：
12.根据权利要求9所述的装置，其特征在于，所述接收模块还用于：
13.根据权利要求8-12任一项所述的装置，其特征在于，所述同步任务包括多个线程，所述同步模块具体用于：
14.根据权利要求8-12任一项所述的装置，其特征在于，所述装置还包括：
15.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据同步系统，所述数据同步系统包括多个分机房、每个分机房对应的消息中间件、pods容器集群、中心机房以及中心机房对应的消息中间件，所述pods容器集群包括多个pod，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在所述数据同步所需pod的标识对应的pod下创建同步任务，并基于所述数据同步指令对所述同步任务进行配置，包括：
3.根据权利要求1所述的方法，其特征在于，所述数据同步指令还包括待同步数据的主题，所述待消费的消息中间件为kafka，所述接收数据同步指令之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述中心机房对应的消息中间件为pulsar，所述接收数据同步指令之后，所述方法还包括：
5.根据权利要求2所述的方法，其特征在于，所述启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件之后，所述方法还包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述同步任务包括多个线程，所述启动所述同步任务，从所述待消费的消息中间件中获取待同步数据，并将所述待同步数据发送给所述中心机房对应的消息中间件，包括：
7.根据权利要求1-5任一项所述的方法，其特征在于，所述启动所述同步任务，从所述待消费的数据源中获...
【专利技术属性】
技术研发人员：赵浩，葛迪，赵彦荣，蔡志强，李文月，江浪，吴限，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。