数据的同步方法及装置、存储介质和处理器制造方法及图纸

技术编号:36954579 阅读:57 留言:0更新日期:2023-03-22 19:15
本申请公开了一种数据的同步方法及装置、存储介质和处理器。该方法包括:通过第二中转节点获取多个目标数据和多个第一中转节点;通过第二中转节点确定多个目标数据的数量和每个第一中转节点处理数据的效率;通过第二中转节点依据多个目标数据的数量和每个第一中转节点处理数据的效率,将每个目标数据分配给每个第一中转节点,以使每个第一中转节点对每个目标数据进行处理,得到处理后的多个目标数据,并将处理后的多个目标数据同步至目的服务器。通过本申请,解决了相关技术中采用集群环境中的源服务器与用于处理数据的中转节点静态绑定的方法,将集群环境中源服务器的数据同步给目的服务器,导致数据同步的效果较差的问题。题。题。

【技术实现步骤摘要】
数据的同步方法及装置、存储介质和处理器


[0001]本申请涉及计算机
,具体而言,涉及一种数据的同步方法及装置、存储介质和处理器。

技术介绍

[0002]集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
[0003]而且,一些集群部署的服务器,通常需要向目标网络同步数据,由于数据源服务器与目的服务器所提供的接口不兼容,或者需要的数据形式不一致,需要中转节点将数据进行处理后再进行同步。这里的中转节点既可以是大型服务器,也可以是PC(Personal Computer,个人计算机)上安装的数据处理软件。以下列举三种应用场景:
[0004](1)在网络安全的审计和控制中,安全厂商常常通过在内部网络中部署代理软件,从集群部署的认证服务器中同步用户,代理软件将用户数据转发至网络安全设备,以帮助网络安全设备完成流量的实名审计和控制。
[0005](2)在复杂审计系统中,各种设备的日志通常各不相同,为了将日志汇本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的同步方法,其特征在于,所述方法应用在数据同步系统中,所述数据同步系统中至少包括多个第一中转节点和第二中转节点,其中所述第一中转节点用于处理数据,所述第二中转节点用于调度所述多个第一中转节点;若所述多个第一中转节点中存在故障节点,则采用所述第一中转节点中除故障节点之外的中转节点代替所述故障节点;若所述第二中转节点发生故障,则采用所述多个第一中转节点中的任意一个中转节点代替所述第二中转节点;该同步方法具体包括:通过所述第二中转节点获取多个目标数据和所述多个第一中转节点,其中,每个目标数据为集群环境中多个源服务器待同步至目的服务器的数据;通过所述第二中转节点确定所述多个目标数据的数量和每个第一中转节点处理数据的效率;通过所述第二中转节点依据所述多个目标数据的数量和每个第一中转节点处理数据的效率,将每个目标数据分配给每个第一中转节点,以使每个第一中转节点对每个目标数据进行处理,得到处理后的多个目标数据,并将所述处理后的多个目标数据同步至所述目的服务器。2.根据权利要求1所述的方法,其特征在于,通过所述第二中转节点依据所述多个目标数据的数量和每个第一中转节点处理数据的效率,将每个目标数据分配给每个第一中转节点包括:依据所述多个目标数据的数量和每个第一中转节点处理数据的效率,计算得到分配给每个第一中转节点的数据量;基于分配给每个第一中转节点的数据量,将每个目标数据分配给每个第一中转节点。3.根据权利要求1所述的方法,其特征在于,在通过所述第二中转节点确定所述多个目标数据的数量和每个第一中转节点处理数据的效率之前,所述方法还包括:确定多个目标中转节点,其中,所述多个目标中转节点中至少包括所述多个第一中转节点;从所述多个目标中转节点中确定所述第二中转节点,以通过所述第二中转节点确定所述多个目标数据的数量和每个第一中转节点处理数据的效率,其中,所述第二中转节点为所述多个目标中转节点中除所述多个第一中转节点之外的中转节点。4.根据权利要求1所述的方法,其特征在于,在通过所述第二中转节点依据所述多个目标数据的数量和每个第一中转节点处理数据的效率,将每个目标数据分配给每个第一中转节点之后,所述方法还包括:判断所述多个第一中转节点中是否存在故障节点;若所述多个第一中转节点中存在故障节点,则从所述多个第一中转节点中确定除故障节点之外的多个第三中转节点,其中,所述第三中转节点用于代替所述第一中转节点对所述多个目标数据进行处理;获取每个第三中转节点处理数据的效率;依据所述多个目标数据的数量和每个第三中转节点处理数据的效率,将每个目标数据分配给每个第三中转节点。5.根据权利要求3所述的方法,其特征在于,在从所述多个目标中转节点中确定所述第二中转节点之后,所述方法还包括:
判断所述第二中转节点是否发生故障;若所述第二中...

【专利技术属性】
技术研发人员:余祖愿万腾飞代应浪沈亚琪卢梦梦
申请(专利权)人:山石网科通信技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1