数据的处理方法及装置、电子设备和存储介质制造方法及图纸

技术编号:40816279 阅读:18 留言:0更新日期:2024-03-28 19:36
本申请涉及一种数据的处理方法及装置、电子设备和存储介质,其中,该方法包括:在接收到用于执行同步任务的文件操作请求,且确定文件配置有复制规则的情况下,从数据库中获取同步策略信息并提交复制事件到消息中间件中的第一消息队列中,其中,复制事件包括表征同步策略信息的任务;将同步任务分发到消息中间件的第二消息队列中,并将同步任务信息提交至消息中间件的第三消息队列中;从第二消息队列中获取同步任务,并与异地存储应用程序编程接口API进行交互以实现任务同步。通过本申请,解决了现有技术中对一个文件写事件对应多个异地同步任务的业务,导致迭代成本较高的问题。

【技术实现步骤摘要】

本申请涉及数据处理领域,尤其涉及一种数据的处理方法及装置、电子设备和存储介质


技术介绍

1、对于单一的对象存储系统的使用场景,并不能完全保障文件不丢失,因此目前常使用多地、多云等方式实现异地多副本冗余存储。多地、多云的存储系统与原系统是处于不同网络的2套相对独立的存储系统,可根据事件内容及同步策略调用异地存储系统的api,实现异地同步操作,即一个写事件对应一个异地同步任务。由于异地同步api的调用会经常发生网络、权限等多种问题,因此实现上往往需要针对性的进行容错开发,以便在异常情况处理完成后,可以重复执行失败任务。管理任务进度方面,对于多个异地同步任务,需要建立相应的进度管理流程来追踪和管理每个任务的状态和进度,同时也增加了管理复杂性,并需要监控和调度来确保任务的顺利执行。

2、基于此,目前的文件异地同步方案,都是采用基于某一个系统作为中心,将与之直接相关的文件操作作为一个写事件录入到一个关系型数据库表中,由另外一个进程对列表进行监听,当该进程发现有新的事件发生时,通过事件所携带的信息与异地策略结合实行异地同步操作,但在整个过程中涉及表事件的本文档来自技高网...

【技术保护点】

1.一种数据的处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种数据的处理装置,其特征在于,包括:

9.一种电子设备,包括:至少一个通信接口;与所述至...

【技术特征摘要】

1.一种数据的处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包...

【专利技术属性】
技术研发人员:周荣
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1