文件同步方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:19703266 阅读:24 留言:0更新日期:2018-12-08 14:29
本申请涉及一种文件同步方法、装置、计算机设备和存储介质。所述方法包括:接收文件同步指令;根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;当全量同步完成时,确定从开始全量同步起所新增的文件的总量;当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。采用本方案能够提高文件同步效率。

【技术实现步骤摘要】
文件同步方法、装置、计算机设备和存储介质
本申请涉及计算机
,特别是涉及一种文件同步方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展,信息化程度越来越高,业务处理过程中对应生成的文件数量也越来越多。为了满足业务需求,可能会将本地存储的海量文件同步至另一服务器或服务器集群。文件同步过程中,文件同步效率和文件同步对在线业务的影响是值得关注的问题。目前,文件同步过程中,为了保证文件的一致性,通常采用离线方式进行文件同步。离线方式是指线下将本地存储的海量文件拷贝至另一服务器或服务器集群。然而,这种文件同步方式存在同步效率低的问题。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高同步效率的文件同步方法、装置、计算机设备和存储介质。一种文件同步方法,所述方法包括:接收文件同步指令;根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;当全量同步完成时,确定从开始全量同步起所新增的文件的总量;当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。在其中一个实施例中,所述方法还包括:当所述总量小于所述预设阈值时,以增量同步方式将所述从开始全量同步起所新增的文件同步至所述目标服务器。在其中一个实施例中,所述方法还包括:当产生新增文件时,将所述新增文件对应的文件标识记录在日志中;在以增量同步方式同步的过程中,实时检测所述日志中新增的文件标识;根据新增的所述文件标识获取相应的新增文件和新增文件的文件存储路径;将获取的所述新增文件和新增文件的文件存储路径实时同步至所述目标服务器;实时同步的新增文件和新增文件的文件存储路径,用于指示所述目标服务器按照实时同步的新增文件的文件存储路径存储实时同步的新增文件。在其中一个实施例中,所述方法还包括:在迭代进行的同步过程中,当从上次同步起新增的文件的总量小于所述预设阈值时,结束迭代,并以增量同步方式将从上次同步起新增的文件同步至所述目标服务器。在其中一个实施例中,所述方法还包括:当新增文件时,将新增的所述文件对应的文件标识和新增时间记录在日志中;所述当全量同步完成时,确定从开始全量同步起所新增的文件的总量包括:当全量同步完成时,获取全量同步开始时间;从所述日志中筛选出新增时间晚于所述全量同步开始时间的文件标识;将筛选出的所述文件标识对应的文件的数量,确定为从开始全量同步起所新增的文件的总量。在其中一个实施例中,所述方法还包括:接收所述目标服务器反馈的表示同步失败的提示信息;根据所述提示信息确定同步失败的文件和相应的文件存储路径;将所确定的所述文件和相应的文件存储路径重新同步至目标服务器。在其中一个实施例中,所述方法还包括:实时检测网络传输流量;将所述网络传输流量与预设流量阈值进行比较;当所述网络传输流量达到所述预设流量阈值时,降低文件同步速率。一种文件同步装置,所述装置包括:接收模块,用于接收文件同步指令;查询模块,用于根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;全量同步模块,用于将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;确定模块,用于当全量同步完成时,确定从开始全量同步起所新增的文件的总量;迭代同步模块,用于当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:接收文件同步指令;根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;当全量同步完成时,确定从开始全量同步起所新增的文件的总量;当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:接收文件同步指令;根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;当全量同步完成时,确定从开始全量同步起所新增的文件的总量;当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。上述文件同步方法、装置、计算机设备和存储介质,根据接收到的文件同步指令进行全量同步,全量同步过程中将已有文件和对应的文件存储路径一起同步至目标服务器,以使得目标服务器根据文件存储路径对应存储相应的已有文件,从而保证文件同步前后,文件存储路径的一致性。当全量同步完成、且全量同步过程中新增的第一增量文件数量达到预设数量阈值时,自动触发迭代式增量同步,将新增文件同步至目标服务器,这样,在保证了文件一致性的情况下,可以有效提高文件同步效率。附图说明图1为一个实施例中文件同步方法的应用场景图;图2为一个实施例中文件同步方法的流程示意图;图3为另一个实施例中文件同步方法的流程示意图;图4为一个实施例中文件同步装置的结构框图;图5为另一个实施例中文件同步装置的结构框图;图6为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。本申请提供的文件同步方法,可以应用于如图1所示的应用环境中。其中,源服务器104通过网络分别与终端102和目标服务器106进行通信。源服务器104根据终端102发送的文件同步指令查询待同步的已有文件和文件存储路径,将查询到的已有文件和文件存储路径全量同步至目标服务器106,以使得目标服务器106根据文件存储路径存储已有文件。进一步地,全量同步完成时,源服务器104获取全量同步过程中新增的文件的总量,当总量达到预设阈值时,源服务器迭代地将新增的文件同步至目标服务器106。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,源服务器104和目标服务器106均可以用独立的服务器或者是多个服务器组成的服务器集群来实现。源服务器104和目标服务器106可以部署在同一机房内,也可以分别部署于不同机房。以源服务器104和目标服务器106分别部署于不同机房为例。源服务器104部署在主机房,具有读写属性,即源服务器104支持写操作和读操作。目标服务器106部署在备机房,具有只读属性,即目标服务器106仅支持读操作不支持写操作。读写属性或只读属性分别用相应的属性参数对应表示,比如属性参数1表示读写属性,属性参数0表示只读属性。在一个实施例中,如图2所示,提供了一种文件同步方法,以该方法应用于图1中的源服务器为例进行说明,包括以下步骤:S202,接收文件同步指令。其中,文件同步指令是触发文件同步操作的指令。具本文档来自技高网...

【技术保护点】
1.一种文件同步方法,所述方法包括:接收文件同步指令;根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;当全量同步完成时,确定从开始全量同步起所新增的文件的总量;当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。

【技术特征摘要】
1.一种文件同步方法,所述方法包括:接收文件同步指令;根据所述文件同步指令查询待同步的已有文件和相应的文件存储路径;将所述已有文件和所述文件存储路径全量同步至目标服务器;所述文件存储路径用于指示所述目标服务器按照所述文件存储路径存储所述已有文件;当全量同步完成时,确定从开始全量同步起所新增的文件的总量;当所述总量大于或等于预设阈值时,迭代地将从上次同步起新增的文件同步至所述目标服务器。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述总量小于所述预设阈值时,以增量同步方式将所述从开始全量同步起所新增的文件同步至所述目标服务器。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:当产生新增文件时,将所述新增文件对应的文件标识记录在日志中;在以增量同步方式同步的过程中,实时检测所述日志中新增的文件标识;根据新增的所述文件标识获取相应的新增文件和新增文件的文件存储路径;将获取的所述新增文件和新增文件的文件存储路径实时同步至所述目标服务器;实时同步的新增文件和新增文件的文件存储路径,用于指示所述目标服务器按照实时同步的新增文件的文件存储路径存储实时同步的新增文件。4.根据权利要求1所述的方法,其特征在于,所述方法还包括:在迭代进行的同步过程中,当从上次同步起新增的文件的总量小于所述预设阈值时,结束迭代,并以增量同步方式将从上次同步起新增的文件同步至所述目标服务器。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:当新增文件时,将新增的所述文件对应的文件标识和新增时间记录在日志中;所述当全量同步完成时,确定从开始全量同步起所新增的文件...

【专利技术属性】
技术研发人员:李清东
申请(专利权)人:康键信息技术深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1