本发明专利技术涉及信息技术领域，具体涉及一种基于文件系统的数据同步方法、系统及存储介质，方法包括以下步骤：接收需要同步的文件和/或目录，接收目标计算机信息；获得需要同步的文件和/或目录所在的文件系统类型；根据文件系统类型，解析文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；根据有效数据块位置将有效数据块同步到目标计算机，目标计算机生成复原文件系统；目标计算机分析复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。本发明专利技术的有益技术效果包括：同时满足快速进行海量小文件数据的同步以及灵活选中特定文件/目录进行同步的需求，大大缩减了海量小文件的同步时间。同步时间。同步时间。
【技术实现步骤摘要】
一种基于文件系统的数据同步方法、系统及存储介质
[0001]本专利技术涉及信息
，具体涉及一种基于文件系统的数据同步方法、系统及存储介质。
技术介绍
[0002]随着信息技术的发展，各个应用系统产生的数据越来越多，数据同步的需求也凸显。
[0003]对于非结构化数据，传统的同步方案主要是通过操作系统的文件操作接口对源计算机的文件系统的数据进行遍历、读取然后通过 IP网络、FC等方式同步到目的计算机。或者是越过操作系统提供的文件操作接口直接对磁盘进行块复制。对于具有海量小文件的文件系统来说，通过文件操作接口的方式需要频繁进行系统调用、磁盘寻址，无法满足快速同步数据的需求。而使用磁盘块复制的方式进行数据同步，又无法选择特定文件/目录进行复制，有灵活度过低的缺点。为此，需要研究能够提高基于文件系统的数据同步技术。
[0004]现有技术公开了一种文件系统远程数据同步实现方法和系统，该方法包括：通过本地服务器中部署的同步代理收集本地服务器的第一文件系统数据的相关信息，并将第一文件系统数据的相关信息和预设的数据比较算法传输给远端服务器中部署的数据保护服务器；数据保护服务器通过数据比较算法将第一文件系统数据的相关信息和远端服务器的第二文件系统数据的相关信息进行比较，并在比较结果为第一文件系统数据的相关信息和第二文件系统数据的相关信息不相同时，将比较结果反馈给同步代理；同步代理根据该比较结果执行本地服务器和远端服务器之间的数据同步。通过该实施例方案，实现了在实时性要求不强，低质量网络下对文件系统数据的远程保护。但其技术方案不能解决目前基于文件系统的数据同步效率低或者基于硬盘块同步灵活度低的问题。
技术实现思路
[0005]本专利技术所要解决的技术问题：目前基于文件系统的数据同步效率低或者基于硬盘块同步灵活度低的问题。推出了一种基于文件系统的数据同步方法、系统及存储介质，能够兼顾数据同步效率低或者灵活度。
[0006]为解决上述技术问题，本专利技术采用如下技术方案：一种基于文件系统的数据同步方法，包括以下步骤：接收需要同步的文件和/或目录，接收目标计算机信息；获得需要同步的文件和/或目录所在的文件系统类型；根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述目标计算机生成复原文件系统；所述目标计算机分析所述复原文件系统，删除非需要同步的文件和/或目录，完成
数据同步。
[0007]作为优选，解析所述文件系统的信息的方法包括：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。
[0008]作为优选，解析所述文件系统的元数据的方法包括：建立若干个文件系统解析模块，若干个所述文件系统解析模块分别对应不同的文件系统类型；根据所述文件系统类型，选择对应的所述文件系统解析模块解析所述文件系统获得所述文件系统的元数据。
[0009]作为优选，记录有效数据块位置的方法包括：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。
[0010]作为优选，所述目标计算机生成复原文件系统的方法包括：将全部所述有效数据块存储；读取所述有效数据块包含的元数据；根据所述元数据建立所述有效数据库包含的文件和/或目录的索引，完成复原文件系统的生成。
[0011]一种基于文件系统的数据同步系统，用于执行如前述的一种基于文件系统的数据同步方法，包括输入模块、探测模块、文件系统解析模块、有效数据块记录模块、数据传输模块和元数据裁剪模块，所述输入模块接收、探测模块、文件系统解析模块、有效数据块记录模块和数据传输模块均部署在数据源所在计算机，所述元数据裁剪模块部署在目标计算机，所述输入模块接收需要同步的文件和/或目录，并接收目标计算机信息，所述探测模块获得需要同步的文件和/或目录所在的文件系统类型，所述文件系统解析模块根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，所述有效数据块记录模块记录有效数据块位置，所述数据传输模块根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述元数据裁剪模块生成复原文件系统，所述元数据裁剪模块分析所述复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。
[0012]作为优选，所述文件系统解析模块解析所述文件系统的信息时，执行以下步骤：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。
[0013]作为优选，所述有效数据块记录模块记录有效数据块位置时，执行以下步骤：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。
[0014]一种计算机系统，所述计算机系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述的一种基于文件系统的数据同步方法。
[0015]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机系统执行时实现如前述的一种基于文件系统的数据同步方法。
[0016]本专利技术的有益技术效果包括：实现对文件系统进行识别及解析，分析出所选中的文件/目录的数据以及元数据所在的磁盘块，对相应磁盘块进行同步，最终同时满足快速进行海量小文件数据的同步以及灵活选中特定文件/目录进行同步的需求，大大缩减了海量小文件的同步时间。
[0017]本专利技术的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。
附图说明
[0018]下面结合附图对本专利技术做进一步的说明：图1为本专利技术实施例数据同步方法流程示意图。
[0019]图2为本专利技术实施例解析文件系统信息方法流程示意图。
[0020]图3为本专利技术实施例目标计算机生成复原文件系统方法流程示意图。
[0021]图4为本专利技术实施例数据同步系统结构示意图。
[0022]图5为本专利技术实施例计算机系统结构示意图。
[0023]其中：10、输入模块，20、探测模块，30、文件系统解析模块，40、有效数据块记录模块，50、数据传输模块，60、元数据裁剪模块，70、计算机系统，71、存储器，72、计算机程序，73、处理器。
具体实施方式
[0024]下面结合本专利技术实施例的附图对本专利技术实施例的技术方案进行解释和说明，但下述实施例仅为本专利技术的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于文件系统的数据同步方法，其特征在于，包括以下步骤：接收需要同步的文件和/或目录，接收目标计算机信息；获得需要同步的文件和/或目录所在的文件系统类型；根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述目标计算机生成复原文件系统；所述目标计算机分析所述复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。2.根据权利要求1所述的一种基于文件系统的数据同步方法，其特征在于，解析所述文件系统的信息的方法包括：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。3.根据权利要求2所述的一种基于文件系统的数据同步方法，其特征在于，解析所述文件系统的元数据的方法包括：建立若干个文件系统解析模块，若干个所述文件系统解析模块分别对应不同的文件系统类型；根据所述文件系统类型，选择对应的所述文件系统解析模块解析所述文件系统获得所述文件系统的元数据。4.根据权利要求1至3任一项所述的一种基于文件系统的数据同步方法，其特征在于，记录有效数据块位置的方法包括：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。5.根据权利要求1至3任一项所述的一种基于文件系统的数据同步方法，其特征在于，所述目标计算机生成复原文件系统的方法包括：将全部所述有效数据块存储；读取所述有效数据块包含的元数据；根据所述元数据建立所述有效数据库包含的文件和/或目录的索引，完成复原文件系统的生成。6.一种基于文件系统的数据同步系统，用于执行如权利要求1至5任一项所述的一种基于文件系统的数据同步方法，其特征在于，包括输入模块、探测模块、文件系统解析模...
【专利技术属性】
技术研发人员：陈健龙，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。