【技术实现步骤摘要】
本专利技术涉及一种文件跨域同步方法，特别是一种面向分布式文件系统的文件跨域同步方法。
技术介绍
1、大数据时代，随着指挥信息系统研究的不断深入发展，其应用领域不断扩张，基础文件数据规模越来越大，文件同步备份已经与业务运作息息相关，用户面临着海量数据的管理难题，为了保证业务的持续性和稳定性，文件同步被广泛地应用在数据级容灾技术中，低网络带宽、高同步效率和宽传输范围的面向分布式文件系统的文件同步处理成为迫切并且必然的要求。现阶段，一方面传统的基于分布式文件系统的文件同步监控功能还不够完善，无法递归获取文件目录下文件数据变化；另一方面，传统的文件同步缺乏对异地文件差异数据的快速获取能力，传输重复文件数据导致同步操作数据传输量大，从而带来网络带宽的消耗；同时，基于http/https通信协议的文件同步，无法满足跨网跨域传输的文件同步处理发展要求。
技术实现思路
1、专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种面向分布式文件系统的文件跨域同步方法。
2、为了解决上述技术问题，本专利技术公开了一种面向分布式文件系统的文件跨域同步方法，包括：文件目录监控模块、文件数据处理模块、文件传输调度模块、文件数据更新模块和文件运维监控模块，其中：
3、文件目录监控模块，用于在分布式文件系统中，创建监控实例：对分布式文件系统的文件目录进行监控，当监控到文件内容或属性发生变化，则构建文件变更事件队列并缓存文件变更数据；
4、文件数据处理模块，用于
5、当上述的文件同步操作为跨域传输时，使用文件传输调度模块，完成源端与目的端文件数据的跨域传输；
6、当接受到跨域传输的数据时，使用文件数据更新模块，完成本地文件数据的重建和更新；
7、文件运维监控模块，用于完成文件同步节点创建、分布式文件系统的地址和路径配置、文件同步过程监控。
8、进一步的，所述的文件目录监控模块，包括：文件目录装载单元、数据变更捕获单元和变更数据缓存单元，其中：
9、所述的文件目录监控模块，读取预设的配置文件，获取分布式文件系统的地址和路径信息，创建监控实例；
10、文件目录装载单元将待监控的文件目录注册到创建的监控实例中并设置待监控事件；
11、数据变更捕获单元，用于持续捕获待监控事件，递归待监控的文件目录，当监控到待监控事件，即文件或目录发生变时，构建变化数据实体类，形成文件变更数据；所述的文件变更数据中，包括：文件变更类型、文件数据和文件元数据；
12、变更数据缓存单元，用于缓存文件变更数据，并根据变化数据实体类构建文件变更事件队列。
13、进一步的，所述的文件数据处理模块，包括：同步事件管理单元、全量数据处理单元和差异数据处理单元，其中：
14、同步事件管理单元，用于监听本地的文件变更事件队列，对文件变更事件队列中的文件变更类型进行判断，并根据所述文件变更类型，进行后续传输。
15、进一步的，所述的文件传输调度模块，包括：统一传输封装单元、路由寻址单元和报文收发单元，其中：
16、统一传输封装单元，用于将待传输的数据按照预设的报文格式进行封装；
17、路由寻址单元，用于查询传输调度路由表，获取目的端地址；
18、报文收发单元，根据源端和目的端地址，初始化文件同步节点，并启动跨域传输发送线程和接收线程，完成源端和目的端之间心跳报文、数据报文和文件报文的收发，实现源端与目的端文件数据的跨域传输。
19、进一步的，所述的文件数据更新模块，包括：文件数据缓存单元、文件数据重建单元和文件数据更新单元，其中：
20、文件数据缓存单元，用于报文解析并缓存，即将接收到的报文信息按照预设方式进行解析，解析后的数据加入缓存列表；
21、文件数据重建单元，用于重建数据，循环读取缓存列表，根据文件变更类型、文件数据和文件元数据，重演数据变更过程，完成文件数据重建，得到文件变更数据；
22、文件数据更新单元，用于更新数据，将文件数据重建单元中重建得到的文件变更数据更新至本地。
23、进一步的，所述的文件运维监控模块，包括：同步策略管理单元、同步状态监控单元和同步历史统计单元，其中：
24、同步策略管理单元，对文件同步节点信息进行配置，并对分布式文件系统的地址和文件路径进行配置；
25、同步状态监控单元，对文件同步进程的资源消耗和存活状态进行状态监控；
26、同步历史统计单元，对历史文件同步数据量和同步事务信息进行统计。
27、进一步的，所述的差异数据处理单元，对异地两端文件进行差异数据计算时，使用基于rsync算法的文件差异数据同步算法。
28、进一步的，同步事件管理单元中，所述文件变更类型包括：文件创建操作、文件内容变更操作、重命名操作、位置移动操作和删除操作。
29、进一步的，同步事件管理单元中，所述后续传输方法包括：
30、当所述文件变更类型为文件创建时，采用全量数据处理单元，将该文件进行分块并全部传输到对端；
31、当所述文件变更类型为文件内容变更时，使用差异数据处理单元，对源端和目的端的文件进行差异数据计算，并将差异数据传输到对端；
32、当所述文件变更类型为重命名、位置移动和删除操作时，不进行文件数据传输，只将所述文件变更类型以及文件自身的元数据信息传输到对端。
33、进一步的，所述的文件运维监控模块中的同步策略管理单元、同步状态监控单元和同步历史统计单元，通过可视化界面进行操作
34、有益效果：
35、(1)本专利技术采用基于rsync算法的文件差异数据同步算法，实时获取异地两端文件的差异部分，提供低网络带宽、高同步效率的基于分布式文件系统的文件同步能力。
36、(2)本专利技术采用基于实时传输的跨域传输调度框架，动态查询调度路由表获取目的端地址，提供稳定可靠的跨网跨域文件同步能力。
37、(3)本专利技术提供基于事件的文件目录监控机制，采用文件目录递归监控和文件数据变更事件分类处理，有效提升了文件同步处理的适应性。
38、(4)本专利技术中文件同步运维监控的各功能单元之间通过api接口方式调用，便于后续拓展开发，提高了系统的执行效率。
本文档来自技高网...【技术保护点】
1.一种面向分布式文件系统的文件跨域同步方法，其特征在于，包括：文件目录监控模块(1)、文件数据处理模块(2)、文件传输调度模块(3)、文件数据更新模块(4)和文件运维监控模块(5)，其中：
2.根据权利要求1所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件目录监控模块(1)，包括：文件目录装载单元(6)、数据变更捕获单元(7)和变更数据缓存单元(8)，其中：
3.根据权利要求2所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件数据处理模块(2)，包括：同步事件管理单元(9)、全量数据处理单元(10)和差异数据处理单元(11)，其中：
4.根据权利要求3所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件传输调度模块(3)，包括：统一传输封装单元(12)、路由寻址单元(13)和报文收发单元(14)，其中：
5.根据权利要求4所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件数据更新模块(4)，包括：文件数据缓存单元(15)、文件数据重建单元(16)和文件
6.根据权利要求5所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件运维监控模块(5)，包括：同步策略管理单元(18)、同步状态监控单元(19)和同步历史统计单元(20)，其中：
7.根据权利要求6所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的差异数据处理单元(11)，对异地两端文件进行差异数据计算时，使用基于Rsync算法的文件差异数据同步算法。
8.根据权利要求7所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，同步事件管理单元(9)中，所述文件变更类型包括：文件创建操作、文件内容变更操作、重命名操作、位置移动操作和删除操作。
9.根据权利要求8所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，同步事件管理单元(9)中，所述后续传输方法包括：
10.根据权利要求9所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件运维监控模块(5)中的同步策略管理单元(18)、同步状态监控单元(19)和同步历史统计单元(20)，通过可视化界面进行操作。
...【技术特征摘要】
1.一种面向分布式文件系统的文件跨域同步方法，其特征在于，包括：文件目录监控模块(1)、文件数据处理模块(2)、文件传输调度模块(3)、文件数据更新模块(4)和文件运维监控模块(5)，其中：
2.根据权利要求1所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件目录监控模块(1)，包括：文件目录装载单元(6)、数据变更捕获单元(7)和变更数据缓存单元(8)，其中：
3.根据权利要求2所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件数据处理模块(2)，包括：同步事件管理单元(9)、全量数据处理单元(10)和差异数据处理单元(11)，其中：
4.根据权利要求3所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件传输调度模块(3)，包括：统一传输封装单元(12)、路由寻址单元(13)和报文收发单元(14)，其中：
5.根据权利要求4所述的一种面向分布式文件系统的文件跨域同步方法，其特征在于，所述的文件数据更新模块(4)，包括：文件数据缓存单元(15)、文件数据重建单元(16)和文件数据更新单元(...
【专利技术属性】
技术研发人员：万峰华，周铖辉，焦涌，王成，余臻，柯正祥，陆保国，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。