一种云边协同的跨国资源同步方法及系统技术方案

本发明专利技术公开了一种云边协同的跨国资源同步方法及系统，包括以下步骤：1)对当前区域的资源文件元数据进行KV数据索引生成，并持久化到当前区域的资源数据库；2)端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，同时拉取其它区域的资源文件到当前区域的OSS云存储；本发明专利技术使多个模块解耦协同工作传输资源文件，合理集成控制成本，突破跨国复杂网络环境中数据传输难题，完成文件跨国同步，保障传输可靠稳定。保障传输可靠稳定。保障传输可靠稳定。

【技术实现步骤摘要】
一种云边协同的跨国资源同步方法及系统


[0001]本专利技术涉及跨国数据同步传输的
，尤其是指一种云边协同的跨国资源同步方法及系统。

技术介绍

[0002]在经济全球一体化下，跨国传输过程中可能会受到许多未知的因素影响，出现传输中断、传输错误的情况。跨国传输大数据有以下技术瓶颈：一是数据的可靠性的问题，即网络传输的可靠性及写入存储介质的可靠性存在一定的差异；二是目前超大文件传输、海量文件传输的传输效率较低，需要提升传输效率，以达到在短时间内更快的传输；三是跨国网络对传输的影响。
[0003]如果因为选择不完善的文件传输解决方案导致数据泄露，那对于企业或是公司都是难以接受的。如何保障数据正确、完整地传输到目标地，确保源文件和目标文件100％一致需要详尽地考虑与设计。

技术实现思路

[0004]本专利技术目的在于为解决现有技术中的不足，提供了一种云边协同的跨国资源同步方法及系统，利用当今公有云服务，合理集成控制成本，突破跨国复杂网络环境中数据传输难题。
[0005]为实现上述目的，本专利技术所提供的技术方案为：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边协同的跨国资源同步方法，其特征在于，包括以下步骤：1)对当前区域的资源文件元数据进行KV数据索引生成，并将当前区域的资源文件元数据持久化到当前区域的资源数据库；2)当前区域的端侧上传资源文件到当前区域的中央管道或边缘管道，文件流同步写入OSS云存储或minio存储，并向当前区域的资源数据库新增相应的资源文件元数据；3)将当前区域的资源数据库中的所有资源文件元数据订阅到共享kafka集群；4)当前区域的文件同步服务从共享kafka集群消费其它区域共享的资源文件元数据，生成新的KV数据索引并向当前区域的资源数据库写入相应的资源文件元数据记录，同时从其它区域拉取其它区域的资源文件到当前区域的OSS云存储，待该资源文件传输完成后，更新资源文件元数据记录。2.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：所述资源文件元数据包括唯一ID、区域、状态和组织ID。3.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：所述KV数据索引是提供时间复杂度为O(1)的快速检索元数据区域信息的数据缓存结构。4.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤2)中，当前区域的端侧是通过网络上传资源文件到当前区域的中央管道，文件流同步写入OSS云存储，并向当前区域的资源数据库新增一条状态标记为1的资源文件元数据。5.根据权利要求1所述的一种云边协同的跨国资源同步方法，其特征在于：在步骤2)中，当...

【专利技术属性】
技术研发人员：林子森，
申请(专利权)人：广东时谛智能科技有限公司，
类型：发明
国别省市：