一种分布式文件传输存储方法、设备以及存储介质技术

本发明专利技术公开了一种分布式文件传输存储方法，包括步骤：从第一分布式集群中获取待传输文件；根据传输参数建立连接池；生成所述待传输文件的MD5值文件；利用所述连接池向第二分布式集群传输待传输文件和所述MD5值文件；判断传输任务完成后是否在预设时间段内没有传输任务；响应于预设时间段内没有传输任务，销毁所述连接池。本发明专利技术还公开了一种计算机设备以及可读存储介质。本发明专利技术提出的分布式文件传输存储方法通过将连接池应用到分布式集群之间的文件传输中，极大的提高了传输的效率。

A distributed file transfer storage method, device and storage medium

【技术实现步骤摘要】
一种分布式文件传输存储方法、设备以及存储介质
本专利技术涉及数据传输领域，具体涉及一种分布式文件传输存储方法、设备以及存储介质。
技术介绍
目前，在进行分布式集群之间的数据传输存储时，由于待传输的数据量较大，可能需要较长的时间，而且在传输过程中，安全性也无法保证。因此，急需一种安全、高效地进行分布式集群之间的数据传输文件扫描、传输、存储过程的方法。
技术实现思路
有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例的提出一种分布式文件传输存储方法，包括步骤：从第一分布式集群中获取待传输文件；根据传输参数建立连接池；生成所述待传输文件的MD5值文件；利用所述连接池向第二分布式集群传输待传输文件和所述MD5值文件；判断传输任务完成后是否在预设时间段内没有传输任务；响应于预设时间段内没有传输任务，销毁所述连接池。在一些实施例中，根据传输参数建立连接池，进一步包括：根据所需连接池大小、传输协议以及目的端IP设置所述连接池。在一些实施例中，还包括：设置预定数量的线程。在一些实施例中，生成所述待传输文件的MD5值文件，进一步包括：使用GoogleGuava生成待传输文件的MD5值以及test.本文档来自技高网...

【技术保护点】
1.一种分布式文件传输存储方法，包括步骤：从第一分布式集群中获取待传输文件；根据传输参数建立连接池；生成所述待传输文件的MD5值文件；利用所述连接池向第二分布式集群传输待传输文件和所述MD5值文件；判断传输任务完成后是否在预设时间段内没有传输任务；响应于预设时间段内没有传输任务，销毁所述连接池。

【技术特征摘要】
1.一种分布式文件传输存储方法，包括步骤：从第一分布式集群中获取待传输文件；根据传输参数建立连接池；生成所述待传输文件的MD5值文件；利用所述连接池向第二分布式集群传输待传输文件和所述MD5值文件；判断传输任务完成后是否在预设时间段内没有传输任务；响应于预设时间段内没有传输任务，销毁所述连接池。2.如权利要求1所述的方法，其特征在于，根据传输参数建立连接池，进一步包括：根据所需连接池大小、传输协议以及目的端IP设置所述连接池。3.如权利要求2所述的方法，其特征在于，还包括：设置预定数量的线程。4.如权利要求1所述的方法，其特征在于，生成所述待传输文件的MD5值文件，进一步包括：使用GoogleGuava生成所述待传输文件的MD5值以及test.txt文件；将所述MD5值写入到文件test.txt.md5，以得到所述MD5值文件。5.如权利要求1所述的方法，其特征在于，利用所述连接池向第二分布式集群传输待传输文件和所述MD5值文件，进一步包括...

【专利技术属性】
技术研发人员：刘洋，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏,32