一种大文件拆分传输的方法、装置及存储介质制造方法及图纸

本发明专利技术给出了一种大文件拆分传输的方法、装置及存储介质，包括扫描源端服务器的待传输文件信息，根据中转站中的下载程序预设的下载区间对待传输文件进行切断，把待传输文件按下载区间分片下载至中转站上，设置文件拆分名称规则，对中转站上的分片文件按顺序进行编号，在中转站生成记录有当前传输的分片序号的临时文件，根据临时文件中记载的分片序号，通过中转站中的上传程序把分片文件上传到目标服务器。本发明专利技术极大的提升大文件的传输效率，同时节省中转站的存储空间，降低了因存储空间满而造成的文件传输异常。

A Method, Device and Storage Medium for Separating and Transferring Large Files

The invention provides a method, device and storage medium for large file splitting and transmission, including scanning the file information of the source server, cutting the transmission file according to the preset download interval of the download program in the transfer station, downloading the file to the transfer station in segments according to the download interval, setting the rules of file splitting name, and splitting the file on the transfer station. Number in sequence, generate temporary files with the current transmission slice number at the transfer station. According to the slice number recorded in the temporary file, upload the slice file to the target server through the upload program in the transfer station. The invention greatly improves the transmission efficiency of large files, saves the storage space of the transfer station and reduces the abnormal file transmission caused by the full storage space.

【技术实现步骤摘要】
一种大文件拆分传输的方法、装置及存储介质
本专利技术涉及文件传输
，尤其是一种大文件传输的方法、装置及存储介质。
技术介绍
对于一些跨安全域的文件传输，目前采用的方案大多是把整个文件传输到中转站后，再转发到另一个安全域的服务器。这种方式可以正常的实现功能，但是随着时代的发展，出现了越来越多的大文件，甚至可达几百G，这时对于文件传输效率的要求也随之提高。而传统的文件传输方案，需要把几百G完全传输到中转站后，再开始下一步转发到另一个安全域，如果这样的大文件有批量的话，对于传输效率和中转站的磁盘空间是个很大的灾难，甚至可能因磁盘空间满而导致文件丢失。目前传输方案主要存在以下几方面的不足：1.大文件是串行传输，另一半的带宽浪费，造成传输效率低。2.对于中转站磁盘空间的压力过大，无法从理论上实现无限大的文件传输3.通道占用，传输大文件的整个过程中，占用传输流，无法传输其他小文件，造成小文件拥堵。因此，此种方案已经严重阻碍了跨安全域文件传输性能和稳定性。
技术实现思路
针对有现有大文件是串行传输，另一半的带宽浪费，造成传输效率低；对于中转站磁盘空间的压力过大，无法从理论上实现无限大的文件传输通道占用，传输大文件的整个过程中，占用传输流，无法传输其他小文件，造成小文件拥堵，对于传输效率和中转站的磁盘空间是个很大的灾难，甚至可能因磁盘空间满而导致文件丢失。本专利技术提出了一种大文件拆分传输的方法，基于ftp传输协议，在下载传输流中切割生成为分片小文件，另一端把这些小文件进行ftp上传，根据文件序号利用append方式上传，从而实现了大文件的并行传输。通过此种方式，中转站上存储的只是分片文件，大大降低了存储压力，同时小文件也可以穿插在分片小文件中进行传输。为实现上述目的，根据本专利技术的一方面，提出了一种大文件拆分传输的方法，包括以下步骤：S1：扫描源端服务器的待传输文件信息；S2：根据中转站中的下载程序预设的下载区间对待传输文件进行切断，把待传输文件按下载区间分片下载至中转站上；S3：设置文件拆分名称规则，对中转站上的分片文件按顺序进行编号；S4：在中转站生成记录有当前传输的分片序号的临时文件，根据临时文件中记载的分片序号，通过中转站中的上传程序把分片文件上传到目标服务器。在可选实施例中，S2步骤具体包括以下步骤：S21：设置待传输文件下载区间；S22：分片完成下载区间的传输后切断传输；S23：重复步骤S22，直至最后一个分片；S24：移除源端服务器文件，结束文件的下载，分片文件下载完成后，可移除源端服务器文件，减少磁盘的空间占用。在可选实施例中，中转站中的下载程序的下载区间为0-100M，待传输文件的初始传输位置为0。根据实际文件的大小进行下载区间的设置，可以使文件传输的效率得到提高。在可选实施例中，步骤S3的文件拆分名称规则为待传输文件名称后加上PARTNUMX，X为从0开始递增的序号，最后一片的序号后加上_FINAL，为分片文件制定命名规则，能够为后续文件的上传提供依据，可以根据文件的序号进行按顺序上传，保证文件传输的准确性。在可选实施例中，步骤S4具体包括以下步骤：S41：扫描中转站的本地文件目录；S42：根据分片文件的拆分名称规则判断分片文件是否为第一分片文件，若分片文件为第一分片，进入步骤S43，若分片文件不是第一分片文件，则进入步骤S44；S43：新建此文件的临时文件，并记录此文件当前传输的分片序号；S44：根据临时文件的记载的分片序号，上传对应分片文件；S45：传输完成后把临时文件中的序号递增，直至最后一个分片文件，通过临时文件的记录功能，可以为文件传输提供保障，在遇到异常断电等情况下，可以根据临时文件中记载的分片问价的序号，进行续传，保证了文件传输的稳定性。在可选实施例中，步骤S4中分片文件的上传方式具体为利用append的方式将分片文件上传到目标服务器，利用append的方式进行上传，可以提高文件传输的抗异常能力，可以支持断点续传，同时还能保证文件传输的排序整齐，避免出现乱序的情况。在可选实施例中，在完成第一分片文件的下载之后，步骤S3和S4在步骤S1的过程中同时进行，支持并行传输，能够极大的提高文件传输的效率。在可选实施例中，步骤S4之后还包括以下步骤：根据append方式上传的分片文件生成原始文件，通过append的方式能够保证原始文件生成的准确性。根据本专利技术的另一方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时上述方法。根据本专利技术的第三方面，提出一种大文件拆分传输的装置，该装置包括：源端服务器，配置于第一安全域中，用于获取待传输文件的参数，；中转站，中转站2上配置有连接第一安全域中的源端服务器和第二安全域中的目标服务器的接口，还配置有下载程序，下载程序用于设置下载区间，根据预设的下载区间对待传输文件进行切断，把待传输文件按下载区间分片下载至中转站上，中转站还用于生成临时文件，临时文件中记录有当前传输的分片序号，还配置有文件的上传程序，用于通过append的方式根据临时文件中记载的分片序号将分片文件上传到目标服务器上；目标服务器，配置于第二安全域中，用于接收中转站的分片文件，生成原始文件。源端服务器设置于第一安全域中，目标服务器设置于第二安全域中，能够有效的隔绝外网的恶意攻击，极大的提升了文件的安全性能和保密性能，通过中转站上的接口连接第一安全域中的源端服务器和第二安全域中的目标服务器，将第一安全域中的源端服务器上的文件分片下载至中转站，在通过中转站上传至第二安全域中的目标服务器上，可以保证两个安全域的相对独立，使文件传输更加的安全，高效。本专利技术的一种大文件传输的方法、装置及存储介质，通过扫描源端服务器的待传输文件信息，根据中转站中的下载程序预设的下载区间对待传输文件进行切断，把待传输文件按下载区间分片下载至中转站上，设置文件拆分名称规则，对中转站上的分片文件按顺序进行编号，在中转站生成记录有当前传输的分片序号的临时文件，根据临时文件中记载的分片序号，通过中转站中的上传程序把分片文件上传到目标服务器。极大的提升大文件的传输效率，同时节省中转站的存储空间，降低了因存储空间满而造成的文件传输异常。附图说明包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本专利技术的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本专利技术的一个实施例的大文件拆分传输的方法的流程图；图2是本专利技术的一个实施例的大文件拆分传输过程中文件下载方法的流程图；图3是本专利技术的一个实施例的大文件拆分传输过程中文件上传方法的流程图；图4是本专利技术的一个实施例的大文件拆分传输装置的组成图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有本文档来自技高网...

【技术保护点】
1.一种大文件拆分传输的方法，其特征在于，包括以下步骤：S1：扫描源端服务器的待传输文件信息；S2：根据中转站中的下载程序预设的下载区间对所述待传输文件进行切断，把所述待传输文件按所述下载区间分片下载至所述中转站上；S3：根据文件拆分名称规则，对所述中转站上的分片文件按顺序进行编号；S4：在所述中转站生成记录有当前传输的分片序号的临时文件，根据所述临时文件中记载的所述分片序号，通过所述中转站中的上传程序把所述分片文件上传到目标服务器。

【技术特征摘要】
1.一种大文件拆分传输的方法，其特征在于，包括以下步骤：S1：扫描源端服务器的待传输文件信息；S2：根据中转站中的下载程序预设的下载区间对所述待传输文件进行切断，把所述待传输文件按所述下载区间分片下载至所述中转站上；S3：根据文件拆分名称规则，对所述中转站上的分片文件按顺序进行编号；S4：在所述中转站生成记录有当前传输的分片序号的临时文件，根据所述临时文件中记载的所述分片序号，通过所述中转站中的上传程序把所述分片文件上传到目标服务器。2.根据权利要求1所述的一种大文件拆分传输的方法，其特征在于，所述S2步骤具体包括以下步骤：S21：设置所述待传输文件下载区间；S22：分片完成所述下载区间的传输后切断传输；S23：重复步骤S22，直至最后一个分片；S24：移除源端服务器文件，结束文件的下载。3.根据权利要求2所述的一种大文件拆分传输的方法，其特征在于，所述中转站中的下载程序的下载区间为0-100M，所述待传输文件的初始传输位置为0。4.根据权利要求1所述的一种大文件拆分传输的方法，其特征在于，所述步骤S3的文件拆分名称规则为所述待传输文件名称后加上PARTNUMX，X为从0开始递增的序号，最后一片的序号后加上_FINAL。5.根据权利要求1所述的一种大文件拆分传输的方法，其特征在于，所述步骤S4具体包括以下步骤：S41：扫描所述中转站的本地文件目录；S42：根据所述分片文件的拆分名称规则判断所述分片文件是否为第一分片文件，若所述分片文件为第一分片，进入步骤S43，若所述分片文件不是第一分片文件，则进入步骤S44；S43：新建此文件的临时文件，并记录此文件当前传输的分片序号；S44：根据所述...

【专利技术属性】
技术研发人员：赖眀焰，李山，张永光，周成祖，吴鸿伟，许清红，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建,35