批量文件的并行传输方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种批量文件的并行传输方法、装置及存储介质，用以解决由于线程资源不足，在待传文件数目较多的情况下，部分文件的等待时间过长的问题。所述传输方法包括：调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；通过各个线程传输所述文件块。

【技术实现步骤摘要】
批量文件的并行传输方法、装置及存储介质
本专利技术涉及网络
，特别是涉及一种批量文件的并行传输方法、装置及存储介质。
技术介绍
由于互联网和移动互联网的快速发展，批量传输作为网络通信的基础应用得到广泛的使用。为充分利用CPU资源，提高了传输效率，批量文件传输多采用多线程方式。但由于线程资源不足，在待传文件数目较多的情况下，部分文件的等待时间过长。
技术实现思路
为了克服上述缺陷，本专利技术要解决的技术问题是提供一种批量文件的并行传输方法、装置及存储介质，用以解决由于线程资源不足，在待传文件数目较多的情况下，部分文件的等待时间过长的问题。为解决上述技术问题，本专利技术实施例中的一种批量文件的并行传输方法，包括：调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；通过各个线程传输所述文件块。可选地，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块之前，包括：将批量文件中的每个文件切片成多个文件块；将各个文件的文件块存储到所述待传文件列表中。可选地，所述将批量文件中的每个文件切片成多个文件块，包括：将所述批量文件中每个文件切片成多个大小相同的文件块。可选地，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块，还包括：同一时间，每个线程从一个文件中获取文件块。可选地，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块，包括：针对任意一个线程：调用该线程，并根据预设的文件传输配额，以使该线程从待传文件列表中获取一个文件的文件块。可选地，所述调用该线程，并根据预设的文件传输配额，以使该线程从待传文件列表中获取一个文件的文件块之前，包括：针对任意一个文件：根据该文件的未传输部分大小，设置该文件的文件传输配额。可选地，该文件的文件传输配额和该文件的未传输部分大小成正比例关系。可选地，所述根据该文件的未传输部分大小，设置该文件的文件传输配额，包括：确定该文件的未传输部分大小；根据该文件的未传输部分大小和所述文件块的预设大小，设置该文件的文件传输配额。为解决上述技术问题，本专利技术实施例中的一种批量文件的并行传输装置，包括存储器和处理器；所述存储器存储有批量文件的并行传输计算机程序，所述处理器执行所述计算机程序，以实现如上任意一项所述方法的步骤。为解决上述技术问题，本专利技术实施例中的一种计算机可读存储介质，存储有批量文件的并行传输计算机程序，所述计算机程序被至少一个处理器执行时，以实现如上任意一项所述方法的步骤。本专利技术有益效果如下：本专利技术各个实施例通过调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；并通过各个线程传输所述文件块，从而将申请线程资源的单位从文件转化成文件块，从而有效解决由于线程资源不足，在待传文件数目较多的情况下，部分文件的等待时间过长的问题，进而更加公平的分配线程资源。附图说明图1是本专利技术实施例中一种批量文件的并行传输方法的流程图；图2是本专利技术实施例中可选地批量文件的并行传输效果示意图；图3是本专利技术实施例中根据文件传输配额进行批量文件的并行传输效果示意图；图4是本专利技术实施例中一种批量文件的并行传输装置的结构示意图。具体实施方式为了解决现有技术的问题，本专利技术提供了一种批量文件的并行传输方法、装置及存储介质，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不限定本专利技术。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。使用用于区分元件的诸如“第一”、“第二”等前缀仅为了有利于本专利技术的说明，其本身没有特定的意义。实施例一本专利技术实施例提供一种批量文件的并行传输方法，如图1所示，所述方法包括：S101，调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；S102，通过各个线程传输所述文件块。本专利技术实施例通过调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；并通过各个线程传输所述文件块，从而将申请线程资源的单位从文件转化成文件块，从而有效解决由于线程资源不足，在待传文件数目较多的情况下，部分文件的等待时间过长的问题，进而更加公平的分配线程资源。在本专利技术实施例中，可选地，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块之前，包括：将批量文件中的每个文件切片成多个文件块；将各个文件的文件块存储到所述待传文件列表中。其中，所述将批量文件中的每个文件切片成多个文件块，可选地，包括：将所述批量文件中每个文件切片成多个大小相同的文件块。在本专利技术实施例中，可选地，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块，还包括：同一时间，每个线程从一个文件中获取文件块。例如，如图2所示，需要传输的文件包括文件A、B、C、D、E，线程资源包括三个线程1、2、3。传输过程可以包括：步骤11、将每个文件按照一定大小切分成文件块，每个文件需要按照相同文件块大小进行切分，至于文件块大小需要根据工程实践来确定；步骤12、每个线程从待传文件列表中主动竞争需要传输的文件块，；步骤13、每个线程传输竞争得到的文件块；步骤14、传输完成的文件块从待传文件列表中删除。如图2所示，文件块的传输顺序如箭头所示，每个文件在一定时间获得的线程资源基本上是公平的。虽然把文件切分块，但是同一时间一个文件只能由一个线程进行传输，从而有效避免同一个文件被两个线程同时写。在本专利技术实施例中，可选地，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块，包括：针对任意一个线程：调用该线程，并根据预设的文件传输配额，以使该线程从待传文件列表中获取一个文件的文件块。在本专利技术实施例中，可选地，所述调用该线程，并根据预设的文件传输配额，以使该线程从待传文件列表中获取一个文件的文件块之前，包括：针对任意一个文件：根据该文件的未传输部分大小，设置该文件的文件传输配额。其中，该文件的文件传输配额和该文件的未传输部分大小成正比例关系。其中，所述根据该文件的未传输部分大小，设置该文件的文件传输配额，可选地，包括：确定该文件的未传输部分大小；根据该文件的未传输部分大小和所述文件块的预设大小，设置该文件的文件传输配额。本专利技术实施例进一步通过文件配额传输批量文件，不仅很好解决公平占有线程资源，减少文件等待时间，同时有效减少切换成本。例如，每个线程传输完一个文件块，切换到新的文件时需要重新打开新的文件，并跳转到待传位置读取文件块进行传输，传输完还得关闭文件，这些操作相对线程分组方案增加了很多的切换成本。而且文件越大切换次数越多，而本专利技术实施例中通过文件传输配额，确定线程一次传输文件块的数量，并且保证文件越大，配额就越多，从而有效减少切换成本。本专利技术实施例中，根据该文件的未传输部分大小和所述文件块的预设大小，通过下式设置该文件的文件传输配额：其中，Filequota为计算出来的文件传输配额数，它是一个整数，所以用箭头表示向上取整；也就是说计算出来的结本文档来自技高网...

【技术保护点】
1.一种批量文件的并行传输方法，其特征在于，所述方法包括：调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；通过各个线程传输所述文件块。

【技术特征摘要】
1.一种批量文件的并行传输方法，其特征在于，所述方法包括：调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块；通过各个线程传输所述文件块。2.如权利要求1所述的方法，其特征在于，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块之前，包括：将批量文件中的每个文件切片成多个文件块；将各个文件的文件块存储到所述待传文件列表中。3.如权利要求2所述的方法，其特征在于，所述将批量文件中的每个文件切片成多个文件块，包括：将所述批量文件中每个文件切片成多个大小相同的文件块。4.如权利要求1所述的方法，其特征在于，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块，还包括：同一时间，每个线程从一个文件中获取文件块。5.如权利要求1-4中任意一项所述的方法，其特征在于，所述调用预先申请的多个线程，以使所述多个线程从待传文件列表中获取批量文件的文件块，包括：针对任意一个线程：调用该线程，并根据预设的文件传输配额，以使该线程从待传文件列...

【专利技术属性】
技术研发人员：陈强，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京,11