一种大数据文件快速上传系统技术方案

本实用新型专利技术提供一种大数据文件快速上传系统，包括：对初始化线程数进行设置的设置模块；预先检测需要上传的文件的文件数及总数据量的检测模块；根据所述文件数及总数据量对线程数进行动态调整的调整模块；根据调整后的线程数对需要上传的文件进行上传的传送模块；存储需要上传的文件及检测到的文件数及总数据量的存储模块。如此，本实用新型专利技术中，通过检测模块预先检测需要上传的文件的文件数及总数据量，然后由调整模块根据所述文件数及总数据量对线程数进行动态调整，从而避免了不必要的资源浪费，且提高了数据文件上传的效率。

【技术实现步骤摘要】

本技术涉及文件数据传输
，特别是涉及一种大数据文件快速上传系统。
技术介绍
动态人脸识别系统接入集成生物识别系统的接口后，会传送大量的图片或文件到集成生物识别系统中，该动态人脸识别系统中的抓拍相机一路一小时会产生约3万张图片，按接入200路抓拍相机估算每小时需要写入600万张图片，每张图片的数据量为30kb，如果按照传统的单线程模式进行传送，那么该动态人脸识别系统的传送速度应不低于50M/s，降低了该动态人脸识别系统的效率，从而导致用户体验较差。由此可见，目前亟需一种大数据文件快速上传的工具，以提高数据文件上传的效率。
技术实现思路
鉴于以上所述现有技术的缺点，本技术的目的在于提供一种大数据文件快速上传系统，能够避免不必要的资源浪费且能够提高数据文件上传的效率，从而提高了系统的整体性能。为实现上述目的及其他相关目的，本技术提供一种大数据文件快速上传系统，包括：对初始化线程数进行设置的设置模块；预先检测需要上传的文件的文件数及总数据量的检测模块；根据所述文件数及总数据量对线程数进行动态调整的调整模块；根据调整后的线程数对需要上传的文件进行上传的传送模块；存储需要上传的文件及检测到的文件数及总数据量的存储模块；其中，所述调整模块与所述设置模块、所述检测模块、所述存储模块及所述传送模块连接，所述传送模块与所述调整模块及所述存储模块连接，所述检测模块与所述调整模块及所述存储模块连接。优选地，所述存储模块采用固态硬盘实现。优选地，所述设置模块、检测模块、调整模块、传送模块采用中央处理器CPU、微控制单元MCU、微处理器MPU、数字信号处理器DSP、现场可编程门阵列FPGA或集成电路芯片实现。本技术提供的大数据文件快速上传系统，包括：对初始化线程数进行设置的设置模块；预先检测需要上传的文件的文件数及总数据量的检测模块；根据所述文件数及总数据量对线程数进行动态调整的调整模块；根据调整后的线程数对需要上传的文件进行上传的传送模块；存储需要上传的文件及检测到的文件数及总数据量的存储模块；其中，所述调整模块与所述设置模块、所述检测模块、所述存储模块及所述传送模块连接，所述传送模块与所述调整模块及所述存储模块连接，所述检测模块与所述调整模块及所述存储模块连接。如此，本技术中，通过检测模块预先检测需要上传的文件的文件数及总数据量，然后由调整模块根据所述文件数及总数据量动态调整系统的线程数，传送模块根据调整后的线程数对需要上传的文件进行上传，这样能够避免不必要的资源浪费且能够提高数据文件上传的效率，从而提高了系统的整体性能。附图说明图1显示为本技术的大数据文件快速上传系统的组成结构示意图。具体实施方式下面结合附图及具体实施例对本技术做进一步详细的说明。图1为本技术实施例中大数据文件快速上传系统的组成结构示意图，如图1所示，所述系统包括：设置模块100、检测模块101、调整模块102、传送模块103、存储模块104；其中，所述设置模块100，用于对初始化线程数进行设置；所述检测模块101，用于预先检测需要上传的文件的文件数及总数据量；所述调整模块102，用于根据所述文件数及总数据量对线程数进行动态调整；所述传送模块103，用于根据调整后的线程数对需要上传的文件进行上传；所述存储模块104，用于存储需要上传的文件及检测到的文件数及总数据量的；其中，所述调整模块102与所述设置模块100、所述检测模块101、所述存储模块104及所述传送模块103连接，所述传送模块103与所述调整模块102及所述存储模块104连接，所述检测模块101与所述调整模块102及所述存储模块104连接。在实际应用中，当所述设置模块100、检测模块101、调整模块102、传送模块103、存储模块104集成于一个服务器中时，所述设置模块100、检测模块101、调整模块102、传送模块103可由该服务器中的中央处理器(CPU)、微控制单元(MCU)、微处理器(MPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或集成电路芯片实现；所述存储模块104可由该服务器中的固态硬盘实现。本技术实施例中，基于上述系统的组成结构及部件间的连接关系，所述大数据文件快速上传系统的工作原理具体是这样的：所述设置模块100首先根据硬件性能测试参数对初始化线程数进行设置；其中，硬件性能测试参数包括：内存占用率、CPU占用率等参数；所述检测模块101在系统需要上传文件时，预先检测需要上传的文件的文件数及总数据量，然后将检测到的文件数及总数据量存储到存储模块；所述调整模块102根据所述检测模块101检测的文件数及总数据量对线程数进行动态调整；所述传送模块103从所述存储模块中读取需要上传的文件，并根据调整后的线程数对需要上传的文件进行上传。进一步地，所述检测模块101也可以在系统需要上传文件时，预先检测需要上传的文件的文件数、总数据量、当前的内存占用率及当前CPU占用率，然后将检测到的文件数、总数据量、当前的内存占用率及当前CPU占用率存储到存储模块104；相应的，所述调整模块102也可以根据检测的文件数、总数据量、当前的内存占用率及当前CPU占用率对线程数进行动态调整。为了验证上述系统的整体性能，下面对现有基于单线程模式的传送系统与该系统进行测试，在应用传统机械硬盘的环境下，得到的测试数据如下：图片平均数据量：30KB；图片数量：35000张；总数据量：1GB；现有基于单线程模式的传送系统上传耗时为：100min；该大数据文件快速上传系统上传耗时为：50min(预设初始化线程数为4)由上述测试数据可见，该大数据文件快速上传系统的耗时相对于现有基于单线程模式的传送系统耗时减少了一半，从而使整体性能提升了一倍。若在应用固态硬盘的环境下，该大数据文件快速上传系统的整体性能相对于现有基于单线程模式的传送系统耗时减少了四分之三，从而使整体性能提升了四倍。综上所述，本技术提供的大数据文件快速上传系统，包括：对初始化线程数进行设置的设置模块；预先检测需要上传的文件的文件数及总数据量的检测模块；根据所述文件数及总数据量对线程数进行动态调整的调整模块；根据调整后的线程数对需要上传的文件进行上传的传送模块；存储需要上传的文件及检测到的文件数及总数据量的存储模块；其中，所述调整模块与所述设置模块、所述检测模块、所述存储模块及所述传送模块连接，所述传送模块与所述调整模块及所述存储模块连接，所述检测模块与所述调整模块及所述存储模块连接。如此，本技术中，通过检测模块预先检测需要上传的文件的文件数及总数据量，然后由调整模块根据所述文件数及总数据量对线程数进行动态调整，这样系统在文件数及总数据量较小时自动减少线程数，在文件数及总数据量较大时自动增加线程数，从而避免了不必要的资源浪费，且提高了数据文件上传的效率。所以，本技术有效克服了现有技术中的种种缺点而具高度产业利用价值。上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属
中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应本文档来自技高网...

【技术保护点】
一种大数据文件快速上传系统，其特征在于，所述系统包括：对初始化线程数进行设置的设置模块；预先检测需要上传的文件的文件数及总数据量的检测模块；根据所述文件数及总数据量对线程数进行动态调整的调整模块；根据调整后的线程数对需要上传的文件进行上传的传送模块；存储需要上传的文件及检测到的文件数及总数据量的存储模块；其中，所述调整模块与所述设置模块、所述检测模块、所述存储模块及所述传送模块连接，所述传送模块与所述调整模块及所述存储模块连接，所述检测模块与所述调整模块及所述存储模块连接。

【技术特征摘要】
1.一种大数据文件快速上传系统，其特征在于，所述系统包括：对初始化线程数进行设置的设置模块；预先检测需要上传的文件的文件数及总数据量的检测模块；根据所述文件数及总数据量对线程数进行动态调整的调整模块；根据调整后的线程数对需要上传的文件进行上传的传送模块；存储需要上传的文件及检测到的文件数及总数据量的存储模块；其中，所述调整模块与所述设置模块、所述检测模块、所述存储模块及所述传送模块连接，所述传送...

【专利技术属性】
技术研发人员：周曦，梁玮峰，
申请(专利权)人：重庆中科云丛科技有限公司，
类型：新型
国别省市：重庆;50