数据上传方法及系统、终端和计算机可读存储介质技术方案

技术编号:20329030 阅读:17 留言:0更新日期:2019-02-13 05:41
本发明专利技术提出了一种数据上传方法及系统、终端和计算机可读存储介质,其中,数据上传方法包括:获取服务器的性能参数和运行信息;根据所述服务器的性能参数和运行信息,确定所述服务器的CPU可用资源;使用所述CPU可用资源,按照预定校验规则多线程校验目标数据;在校验通过后,多线程上传所述目标数据。通过本发明专利技术的技术方案,多线程的工作可大量减少整体工作时间,各线程间相互不具有干扰,也保证了数据上传的准确性,有效减少数据上传过程中对服务器资源的占用,提升服务器的工作效率和工作性能。

【技术实现步骤摘要】
数据上传方法及系统、终端和计算机可读存储介质
本专利技术涉及数据传输
,尤其涉及一种数据上传方法及系统、终端和计算机可读存储介质。
技术介绍
随着社会的科技发展,掌握庞大的数据成为各公司进行业务拓展的基础,然而,动辄数十万级数据上载,往往需要耗时良久,占用服务器的大量资源,影响服务器处理其他业务的性能。因此,如何在减少对服务器的资源占用的基础上高效上传数据,成为目前亟待解决的技术问题。
技术实现思路
本专利技术实施例提供了一种数据上传方法及系统、终端和计算机可读存储介质,旨在解决相关技术中数据上传会占用服务器的大量资源,影响服务器处理其他业务的性能的技术问题,能够在减少对服务器的资源占用的基础上高效上传数据。第一方面,本专利技术实施例提供了一种数据上传方法,包括:获取服务器的性能参数和运行信息;根据所述服务器的性能参数和运行信息,确定所述服务器的CPU可用资源;使用所述CPU可用资源,按照预定校验规则多线程校验目标数据;在校验通过后,多线程上传所述目标数据。在本专利技术上述实施例中,可选地,所述多线程上传所述目标数据,包括:根据所述服务器的历史性能参数和历史运行信息随时间变化的情况,训练空闲时段模型;通过将所述服务器的当前性能参数和当前运行信息输入所述空闲时段模型,判断所述服务器是否处于空闲时段;当判断结果为所述服务器处于所述空闲时段时,使用所述CPU可用资源上传所述目标数据。在本专利技术上述实施例中,可选地,所述服务器的性能参数包括:服务器类型、CPU运算速度、CPU运算精度、主频、内存容量、通信端口数量和外设配置;所述服务器的运行信息包括:运行环境参数、每个通信端口的数据上传速率以及每个通信端口的数据上传速率的变化率。在本专利技术上述实施例中,可选地,所述获取服务器的性能参数的步骤,包括:获取所述服务器的预定性能参数;或者检测所述服务器的当前性能参数。在本专利技术上述实施例中,可选地,所述预定校验规则为:根据所述目标数据的来源和/或内容类型,判断所述目标数据是否具备上传资格;在判断结果为所述目标数据具备所述上传资格的情况下,根据所述目标数据的属性信息,确定所述目标数据的优先级,其中,所述目标数据的属性信息包括:数据来源、数据大小、数据内容和数据类型中的一项或多项;所述在校验通过后,多线程上传所述目标数据的步骤,包括:通过所述目标数据的优先级对应的线程传输所述目标数据。在本专利技术上述实施例中,可选地,所述在校验通过后,多线程上传所述目标数据的步骤,包括:在同一线程内,按照多组所述目标数据的优先级从高至低的顺序,传输多组所述目标数据;或在同一线程内,按照所述数据大小从小至大的顺序,传输多组所述目标数据。在本专利技术上述实施例中,可选地,还包括:在所述多线程上传所述目标数据的过程中,显示所述多线程中每个线程的实时传输信息,其中,所述实时传输信息包括实时上传速度、预定时间间隔内的平均上传速度、已上传的数据量、待上传的数据量、已上传的数据占比和未上传的数据占比中的一项或多项。第二方面,本专利技术实施例提供了一种数据上传系统,包括:信息获取单元,获取服务器的性能参数和运行信息;资源确定单元,根据所述服务器的性能参数和运行信息,确定所述服务器的CPU可用资源;数据校验单元,使用所述CPU可用资源,按照预定校验规则多线程校验目标数据;多线程上传单元,在校验通过后,多线程上传所述目标数据。在本专利技术上述实施例中,可选地,所述资源确定单元具体用于:根据所述服务器的历史性能参数和历史运行信息随时间变化的情况,训练空闲时段模型;通过将所述服务器的当前性能参数和当前运行信息输入所述空闲时段模型,判断所述服务器是否处于空闲时段;当判断结果为所述服务器处于所述空闲时段时,使用所述CPU可用资源上传所述目标数据。在本专利技术上述实施例中,可选地,所述服务器的性能参数包括:服务器类型、CPU运算速度、CPU运算精度、主频、内存容量、通信端口数量和外设配置;所述服务器的运行信息包括:运行环境参数、每个通信端口的数据上传速率以及每个通信端口的数据上传速率的变化率。在本专利技术上述实施例中,可选地,所述信息获取单元用于:获取所述服务器的预定性能参数,或者检测所述服务器的当前性能参数。在本专利技术上述实施例中,可选地,所述预定校验规则为:根据所述目标数据的来源和/或内容类型,判断所述目标数据是否具备上传资格;在判断结果为所述目标数据具备所述上传资格的情况下,根据所述目标数据的属性信息,确定所述目标数据的优先级,其中,所述目标数据的属性信息包括:数据来源、数据大小、数据内容和数据类型中的一项或多项;所述多线程上传单元用于:通过所述目标数据的优先级对应的线程传输所述目标数据。在本专利技术上述实施例中,可选地,所述多线程上传单元用于:在同一线程内,按照多组所述目标数据的优先级从高至低的顺序,传输多组所述目标数据;或在同一线程内,按照所述数据大小从小至大的顺序,传输多组所述目标数据。在本专利技术上述实施例中,可选地,还包括:信息显示单元,在所述多线程上传所述目标数据的过程中,显示所述多线程中每个线程的实时传输信息,其中,所述实时传输信息包括实时上传速度、预定时间间隔内的平均上传速度、已上传的数据量、待上传的数据量、已上传的数据占比和未上传的数据占比中的一项或多项。第三方面,本专利技术实施例提供了一种终端,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行上述第一方面实施例中任一项所述的方法。第四方面,本专利技术实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行第一方面实施例中任一项所述的方法流程。以上技术方案,能够根据服务器的实际情况来分配能够用于数据上传的资源,以避免数据上传过程占用过多的资源,能够有效地节省一部分资源用以服务器的其他工作,其中,服务器的实际情况包括但不限于服务器的性能参数和运行信息。接着,占用这些CPU可用资源,分多线程对目标数据进行校验,并同时对校验通过的目标数据进行多线程上传,这样,可在校验在后目标数据的同时上传在前的通过校验的目标数据,多线程的工作可大量减少整体工作时间,各线程间相互不具有干扰,也保证了数据上传的准确性。通过以上技术方案,可有效减少数据上传过程中对服务器资源的占用,提升服务器的工作效率和工作性能。【附图说明】为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。图1示出了本专利技术的一个实施例的数据上传方法的流程图;图2示出了本专利技术的一个实施例的通过大数据确定CPU可用资源的流程图;图3示出了本专利技术的另一个实施例的数据上传方法的流程图;图4示出了本专利技术的一个实施例的数据上传系统的框图;图5示出了本专利技术的一个实施例的终端的框图。【具体实施方式】为了更好的理解本专利技术的技术方案,下面结合附图对本专利技术实施例进行详细描述。应当明确,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提本文档来自技高网...

【技术保护点】
1.一种数据上传方法,其特征在于,包括:获取服务器的性能参数和运行信息;根据所述服务器的性能参数和运行信息,确定所述服务器的CPU可用资源;使用所述CPU可用资源,按照预定校验规则多线程校验目标数据;在校验通过后,多线程上传所述目标数据。

【技术特征摘要】
1.一种数据上传方法,其特征在于,包括:获取服务器的性能参数和运行信息;根据所述服务器的性能参数和运行信息,确定所述服务器的CPU可用资源;使用所述CPU可用资源,按照预定校验规则多线程校验目标数据;在校验通过后,多线程上传所述目标数据。2.根据权利要求1所述的数据上传方法,其特征在于,所述多线程上传所述目标数据,包括:根据所述服务器的历史性能参数和历史运行信息随时间变化的情况,训练空闲时段模型;通过将所述服务器的当前性能参数和当前运行信息输入所述空闲时段模型,判断所述服务器是否处于空闲时段;当判断结果为所述服务器处于所述空闲时段时,使用所述CPU可用资源上传所述目标数据。3.根据权利要求1或2所述的数据上传方法,其特征在于,所述服务器的性能参数包括:服务器类型、CPU运算速度、CPU运算精度、主频、内存容量、通信端口数量和外设配置;所述服务器的运行信息包括:运行环境参数、每个通信端口的数据上传速率以及每个通信端口的数据上传速率的变化率。4.根据权利要求3所述的数据上传方法,其特征在于,所述获取服务器的性能参数的步骤,包括:获取所述服务器的预定性能参数;或者检测所述服务器的当前性能参数。5.根据权利要求1所述的数据上传方法,其特征在于,所述预定校验规则为:根据所述目标数据的来源和/或内容类型,判断所述目标数据是否具备上传资格;在判断结果为所述目标数据具备所述上传资格的情况下,根据所述目标数据的属性信息,确定所述目标数据的优先级,其中,所述目标数据的属性信息包括:数据来源、数据大小、数据内容和...

【专利技术属性】
技术研发人员:牛奔
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1