一种大数据导入方法以及相关设备技术

本发明专利技术实施例提供了一种大数据导入方法及相关设备，用于快速的导入大文件，提高数据导入的效率。该方法包括：获取待导入的目标数据；判断所述目标数据的数据量是否达到预设数据量；若是，则生成与所述目标数据对应的目标格式的文件；确定服务器资源当前的使用值；基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；通过所述N个目标线程导入所述目标格式的文件。

A big data import method and related equipment

【技术实现步骤摘要】
一种大数据导入方法以及相关设备
本专利技术涉及软件测试领域，尤其涉及一种大数据导入方法以及相关设备。
技术介绍
在经济发展的同时，各项技术突飞猛进，计算机技术得到广泛的应用及发展。在软件不断开发的同时，随之而来的各个方面的问题也逐渐凸显。严重影响软件的使用与开发。因此通常通过测试工具对软件的各方面性能进行测试。在通过测试工具对软件进行测试时，即涉及到了测试数据的导入。TPC-DS测试工具在对软件进行测试的时候，测试数据量最小规模达到1T，单个表格最大记录数达到28亿，这么庞大的单数据文件采用传统方式读取文件、导入数据方式在硬件、时间资源有限的情况下，已不满足需求。
技术实现思路
本专利技术实施例提供了一种大数据导入方法及相关设备，用于快速的导入大文件，提高数据导入的效率。本专利技术实施例的第一方面提供了一种大数据导入方法，包括：获取待导入的目标数据；判断所述目标数据的数据量是否达到预设数据量；若是，则生成与所述目标数据对应的目标格式的文件；确定服务器资源当前的使用值；基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；通过所述N个目标线程导入所述目标格式的文件。可选地，所述基于所述服务器资源当前的使用值确定N个目标线程包括：步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。可选地，所述通过所述N个目标线程导入所述目标格式的文件包括：通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。可选地，所述通过所述N个目标线程导入所述目标格式的文件包括：步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；步骤4、修改所述目标指针数据当前的配置参数；步骤5、释放所述N个目标线程的内存数据；重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。可选地，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对应。本专利技术实施例第二方面提供了一种数据处理装置，包括：获取单元，用于获取待导入的目标数据；判断单元，用于判断所述目标数据的数据量是否达到预设数据量；生成单元，用于当所述目标数据的数据量达到所述预设数据量时，生成与所述目标数据对应的目标格式的文件；第一确定单元，用于确定服务器资源当前的使用值；第二确定单元，用于基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；导入单元，用于通过所述N个目标线程导入所述目标格式的文件。可选地，所述第二确定单元具体用于：步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。可选地，所述导入单元具体用于：通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。可选地，所述导入单元具体用于：步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；步骤4、修改所述目标指针数据当前的配置参数；步骤5、释放所述N个目标线程的内存数据；重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。可选地，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对应。本专利技术第三方面提供了一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如上述任意一项所述的大数据导入方法的步骤。本专利技术第四方面提供了一种计算机可读存储介质，其上存储有计算机管理类程序，其特征在于：所述计算机管理类程序被处理器执行时实现如上述任意一项所述的大数据导入方法的步骤。综上所述，可以看出，本专利技术提供的实施例中，可以通过服务器资源当前的使用值确定N个线程，并通过N个线程将目标数据导入，由于通过N个线程将目标数据导入，这样相对于现有技术中一次性导入所有数据，可以提高数据导入的效率。附图说明图1为本专利技术实施例提供的一种大数据导入方法的流程示意图；图2为本专利技术实施例提供的一种数据处理装置的实施例示意图；图3为本专利技术实施例提供的一种数据处理装置的硬件结构示意图；图4为本专利技术实施例提供的一种电子设备的实施例示意图；图5为本专利技术实施例提供的一种计算机可读存储介质的实施例示意图。具体实施方式本专利技术实施例提供了一种大数据导入方法及相关设备，用于快速的导入大文件，提高数据导入的效率。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。下面从数据处理装置的角度对大数据导入方法进行说明，该数据处理装置可以为服务器，也可以为服务器中的服务单元。请参阅图1、图1为本专利技术实施例提供的大数据导入方法的流程示意图，该方法包括：101、获取待导入的目标数据。本实施例中，当TPC-DS测试工具(当然也还可以是其他的测试工具，此处以TPC-DS测试工具为例进行说明，并不代表对其的限定)对软件进行测试时，需要导入数据进行测试，此时，数据处理装置可以获取待导入的目标数据，此处具体不限定如何获取待导入的目标数据，例如可以接收用户的操作指令，以获取待导入的目标数据。102、判断目标数据的数据量是否达到预设数据量，若是，则执行步骤103，若否，则执行步骤107。本实施例中，数据处理装置可以判断该目标数据的数据量是否达到预设数据量(该预设数据量例如可以为数据的记录条数达到100万条，或者数据量达到1TB，当然也还可以是其他的设置，具体不做限定)，当目标数据的数据量达到本文档来自技高网...

【技术保护点】
1.一种大数据导入方法，其特征在于，包括：获取待导入的目标数据；判断所述目标数据的数据量是否达到预设数据量；若是，则生成与所述目标数据对应的目标格式的文件；确定服务器资源当前的使用值；基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；通过所述N个目标线程导入所述目标格式的文件。

【技术特征摘要】
1.一种大数据导入方法，其特征在于，包括：获取待导入的目标数据；判断所述目标数据的数据量是否达到预设数据量；若是，则生成与所述目标数据对应的目标格式的文件；确定服务器资源当前的使用值；基于所述服务器资源当前的使用值确定N个目标线程，其中，N≥1；通过所述N个目标线程导入所述目标格式的文件。2.根据权利要求1所述的方法，其特征在于，所述基于所述服务器资源当前的使用值确定N个目标线程包括：步骤A、判断所述服务器资源当前的使用值是否小于预设阈值；步骤B、若所述服务器资源当前的使用值小于所述预设阈值，则基于所述服务器资源当前的未使用值启动所述N个目标线程；步骤C、若所述服务器资源当前的使用值不小于所述预设阈值，则重复执行步骤A，直至所述当前服务器资源小于所述预设阈值时，执行步骤B。3.根据权利要求1所述的方法，其特征在于，所述通过所述N个目标线程导入所述目标格式的文件包括：通过所述N个目标线程将所述目标格式的文件导入目标数据库，所述目标数据库与所述目标数据具有关联关系。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过所述N个目标线程导入所述目标格式的文件包括：步骤1、获取目标指针数据当前的配置参数，所述目标指针数据指示所述目标格式的文件当前导入所述目标数据库的数据长度；步骤2、根据所述配置参数从所述目标格式的文件中选择指定长度的文件内容；步骤3、将所述指定长度的文件内容通过所述N个目标线程导入所述目标数据库；步骤4、修改所述目标指针数据当前的配置参数；步骤5、释放所述N个目标线程的内存数据；重复执行步骤1至步骤5，直至所述目标格式的文件中的所有数据导入所述目标数据库为止。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述服务器资源包括以下资源中的至少一种：所述服务器的内存、所述服务器的输入输出以及所述服务器的处理器，所述预设阈值与所述服务器资源相对...

【专利技术属性】
技术研发人员：梁俊杰，
申请(专利权)人：梁俊杰，武汉迎风聚智科技有限公司，
类型：发明
国别省市：湖北,42