一种数据导入方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据导入方法，该方法包括以下步骤：当接收到文件导入请求时，将待导入文件读取至链式阻塞队列中；从容器回收器中请求得到容器集合，将待导入文件中包含的数据从链式阻塞队列分条载入容器集合的各目标容器内；将每个目标容器作为一个导入任务进行数据导入操作；判断各导入任务是否均执行完成；若是，则利用容器回收器对各目标容器进行回收操作。应用本发明专利技术所提供的数据导入方法，较大地缩短了非导入工作产生的耗时，避免了对其他工作的影响。本发明专利技术还公开了一种数据导入装置、设备及存储介质，具有相应技术效果。具有相应技术效果。具有相应技术效果。

【技术实现步骤摘要】
一种数据导入方法、装置、设备及计算机可读存储介质


[0001]本专利技术涉及存储
，特别是涉及一种数据导入方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]在产品开发、迭代的过程中，通常会遇到数据库迁移、转存等需求。大多数情况下该需求的数据量会十分庞大，比如十个字段的数据结构、一千万左右的数据量时，其转储文件容量可达到一个G以上，若通过传统的文件导入等方式进行数据导入存储，当需要进行数据导入时，生成一个容器，当数据导入完成之后，将容器丢弃。
[0003]当进行大数据量的导入工作时，仅数据导入工作其耗时往往以小时为单位。再加上容器生成丢弃过程，导致数据导入过程中产生过多的废弃容器，不断地进行容器生成，导致非导入工作产生的耗时长，导致单次导入拖延了其他工作。
[0004]综上所述，如何有效地解决非导入工作产生的耗时长，导致单次导入拖延了其他工作等问题，是目前本领域技术人员急需解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种数据导入方法，该方法较大地缩短了非导入工作产生的耗时，避免了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据导入方法，其特征在于，包括：当接收到文件导入请求时，将待导入文件读取至链式阻塞队列中；从容器回收器中请求得到容器集合，将所述待导入文件中包含的数据从所述链式阻塞队列分条载入所述容器集合的各目标容器内；将每个目标容器作为一个导入任务进行数据导入操作；判断各所述导入任务是否均执行完成；若是，则利用所述容器回收器对各所述目标容器进行回收操作。2.根据权利要求1所述的数据导入方法，其特征在于，将待导入文件读取至链式阻塞队列中，包括：获取所述待导入文件的文件大小信息；根据所述文件大小信息确定文件读取模式；按照所述文件读取模式将所述待导入文件读取至所述链式阻塞队列中。3.根据权利要求2所述的数据导入方法，其特征在于，当确定所述文件读取模式为分割读取模式时，在按照所述文件读取模式将所述待导入文件读取至所述链式阻塞队列中之前，还包括：对所述待导入文件进行分割操作，得到各子文件；将各所述子文件保存至预置的第一临时文件夹中；按照所述文件读取模式将所述待导入文件读取至所述链式阻塞队列中，包括：通过对各所述子文件依次读取的方式将所述待导入文件读取至所述链式阻塞队列中；并将读取完成的子文件转移至预置的第二临时文件夹中。4.根据权利要求3所述的数据导入方法，其特征在于，从容器回收器中请求得到容器集合，将所述待导入文件中包含的数据从所述链式阻塞队列分条载入所述容器集合的各目标容器内，包括：判断所述容器回收器中是否存在可用容器；若是，则从所述容器回收器中进行容器请求操作，得到相应的目标容器；将相应的子文件中包含的数据从所述链式阻塞队列载入所述目标容器内；若否，则进行阻塞等待，并按照预置时间间隔重复执行所述判断所述容器回收器中是否存...

【专利技术属性】
技术研发人员：许君杰，范渊，黄进，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：