一种数据导入方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种数据导入方法、装置、设备及存储介质，属于计算机技术领域。该方法包括：确定外存中预先指定的源文件的大小；根据预设的并发线程数以及源文件的大小，对源文件进行分割，得到多个数据分片，每个数据分片对应一个线程；采用并发线程数对应的多个线程，分别读取对应的数据分片，并将读取到的数据导入内存。实现了多个线程并发将源文件导入内存，缩短了源文件导入内存所用的时间，提高了源文件导入内存的效率。

【技术实现步骤摘要】
一种数据导入方法、装置、设备及存储介质
本专利技术涉及计算机
，具体而言，涉及一种数据导入方法、装置、设备及存储介质。
技术介绍
随着计算机、网络、内存相关技术的综合发展，源文件导入内存的效率直接影响了操作系统的响应速度及用户体验。现有的源文件导入内存时，采用单线程将源文件导入内存，具体指的是1个线程去执行写的操作，其他线程都无法同时进行读或写的操作。但是，采用单线程将源文件导入内存时，前一个线程需要完成读写操作后，当前线程才可以进行读写操作，源文件导入内存浪费大量的时间，导致源文件导入内存的效率低。
技术实现思路
本专利技术的目的在于提供一种数据导入方法、装置、设备及存储介质，可以解决上述源文件导入内存效率低的问题。本专利技术的实施例是这样实现的：本专利技术实施例的一方面，提供一种数据导入方法，包括：确定外存中预先指定的源文件的大小；根据预设的并发线程数以及所述源文件的大小，对所述源文件进行分割，得到多个数据分片，每个数据分片对应一个线程；采用所述并发线程数对应本文档来自技高网...

【技术保护点】
1.一种数据导入方法，其特征在于，包括：/n确定外存中预先指定的源文件的大小；/n根据预设的并发线程数以及所述源文件的大小，对所述源文件进行分割，得到多个数据分片，每个数据分片对应一个线程；/n采用所述并发线程数对应的多个线程，分别读取对应的数据分片，并将读取到的数据导入内存。/n

【技术特征摘要】
1.一种数据导入方法，其特征在于，包括：
确定外存中预先指定的源文件的大小；
根据预设的并发线程数以及所述源文件的大小，对所述源文件进行分割，得到多个数据分片，每个数据分片对应一个线程；
采用所述并发线程数对应的多个线程，分别读取对应的数据分片，并将读取到的数据导入内存。


2.根据权利要求1所述的方法，其特征在于，所述采用所述并发线程数对应的多个线程，分别读取对应的数据分片，并将读取到的数据导入内存，包括：
判断每个所述线程对应的数据分片的起止点是否在一行数据的中间位置；
若所述多个线程中第一线程对应的数据分片的起止点在一行数据的中间位置，则对所述第一线程对应的数据分片进行重定位；
采用所述第一线程，对重定位后的所述第一线程对应的数据分片进行读取操作，并将读取到的数据导入内存。


3.根据权利要求2所述的方法，其特征在于，所述对所述第一线程对应的数据分片进行重定位，包括：
将向前寻址的行首作为重定位后所述第一线程对应的数据分片的起点。


4.根据权利要求2所述的方法，其特征在于，所述对所述第一线程对应的数据分片进行重定位，包括：
将向后寻址的行末作为重定位后所述第一线程对应的数据分片的终点；
所述采用所述并发线程数对应的多个线程，分别将对应的数据分片导入内存，还包括：
将下一行的行首作为重定位后的第二线程对应的数据分片的起点，所述第二线程为所述第一线程的下一线程；
采用所述第二线程，将重定位后的所述第二线程对应的数据分片，导入内存。

【专利技术属性】
技术研发人员：王昊，孙宇熙，
申请(专利权)人：北京同心尚科技发展有限公司，
类型：发明
国别省市：北京;11