数据导入导出方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种数据导入导出方法、装置、电子设备及可读存储介质，其中，方法包括：将待导入或待导出数据按序拆分为M个数据分片；对每个数据分片设置对应的预设读取顺序，预设读取顺序包括正序读取和反序读取；通过多个异步线程，分别按照每个数据分片所对应的预设读取顺序读取每个数据分片，并将读取到的各分片结果数据存入缓存文件。由此，可以使得存储位置相对靠后的数据可以与存储位置相对靠前的数据同时被触发读取，因此存储位置相对靠后的数据也可以优先抢占硬件资源，使得通过异步线程同时读取以及缩短存储位置相对靠后的数据的读取时间这两方面，提高了导入/导出数据的效率，并且也提高了用户体验度。并且也提高了用户体验度。并且也提高了用户体验度。

【技术实现步骤摘要】
数据导入导出方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据导入导出方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在执行导入/导出数据源的任务时，尤其是执行导入/导出数据量很大的数据源的任务时，可以在接收到导入/导出请求后，按照指定分页，顺序地获取数据源，最后再汇总到导出文件或导入到数据库中。但是在相同查询条件下，数据库通常面向大分页（即分页页码较大）查询的耗时要比小分页（即分页页面较小）查询的耗时更长，这将会导致在执行导入/导出任务时，会花费较长时间读取数据，从而降低了导入导出数据的效率，并且也大大降低了用户的体验度。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种数据导入导出方法，可以使得各异步线程同时开始读取数据，并且，由于存储位置相对靠后的数据可以与存储位置相对靠前的数据同时被触发读取，因此存储位置相对靠后的数据也可以优先抢占硬件资源，由此最大化减少由于硬件资源造成的存储位置相对靠本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据导入导出方法，其特征在于，所述方法包括：将待导入数据或待导出数据按序拆分为M个数据分片，其中，M为大于等于2的正整数；对每个所述数据分片设置对应的预设读取顺序，其中，所述预设读取顺序包括正序读取和反序读取；通过多个异步线程，分别按照每个所述数据分片所对应的预设读取顺序读取每个所述数据分片，并将读取到的各分片结果数据存入缓存文件。2.根据权利要求1所述的数据导入导出方法，其特征在于，所述对每个所述数据分片设置对应的预设读取顺序，包括：将M个数据分片按序划分为N个分片集合，其中，每个所述分片集合至少包括1个数据分片，N为小于等于M的正整数；对每个所述分片集合设置对应的预设读取顺序，以便每个所述分片集合内的各数据分片所对应的预设读取顺序与该分片集合所对应的预设读取顺序一致。3.根据权利要求2所述的数据导入导出方法，所述对每个所述分片集合设置对应的预设读取顺序，包括：对相邻的两个所述分片集合设置不同的预设读取顺序。4.根据权利要求1所述的数据导入导出方法，其特征在于，所述通过多个异步线程，分别按照每个所述数据分片所对应的预设读取顺序读取每个所述数据分片，包括：分别将每个所述数据分片拆分为多个分页数据；通过多个异步线程，分别按照每个所述数据分片所对应的预设读取顺序，逐页读取每个所述数据分片对应的分页数据。5.根据权利要求1
‑
4任一项所述的数据导入导出方法，其特征在于，每个分片结果数据对应一个分片标识信息，所述分片标识信息用于表征各分片结果数据之间的存储位置关系，所述将读取到的各分片结果数据存入缓存文件，包括：根据分片标识信息，将读取到的各分...

【专利技术属性】
技术研发人员：黄煜祺，
申请(专利权)人：美云智数科技有限公司，
类型：发明
国别省市：