【技术实现步骤摘要】
大数据量数据的导出导入方法及系统、电子装置及介质
[0001]本专利技术涉及数据处理
,具体地说是大数据量数据的导出导入方法及系统、电子装置及介质。
技术介绍
[0002]大数据趋势代表了不断变化的处理大量数据的需求。由于“数据即服务”趋势的形成,越来越多的数据开始存储在单一位置,以便于进程的访问。
[0003]如何对大数量的数据进行数据处理,提高数据导入速度,是需要解决的技术问题。
技术实现思路
[0004]本专利技术的技术任务是针对以上不足,提供大数据量数据的导出导入方法及系统、电子装置及介质,来解决如何对大数量的数据进行数据处理,提高数据导入速度的技术问题。
[0005]第一方面,本专利技术一种大数据量数据的导出导入方法,包括如下步骤:
[0006]对数据库中数据进行数据分析,生成数据导出方案;
[0007]基于数据导出方案将数据库中数据拆分为多个数据文件,通过异步并发多线程对接所述多个数据文件以进行数据导出;
[0008]对导出的各个线程的数据文件进行合并 ...
【技术保护点】
【技术特征摘要】
1.一种大数据量数据的导出导入方法,其特征在于,包括如下步骤:对数据库中数据进行数据分析,生成数据导出方案;基于数据导出方案将数据库中数据拆分为多个数据文件,通过异步并发多线程对接所述多个数据文件以进行数据导出;对导出的各个线程的数据文件进行合并,生成完整的数据包文件;对需要导入的数据包文件进行数据分析,生成数据导入方案;基于数据导入方案、通过异步并发多线程对接需要导入的数据包文件进行数据导入。2.根据权利要求1所述的大数据量数据的导出导入方法,其特征在于,基于数据存储形式、内容以及数据量对数据库中数据进行数据分析,生成数据导出方案。3.根据权利要求1所述的大数据量数据的导出导入方法,其特征在于,通过对数据库中数据进行切割和分段处理的方式将数据库中数据拆分为多个数据文件。4.根据权利要求1
‑
3任一项所述的大数据量数据的导出导入方法,其特征在于,基于数据存储形式、内容以及编码格式将数据库中数据拆分为多个数据文件。5.一种大数据量数据的导出导入系统,其特征在于,用于通过如权利要求1
‑
4任一项所述的大数据量数据的导出导入方法实现数据导出导入,所述系统包括:导出分析模块,所述导出分析模块用于对数据库中数据进行数据分析,生成数据导出方案;数据导出模块,所述数据导出模块用于基于数据导出方案将数据库中数据拆分为多个数据文件,通过异步并发多线程对接所述...
【专利技术属性】
技术研发人员:李一峰,单震,国靖,
申请(专利权)人:浪潮卓数大数据产业发展有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。