【技术实现步骤摘要】
本专利技术涉及数据库，尤其涉及一种文件并行装载入库的方法及装置。
技术介绍
1、随着信息时代的来临，数据出现爆炸式增长。银行在面对海量的业务数据时，对数据的装载效率和资源耗用提出了更高的要求。数据库运维人员在日常运维中遇到超大数据文件装载作业时，通常会监控到作业缓慢、资源不足等问题。
2、针对这类问题，目前通常是采用给服务器加cpu、内存、存储等硬件资源，做系统扩容的方式解决资源不足等问题，但是增加硬件资源往往需要停机进行维护，不仅耗费了更多的时间，而且只是单独的增加硬件资源，会导致数据etl过程中临时表统计信息失效，sql的执行计划并非最优，不会使etl的作业效率得到线性提升。而且如果超大数据文件不是常态化的话，直接扩容会导致资源在大部分时间利用率较低，增加了整个it预算成本。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种文件并行装载入库的方法及装置，以解决数据etl装载过程中对超大文件作业运行时间过久、占用系统与数据库资源过多的问题。
2、为实现上述目的...
【技术保护点】
1.一种文件并行装载入库的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据预设规则对所述待装载文件进行分片处理，得到多个目标数据文件，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据预设并行数量，将所有目标数据文件并行装载到数据库，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据库临时表对数据库目标表进行更新，包括：
5.根据权利要求1所述的方法，其特征在于，判断所述待装载文件的数据量是否大于阈值之后，还包括：
6.一种文件并行装载入库的装置，其...
【技术特征摘要】
1.一种文件并行装载入库的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据预设规则对所述待装载文件进行分片处理，得到多个目标数据文件，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据预设并行数量，将所有目标数据文件并行装载到数据库，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述数据库临时表对数据库目标表进行更新，包括：
5.根据权利要求1所述...
【专利技术属性】
技术研发人员：夏映阳，
申请(专利权)人：中国建设银行股份有限公司广东省分行，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。