【技术实现步骤摘要】
本专利技术涉及一种向数据库中快速加载数据文件的方法，属于数据库
技术介绍
随着互联网应用的广泛普及，海量数据的访问和存储成为数据库系统设计的瓶颈问题。传统数据库的数据写入接口大多采用单线程工作方式，在写入海量数据时效率较低。而现有的数据库服务器普遍使用多核CPU，单线程的数据写入方式会造成巨大的CPU资源浪费。另外，在外部数据通过数据写入接口写入数据库的过程中，数据库系统通常会执行多项事务检查。这些事务检查也会降低数据文件的写入效率。在申请号为200910080927. X的中国专利申请中，公开了一种将数据批量导入数据库的方法及系统。在该技术方案中，分析数据文件中数据的过程和将分析后数据写入数据库的过程并行；数据经过分析后存入缓存，直到分析完毕；当缓存中的数据达到预设数据量时，将该数据一次性写入数据库，并将该数据从缓存中删除；当分析完毕后，将缓存中的所有数据一次性写入数据库。采用该技术方案，数据分析和写入的速度快，尤其适用于将大量数据导入到数据库中。另外，马礼等人在论文《一种基于多核环境的海量数据快速读取方法》(刊载于《2010年第16届全国信息存储技...
【技术保护点】
一种快速向数据库加载数据的方法，其特征在于：在数据文件写入数据库的过程中，采用并行方式加载数据文件；在加载过程中采用直接写入方式，在生成元组后直接将元组写入数据库的数据文件中。
【技术特征摘要】
1.一种快速向数据库加载数据的方法，其特征在于在数据文件写入数据库的过程中，采用并行方式加载数据文件；在加载过程中采用直接写入方式，在生成元组后直接将元组写入数据库的数据文件中。2.如权利要求1所述的快速向数据库加载数据的方法，其特征在于在加载所述数据文件之前，首先制作配置文件，在所述配置文件中根据数据库服务器的硬件条件设置并行线程的数量。3.如权利要求1所述的快速向数据库加载数据的方法，其特征在于在采用直接写入方式时，不进行事务检查。4.如权利要求1所述的快速向数据库加载数据的方法，其特征在于在数据文件写入数据库的过程中，实时维护数据库表的索引。5.如权利要求1所述的快速向数据库加载数据的方法，其特征在于在数据文件写入数据库的过程中，待数据加载结束后重新生成数据库表的索引。6.如权利要求2或4或5所述的快速向数据库加载数据的方法，其特征在于所述索引的处理方式在所述配置文件中设置。7.如权利要求2 ...
【专利技术属性】
技术研发人员：张树杰，王颖泽，冯玉，李祥凯，任永杰，王珊，
申请(专利权)人：北京人大金仓信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。