【技术实现步骤摘要】
本专利技术涉及金融行业领域中面对大数据量的数据加载入库的性能解决方案，尤其涉及一种。
技术介绍
随着信息技术的迅猛发展，银行业务领域越来越需要解决大数据量的数据加载入库所带来的性能优化问题。这些业务实时产生的数据量非常大，如果在应用程序中采用SQL语句插入方式装载数据，将会耗费大量的时间，且不能保证数据的实时性和系统的稳定性。因此，在开发具有海量数据的业务系统时，常常采用数据装载工具来进行海量数据的装载。SQL Loader是Oracle提供的将文件中的数据装载到数据库中的有效工具。对于SQL Loader数据装载方案的改进是业界广泛关注的问题，其直接影响到海量数据加载入库的性能最优化。现有技术中，虽然SQL Loader的技术应用方兴未艾，但是限于海量数据本身的数据量大、信息量大、实时产生等特性，单纯的SQL Loader加载数据不可避免的效率偏低。因此，无论是从数据加载过程，还是从数据源的处理，都需要加以改进，才能突破瓶颈。
技术实现思路
本专利技术所要解决的技术问题是，在SQL Loader工具基础上，更进一步优化海量数据加载入库的性能。为了解决上述技术问题，...
【技术保护点】
一种将文件拆分后并行加载数据入库的方法，使用Oracle提供的数据装载工具SQL?Loader将大数据量的文件中的数据加载入库，其特征在于，包括以下步骤：S1：读取控制文件和数据文件，生成日志文件、坏文件和废弃文件；S2：配置数据装载工具SQL?Loader的参数；S3：根据配置参数，判断需要加载的文件的记录数是否大于参数配置的记录限额值，如果是，则执行步骤S4；如果否，则执行步骤S6；S4：根据参数配置的子文件记录数值将需要加载的文件顺序拆分为n个子文件；S5：启动数据装载工具SQL?Loader的m个子进程对子文件进行并行加载，每个子进程对多个子文件进行串行加载；S6：对文件进行普通加载。
【技术特征摘要】
1.一种将文件拆分后并行加载数据入库的方法，使用Oracle提供的数据装载工具SQLLoader将大数据量的文件中的数据加载入库，其特征在于，包括以下步骤: 51:读取控制文件和数据文件，生成日志文件、坏文件和废弃文件； 52:配置数据装载工具SQL Loader的参数； 53:根据配置参数，判断需要加载的文件的记录数是否大于参数配置的记录限额值，如果是，则执行步骤S4 ;如果否，则执行步骤S6 ； 54:根据参数配置的子文件记录数值将需要加载的文件顺序拆分为η个子文件； 55:启动数据装载工具SQL Loader的m个子进程对子文件进行并行加载，每个子进程对多个子文件进行串行加载； 56:对文件进行普通加载。2.根据权利要求1所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S4具体为:判断所述参数配置的子文件记录数值是否大于300000，如果是...
【专利技术属性】
技术研发人员：王党团，徐胜平，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。