一种将文件导入数据库的方法及装置制造方法及图纸

本发明专利技术公开了一种将文件导入数据库的方法及装置，该方法包括将待入库文件按照分拣规则分拣为与数据库表对应的数据文件；以每个数据文件形成一个数据导入任务；以并行多任务方式执行所述数据导入任务。该装置包括数据分拣模块，用于将待入库文件按照分拣规则分拣为与数据库表对应的数据文件；任务工作单元，用于以并行多任务方式执行由每个数据文件形成的数据导入任务。本发明专利技术的方法及装置通过对待入库文件的分拣，形成与数据库表对应的数据文件，采用多任务并行入库方式，实现将海量数据快速导入到数据库中。

【技术实现步骤摘要】

本专利技术涉及移动通信业务支撑领域，特别涉及一种将文件导入数据库的方法及装置。
技术介绍
用户使用运营商的网络服务产生的服务使用记录，经过业务支撑系统计费批价处 理后形成了用户话单。为了方便用户查询话单和工作人员在后台对话单进行统计，用户话 单(即文件)需要导入数据库中。 对于运营商来说，随着用户数的增多和多种业务开展，用户话单数量也在剧增，例 如某拥有1500万用户的运营商，每天需要入库的话单有15000万条话单，其中语音8000万 条，短信4000万条左右。对于如此海量的话单，如何快速的导入数据库中，以方便用户实时 查询、统计和分析？ 目前，一般采用数据库批量处理技术将话单数据文件导入数据库中。如在一篇申 请号为200610059825的中国专利申请文件中公开了一种数据快速入库方法。 其中，所述方法包括(1)、下级节点收到数据包，将数据包处理成数据文件形式并 保存，并将数据文件路径保存至下级节点中的数据队列中；(2)、下级节点中的数据处理线 程根据下级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批 量导入下级节点中的数据库中；(3)、下级节点将下级节点需本文档来自技高网...

【技术保护点】
一种将文件导入数据库的方法，其特征在于，包括：将待入库文件按照分拣规则分拣为与数据库表对应的数据文件；以每个数据文件形成一个数据导入任务；以并行多任务方式执行所述数据导入任务。

【技术特征摘要】
一种将文件导入数据库的方法，其特征在于，包括将待入库文件按照分拣规则分拣为与数据库表对应的数据文件；以每个数据文件形成一个数据导入任务；以并行多任务方式执行所述数据导入任务。2. 根据权利要求1所述的方法，其特征在于，所述分拣规则记录待入库文件的文件名 以及该待入库文件需要导入的至少一个数据库表；所述将待入库文件按照分拣规则分拣为数据文件进一步包括由所述待入库文件生成 至少一个数据文件，所述数据文件分别对应于该待入库文件需要导入的所有数据库表。3. 根据权利要求1所述的方法，其特征在于，所述方法还包括接收多个待入库文件， 并行执行由所述多个待入库文件形成的数据导入任务。4. 根据权利要求1至3任意一项所述的方法，其特征在于，所述以并行多任务方式执行 数据导入任务进一步包括数据导入任务与任务工作单元一一对应； 多个所述任务工作单元接收数据导入任务；多个任务工作单元并行完成数据导入任务，将数据批量导入到数据库中。5. 根据权利要求4所述的方法，其特征在于，还包括根据数据导入任务的负荷情况，对 所述任务工作单元的数量以及任务工作单元所在的任务工作池的容量进行控制。6. 根据权利要求1至3中任意...

【专利技术属性】
技术研发人员：余鹰，
申请(专利权)人：中国移动通信集团安徽有限公司，
类型：发明
国别省市：34[中国|安徽]