一种海量数据管理方法技术

本发明专利技术提供了一种海量数据管理方法，该方法将一个数据库大表分成多个分区，每个分区相当于一个数据库小表，按日期划分分区，数据插入按分区顺序进行并在分区号范围内循环更新；另外建立五个数据库表空间，以进一步提高数据库并行插入和查询效率。采用本发明专利技术的方法能够避免由于数据量大而降低整个应用系统性能，进而降低整个软件系统运行平台的费用，提高其运行效率。

【技术实现步骤摘要】

本专利技术涉及一种计算机运行系统，尤其涉及。
技术介绍
传统大型应用软件系统对其应用的管理对象采集的数据进行管理和查询分析，一般而言，管理和查询的数据量都非常巨大。如导入和查询移动短信网关的CDR(Call Detail Record话单详单)数据等。在现有的技术中，从网关取得的移动短信CDR数据文件直接插入数据库时，由于CDR中存在一些无效数据，比如无效行，无效字段等，而CDR中有二十多个字段，每个字段出错都会导致插入数据失败，应用程序因此会抛出例外，例外处理会占用计算机较多的处理时间，因而影响数据库的插入速度。另一方面，每次插入一条CDR记录，由于每次和数据库交互都存在在较大的开销，因此插入效率非常低下。当移动CDR每天几百万条数据在插入一个空的数据库表的时候，插入速度较快，随着日期的推移，表中的数据会越来越多，插入速度也会越来越慢，从而导致数据积压，不能及时处理。表中数据的增加又直接影响了对数据的查询和和统计分析的速度。
技术实现思路
本专利技术的目的，在于解决现有技术中存在的上述问题，提供一种新的海量数据管理方法。本专利技术的目的是这样实现的，包括以下步骤A、把一个数据库大表本文档来自技高网...

【技术保护点】
一种海量数据管理方法，其特征在于，包括以下步骤：Ａ、把一个数据库大表分成多个分区，每个分区相当于一个数据库小表，按日期划分分区，数据插入按分区顺序进行并在分区号范围内循环更新；Ｂ、建立五个数据库表空间，一个分区使用一个表空间，相隔五个号的分区使用相同的表空间，即第６个分区使用和第１个分区相同的表空间，其他类推；Ｃ、建立好数据库表空间后，每隔１５分钟，从短信网关通过ＦＴＰ协议，取ＣＤＲ文件到本地指定目录，取得数据库的连接，设置数据库的自动提交模式为Ｆａｌｓｅ，保证不是每条记录都自动提交，以降低和数据库交互的开销，提高插入速度；Ｄ、读入一条ＣＤＲ记录，检查记录是否合法，检查各字段是否正确；Ｅ、字段...

【技术特征摘要】

【专利技术属性】
技术研发人员：冯谧，
申请(专利权)人：上海全成通信技术有限公司，
类型：发明
国别省市：31[中国|上海]