一种内存话单剔重方法技术

本发明专利技术涉及一种内存话单剔重方法，包括：步骤1：将话单文件读入内存；步骤2：从所述话单文件中读取一条话单记录；步骤3：根据所述话单记录中的关键信息，找到内存中与所述话单记录相对应的索引表；步骤4：对所述话单记录中的字段内容拼成一个字符串，并求MD5值作为该话单记录的索引；步骤5：将所述MD5值插入到所述索引表中，若插入成功，则将所述话单记录写入正常话单文件中，若插入失败，则将所述话单记录写入重单文件；步骤6：重复步骤2至步骤5，直到遍历完所述话单文件中的所有话单记录。本发明专利技术的方法利用内存索引表并采用MD5值进行剔重，实现了利用较小的内存空间进行较快的话单剔重处理，使得话单的剔重处理性能与话单的数据量无关。

【技术实现步骤摘要】

本专利技术涉及一种话单记录的剔重方式，特别是在电信系统内部解决海量级文件的内存级排重的方法。
技术介绍
随着电信运营商不断的发展，业务扩展越来越广，各种新业务层出不穷；随着资费的越来越便宜，用户不断的增长，同时用户的通话量也逐年递增，用户的详单量越来越大。 原有的剔重针越来越海量的数据话单，压力越来越大，系统升级势在必行。当前大多的电信运营商都采用以下几种方式数据库方式、内存方式和文件系统方式，现有这些方法实现的剔重产品，在海量数据处理进或多或少在性能和IO方面有缺陷。数据库方式数据库剔重一般做法就是建一系列表，使用唯一索引或者主键进行唯一性的判定。这种策略最大的优点就是开发比较容易，因为很多工作交给数据库做了 ；缺点非常明显，浪费空间，效率低下。因为数据库中表数据和索引数据要占用双份空间，就算表数据只有关键字段，也要浪费一倍的空间，因为写双份数据，因此效率也就要低一倍。传统文件系统方式在话单预处理过程中，每天建立一个重单检查比较文件。对每条经过预处理后生成的标准话单，取出字段(字符串)，根据条件打开相应的重单检查文件， 利用HASH算法和匹配函数在重单检查文件中进行快速查找，如果本文档来自技高网...

【技术保护点】
１．一种内存话单剔重方法，包括：步骤１：将话单文件读入内存；步骤２：从所述话单文件中读取一条话单记录；步骤３：根据所述话单记录中的关键信息，找到内存中与所述话单记录相对应的索引表；步骤４：对所述话单记录中的字段内容拼成一个字符串，并求ＭＤ５值作为该话单记录的索引；步骤５：将所述ＭＤ５值插入到所述索引表中，若插入成功，则将所述话单记录写入正常话单文件中，若插入失败，则将所述话单记录写入重单文件；步骤６：重复步骤２至步骤５，直到遍历完所述话单文件中的所有话单记录。

【技术特征摘要】

【专利技术属性】
技术研发人员：卓才华，
申请(专利权)人：北京神州数码思特奇信息技术股份有限公司，
类型：发明
国别省市：11