一种话单存储系统及方法技术方案

本发明专利技术实施例提供一种话单存储系统及方法。其中，系统包括：话单缓存模块、redis集群和话单出库合并模块；其中，所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。本发明专利技术实施例提供的系统及方法，在话单文件进行最终入库存储之前，通过话单文件合并操作，减少入库话单量，节约了话单存储系统的存储空间，提高了查询效率。

A single memory system and method

【技术实现步骤摘要】
一种话单存储系统及方法
本专利技术实施例涉及通信
，尤其涉及一种话单存储系统及方法。
技术介绍
目前，用户的话单大多存储于Hadoop话单系统中。Hadoop话单系统包括：批价后话单服务器、hadoopSplit模块、话单入库模块和hbase集群四部分。话单存入Hadoop话单系统中的具体流程为：批价后话单服务器对经过业务运营支撑系统(Business&OperationSupportSystem，简称BOSS)批价后生成的话单文件进行有用入库字段的抽取，以生成缩小版的话单文件；然后，批价后话单服务器通过hadoopSplit模块和话单入库模块，将缩小版的话单文件存入hbase集群。对于流量话单来说，一条缩小版的流量话单在Hadoop话单系统中约占用0.39K的存储空间，以此推算，每月的流量话单大约占用Hadoop话单系统49T的存储空间，而一般来说，Hadoop话单系统需保留用户近7个月的历史话单记录，因此，Hadoop话单系统需要343T的存储空间，而按照正常65％的空间利用率计算，Hadoop话单系统需要530T的存本文档来自技高网...

【技术保护点】
1.一种话单存储系统，其特征在于，包括：话单缓存模块、redis集群和话单出库合并模块；其中，/n所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；/n所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。/n

【技术特征摘要】
1.一种话单存储系统，其特征在于，包括：话单缓存模块、redis集群和话单出库合并模块；其中，
所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；
所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。


2.根据权利要求1所述的系统，其特征在于，所述话单出库合并模块，还用于将合并失败的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并失败的话单文件存储至hbase集群。


3.根据权利要求2所述的系统，其特征在于，还包括：批价后话单服务器和hadoopSplit模块；其中，
所述批价后话单服务器，用于对经过BOSS批价后生成的话单文件进行有用入库字段的抽取，以生成缩小版的话单文件，并发送至所述hadoopSplit模块；
所述hadoopSplit模块，用于将所述缩小版的话单文件进行分割，并将分割后的话单文件输出至所述话单缓存模块。


4.根据权利要求3所述的系统，其特征在于，还包括：话单入库模块和hbase集群；其中，
所述话单入库模块，用于从所述话单出库合并模块中获取所述合并成功的话单文件和所述合并失败的话单文件，并存储至所述hbase集群；
所述hbase集群，用于存储所述合并成功的话单文件和所述合并失败的话单文件。


5.一种基于权利要求1-4任一项所述的话单存储系统的话单存储方法，其特征在于，包括：
通过话单缓存模块将hadoopSplit模块所输出的话单文件缓存至redis集群；
通过话单出库合并模块将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。


6.根据权利要求5所述的方法，其特征在于，通过话...

【专利技术属性】
技术研发人员：裴照华，李明，王守初，姚海昌，郭晓玲，
申请(专利权)人：中国移动通信集团河南有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：河南;41