一种话单存储系统及方法技术方案

本发明专利技术实施例提供一种话单存储系统及方法。其中，系统包括：话单缓存模块、redis集群和话单出库合并模块；其中，所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。本发明专利技术实施例提供的系统及方法，在话单文件进行最终入库存储之前，通过话单文件合并操作，减少入库话单量，节约了话单存储系统的存储空间，提高了查询效率。

A single memory system and method

【技术实现步骤摘要】
一种话单存储系统及方法
本专利技术实施例涉及通信
，尤其涉及一种话单存储系统及方法。
技术介绍
目前，用户的话单大多存储于Hadoop话单系统中。Hadoop话单系统包括：批价后话单服务器、hadoopSplit模块、话单入库模块和hbase集群四部分。话单存入Hadoop话单系统中的具体流程为：批价后话单服务器对经过业务运营支撑系统(Business&OperationSupportSystem，简称BOSS)批价后生成的话单文件进行有用入库字段的抽取，以生成缩小版的话单文件；然后，批价后话单服务器通过hadoopSplit模块和话单入库模块，将缩小版的话单文件存入hbase集群。对于流量话单来说，一条缩小版的流量话单在Hadoop话单系统中约占用0.39K的存储空间，以此推算，每月的流量话单大约占用Hadoop话单系统49T的存储空间，而一般来说，Hadoop话单系统需保留用户近7个月的历史话单记录，因此，Hadoop话单系统需要343T的存储空间，而按照正常65％的空间利用率计算，Hadoop话单系统需要530T的存储空间。同时，随着业务的不断发展，流量话单量还在快速增长，这就导致Hadoop话单系统的存储资源越来越紧张，因此，Hadoop话单系统压力逐渐增大。同时，随着流量话单量的快速增长，用户进行话单查询时的查询效率在不断下降，当用户要查询的话单量大于某个阈值时，Hadoop话单系统将无法提供查询服务。
技术实现思路
针对现有技术中存在的技术问题，本专利技术实施例提供一种话单存储系统及方法。第一方面，本专利技术实施例提供一种话单存储系统，包括：话单缓存模块、redis集群和话单出库合并模块；其中，所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。第二方面，本专利技术实施例提供一种基于第一方面所述的话单存储系统的话单存储方法，包括：通过话单缓存模块将hadoopSplit模块所输出的话单文件缓存至redis集群；通过话单出库合并模块将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面所提供的方法的步骤。本专利技术实施例提供的一种话单存储系统及方法，通过话单缓存模块使得分割后的话单文件不直接入hbase集群，而是先入redis集群进行一定时间的缓存，然后通过话单出库合并模块将redis集群中缓存的话单文件进行合并，然后再将合并成功的话单文件送入hbase集群进行存储。在话单文件进行最终入库存储之前，通过话单文件合并操作，减少入库话单量，节约了话单存储系统的存储空间，提高了查询效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的一种话单存储系统的结构示意图；图2为本专利技术另一实施例提供的一种话单存储系统的结构示意图；图3为本专利技术实施例提供的一种话单存储方法流程图；图4为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一实施例提供的一种话单存储系统的结构示意图，如图1所示，该系统包括：话单缓存模块101、redis集群102和话单出库合并模块103；其中，所述话单缓存模块101，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群102；所述话单出库合并模块103，用于将所述redis集群102中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。可以理解的是，本专利技术在原有的Hadoop话单系统中添加了话单缓存模块101、redis集群102和话单出库合并模块103，其中，话单缓存模块101的输入与hadoopSplit模块的输出电连接，话单缓存模块101的输出与redis集群102电连接，redis集群102的输出与话单出库合并模块103的输入电连接，话单出库合并模块103的输出与话单入库模块的输入电连接。可以理解的是，话单缓存模块101负责将hadoopSplit模块分割后的话单文件缓存至redis集群102，话单出库合并模块103对redis集群102中缓存的话单文件进行合并，并将合并成功的话单文件通过话单入库模块存储至hbase集群。本专利技术实施例提供的系统，通过话单缓存模块使得分割后的话单文件不直接入hbase集群，而是先入redis集群进行一定时间的缓存，然后通过话单出库合并模块将redis集群中缓存的话单文件进行合并，然后再将合并成功的话单文件送入hbase集群进行存储。在话单文件进行最终入库存储之前，通过话单文件合并操作，减少入库话单量，节约了话单存储系统的存储空间，提高了查询效率。在上述各实施例的基础上，所述话单出库合并模块，还用于将合并失败的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并失败的话单文件存储至hbase集群。可以理解的是，话单出库合并模块用于对redis集群中缓存的话单文件进行合并操作，然后并不是所有的话单文件均可被成功合并，对于未成功合并即合并失败的话单文件，话单出库合并模块同样需将其通过话单入库模块送入hbase集群进行存储。在上述各实施例的基础上，本专利技术实施例提供的话单存储系统，还包括：批价后话单服务器和hadoopSplit模块；其中，所述批价后话单服务器，用于对经过BOSS批价后生成的话单文件进行有用入库字段的抽取，以生成缩小版的话单文件，并发送至所述hadoopSplit模块；所述hadoopSplit模块，用于将所述缩小版的话单文件进行分割，并将分割后的话单文件输出至本文档来自技高网...

【技术保护点】
1.一种话单存储系统，其特征在于，包括：话单缓存模块、redis集群和话单出库合并模块；其中，/n所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；/n所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。/n

【技术特征摘要】
1.一种话单存储系统，其特征在于，包括：话单缓存模块、redis集群和话单出库合并模块；其中，
所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；
所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。


2.根据权利要求1所述的系统，其特征在于，所述话单出库合并模块，还用于将合并失败的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并失败的话单文件存储至hbase集群。


3.根据权利要求2所述的系统，其特征在于，还包括：批价后话单服务器和hadoopSplit模块；其中，
所述批价后话单服务器，用于对经过BOSS批价后生成的话单文件进行有用入库字段的抽取，以生成缩小版的话单文件，并发送至所述hadoopSplit模块；
所述hadoopSplit模块，用于将所述缩小版的话单文件进行分割，并将分割后的话单文件输出至所述话单缓存模块。


4.根据权利要求3所述的系统，其特征在于，还包括：话单入库模块和hbase集群；其中，
所述话单入库模块，用于从所述话单出库合并模块中获取所述合并成功的话单文件和所述合并失败的话单文件，并存储至所述hbase集群；
所述hbase集群，用于存储所述合并成功的话单文件和所述合并失败的话单文件。


5.一种基于权利要求1-4任一项所述的话单存储系统的话单存储方法，其特征在于，包括：
通过话单缓存模块将hadoopSplit模块所输出的话单文件缓存至redis集群；
通过话单出库合并模块将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。


6.根据权利要求5所述的方法，其特征在于，通过话...

【专利技术属性】
技术研发人员：裴照华，李明，王守初，姚海昌，郭晓玲，
申请(专利权)人：中国移动通信集团河南有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：河南;41