分布式快速清单查询系统及方法技术方案

本发明专利技术涉及一种分布式快速清单查询系统及方法，包括分布式高速缓存服务模块和分布式磁盘存储服务模块，采用数据分级治理的思路，将热数据、冷数据分开，对于热数据采用分布式高速缓存组件技术，满足高并发、低延时的查询要求，提升客户体验；对于冷数据，则保存在分布式磁盘数据库中，提供高容量高压缩的存储。本发明专利技术可基于x86分布式部署，可动态快速扩容；支持服务注册/订阅机制，可动态发现服务；冷热数据分治管理，常用热数据存储于主机内存中，可提供快速查询服务。本发明专利技术产品可应用于电信运营支撑的清单查询，并且扩展后还可应用于需要大规模存储并快速响应查询的更广泛领域；其设计思路领先于业界同行。

【技术实现步骤摘要】
分布式快速清单查询系统及方法
本专利技术涉及一种分布式快速清单查询系统及方法。
技术介绍
对于电信清单的存储，以往一般采用非分布式的关系型数据库，这种存储模式简单方便，能提供较复杂的查询条件组合，并很好的支持表关联查询，查询响应也比较迅速。但这种存储模式存在压缩比低，扩容困难等问题，当数据海量增长时，往往很难满足快速线性扩容的要求。再以后发展成采用分布式部署的列存储数据库来存储海量清单数据，分布式的列存储数据库能提供更高的压缩比，扩容也相对简单，但由于列存储数据库在数据查询时需要进行数据解压，并且将列数据拼接为行数据，这样在查询响应速度上就很难满足要求，特别是在高并发查询的情况下。
技术实现思路
为了解决清单查询系统响应慢、存储压缩比低，以及不易线性扩展的问题，本专利技术提供一种分布式快速清单查询系统及方法，具体方案如下：一种分布式快速清单查询系统，包括：分布式高速缓存服务模块，采用分布式内存计算技术，基于内存的数据管理引擎，作为热数据的存储介质，提供高速的基于内存的数据存储和查询服务；分布式磁盘存储服务模块，包括分布式部署的列存储数据库，支持PB级的数据压缩存储和分析查询，支持高压缩率和线性扩展，作为冷数据的存储系统，提供相对较长时间内的数据存储和查询服务。优选的，还包括：采集模块，负责数据文件的采集，并进行登记；预处理模块，对数据文件进行文件去重、完整性检查、规整、增强、抽取过滤以及拆分；入库模块，把预处理过的数据插入到分布式高速缓存服务模块或分布式磁盘存储服务模块中。优选的，还包括：服务管理器，对服务节点中的分布式高速缓存服务模块、分布式磁盘存储服务模块进行管理，并接受查询服务器的服务注册请求，以及客户端的服务订阅请求并回复可用的已经注册的查询服务器的地址；查询服务器，分布于各服务节点，用于对所述服务节点内的分布式高速缓存服务模块、分布式磁盘存储服务模块进行数据查询。一种分布式快速清单查询方法：采用数据分级治理的思路，将热数据、冷数据分开，采用不同的技术和产品来存储和处理热数据、冷数据。优选的，对于热数据采用分布式高速缓存组件技术，满足高并发、低延时的查询要求，提升客户体验；对于冷数据，则保存在分布式磁盘数据库中，提供高容量高压缩的存储。优选的，所述热数据、冷数据由采集模块、预处理模块以及入库模块依次对数据处理获得。优选的，所述入库模块处理流程包括：1)入库进程启动后，先获取已经预处理的清单文件列表；2)打开清单文件并读取清单记录；3)把清单记录入库到分布式高速缓存；4)把清单记录入库到分布式磁盘数据库；5)更新文件列表，标志为入库；6)删除已入库清单文件。优选的，建立服务管理器以及分布于服务节点的查询服务器，客户端通过向服务管理器得到服务列表，然后根据列表连接到查询服务器，客户端通过传入用户号码、清单类型和时间范围进行清单查询，查询服务器按照预定的格式组装成查询结果包，返回给服务调用方。优选的，查询服务器支持注册订阅机制，查询服务器在进行服务之前先注册到服务管理器，是为服务注册，将能提供的服务告诉服务管理器，服务管理器把这些信息写入服务列表，并在退出之前向服务管理器进行注销；客户端在使用查询服务器提供的服务时须先向服务管理器发起服务订阅请求，在获得服务管理器返回的服务列表后，使用相应的查询服务器；服务管理器根据已经注册的服务信息以及各查询服务器当前的状态决定返回的服务列表内容，客户端通过服务名来请求想要的服务。优选的，数据查询流程如下：1)客户端向清单查询服务器发起查询请求，内容包括号码、时间段、清单类型；2)查询服务器根据时间段拆分为热数据、冷数据查询，对于热数据查询请求，向分布式高速缓存发查询请求，对于冷数据查询请求，则向分布式磁盘数据库发查询请求；3)分布式高速缓存接到查询请求后，在缓存中找到相应数据，并返回给查询服务器；分布式磁盘数据库接到查询请求后在磁盘库中找到相应数据，也返回给查询服务器；4)查询服务器做冷热结果数据做合并，返回给客户端。本专利技术提供的分布式快速清单查询系统及方法可基于x86分布式部署，可动态快速扩容；支持服务注册/订阅机制，可动态发现服务；冷热数据分治管理，常用热数据存储于主机内存中，可提供快速查询服务。本专利技术产品可应用于电信运营支撑的清单查询，并且扩展后还可应用于需要大规模存储并快速响应查询的更广泛领域；其设计思路领先于业界同行。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的不当限定，在附图中：图1为本专利技术实施例框架图；图2是本专利技术实施例清单入库流程图；图3是本专利技术实施例清单查询服务器架构图；图4清单查询流程图；图5是本专利技术实施例根据数据冷热清单分治存储示意图。具体实施方式下面将结合附图以及具体实施例来详细说明本专利技术，在此本专利技术的示意性实施例以及说明用来解释本专利技术，但并不作为对本专利技术的限定；实施例如图1所示，一种分布式快速清单查询系统，包括：分布式高速缓存服务模块，采用分布式内存计算技术，基于内存的数据管理引擎，作为热数据的存储介质，提供高速的基于内存的数据存储和查询服务；高速缓存组件是完全基于内存的数据管理引擎，致力于解决现有数据库性能慢、扩展难、成本高等固有问题。高速缓存组件支持分布式集群部署，支持完整的ACID一致性，支持持久化。为了获得最大化吞吐量，数据保存在内存中(而不是在硬盘)，这样可以有效消除缓冲区管理。集群环境下的高速缓存组件，把数据分发给集群服务器的每个CPU进行处理。每个单线程分区自主执行，消除锁定和闩锁的需求。它还可以通过简单的在集群中增加附加节点的方式实现性能的线性增加。分布式磁盘存储服务模块，包括分布式部署的列存储数据库，支持PB级的数据压缩存储和分析查询，支持高压缩率和线性扩展，作为冷数据的存储系统，提供相对较长时间内的数据存储和查询服务。本实施例方案中的数据采集及处理包括：采集模块，负责数据文件的采集，并进行登记，OCS系统提供完计费服务后，把生成的话单以文件的形式保存在固定地方，清单库系统的文件采集模块负责及时的把这些话单文件使用ftp协议采集过来，并进行登记。预处理模块，对数据文件进行文件去重、完整性检查、规整、增强、抽取过滤以及拆分，采集过来的话单文件，必须经过预处理后才能入库使用，预处理的内容包括：1)文件去重，根据文件名进行查重。OCS在工程期间，可能会重复采集同一个文件，预处理查重功能确保不会重复对同一个文件进行入库。2)记录完整性检查，对话单记录做合理性检查，对一些明显不完成的记录进行登记和告警。3)记录信息增强和规整，为了入库格式的需要，需要对原始话单记录进行必要的规整，如号码区号规整等。另外为了方便统计，需求在每条话单记录末尾增加文件名信息等。4)记录信息抽取过滤，根据清单库表设计要求，去掉原始话单记录的一些冗余字段，只抽取有用的信息。5)话单文件拆分，清单库的记录是按月分表的，为了方便入库和统计，需要对待入库话单文件按月进行拆分。入库模块，清单入库为常驻运行的服务，把预处理过的数据插入到分布式高速缓存服务模块或分布式磁盘存储服务模块中，为了保持高速缓存和磁盘数据库中的数据的一致性，同一份话单数据将分别入到分布式高速缓存和分布式磁盘数据库中。本实施例方案中还包括：服务管本文档来自技高网...

【技术保护点】
一种分布式快速清单查询系统，其特征在于包括：分布式高速缓存服务模块，采用分布式内存计算技术，基于内存的数据管理引擎，作为热数据的存储介质，提供高速的基于内存的数据存储和查询服务；分布式磁盘存储服务模块，包括分布式部署的列存储数据库，支持PB级的数据压缩存储和分析查询，支持高压缩率和线性扩展，作为冷数据的存储系统，提供相对较长时间内的数据存储和查询服务。

【技术特征摘要】
1.一种分布式快速清单查询系统，其特征在于包括：分布式高速缓存服务模块，采用分布式内存计算技术，基于内存的数据管理引擎，作为热数据的存储介质，提供高速的基于内存的数据存储和查询服务；分布式磁盘存储服务模块，包括分布式部署的列存储数据库，支持PB级的数据压缩存储和分析查询，支持高压缩率和线性扩展，作为冷数据的存储系统，提供相对较长时间内的数据存储和查询服务。2.如权利要求1所述的分布式快速清单查询系统，其特征在于还包括：采集模块，负责数据文件的采集，并进行登记；预处理模块，对数据文件进行文件去重、完整性检查、规整、增强、抽取过滤以及拆分；入库模块，把预处理过的数据插入到分布式高速缓存服务模块或分布式磁盘存储服务模块中。3.如权利要求1所述的分布式快速清单查询系统，其特征在于还包括：服务管理器，对服务节点中的分布式高速缓存服务模块、分布式磁盘存储服务模块进行管理，并接受查询服务器的服务注册请求，以及客户端的服务订阅请求并回复可用的已经注册的查询服务器的地址；查询服务器，分布于各服务节点，用于对所述服务节点内的分布式高速缓存服务模块、分布式磁盘存储服务模块进行数据查询。4.一种分布式快速清单查询方法，其特征在于：采用数据分级治理的思路，将热数据、冷数据分开，采用不同的技术和产品来存储和处理热数据、冷数据。5.如权利要求4所述的分布式快速清单查询方法，其特征在于：对于热数据采用分布式高速缓存组件技术，满足高并发、低延时的查询要求，提升客户体验；对于冷数据，则保存在分布式磁盘数据库中，提供高容量高压缩的存储。6.如权利要求5所述的分布式快速清单查询方法，其特征在于：所述热数据、冷数据由采集模块、预处理模块以及入库模块依次对数据处理获得。7.如权利要求6所述的分布式快速清单查询方法，其特征在...

【专利技术属性】
技术研发人员：施志雄，陈祥，蔡广奎，刘志雄，
申请(专利权)人：广州天源迪科信息技术有限公司，中国联合网络通信有限公司广东省分公司，
类型：发明
国别省市：广东,44