基于缓存机制的协议分发处理系统技术方案

本发明专利技术公开了一种基于缓存机制的协议分发处理系统，其特征在于所述系统包括协议分发服务器、业务处理服务器，其特征在于所述协议分发服务器内根据业务类型、使用的热点频率、数据方向、占用的数据带宽大小、是否有分包处理构建协议分发处理路由表，根据协议分发处理路由表将业务处理任务映射到相应的业务处理服务器上处理；所述业务处理服务器在内存中进行业务处理任务的数据索引和数据更新，并根据构建的索引表定位到相应的数据内存块位置。该系统在不同的处理层面都有备份机制保证系统在不同环节出问题都有一种自发的恢复机制，保证了系统的可用、可靠性。

【技术实现步骤摘要】
本专利技术属于海量数据处理
，具体涉及一种基于缓存机制的协议分发处理系统。
技术介绍
目前基于GPRS/3G模式的在线监控应用越来越多，同时单一应用下，接入的设备也越来越多，随着设备的增加，同时设备类型有可能不同，还有上下行不同的业务数据处理，若采用单一接入点的方式，对服务器和网络的要求会很高。同时监控应用中大部分是要是实时监控设备的最新状态，若采用传统的数据处理方式(如先存到表中，后续再实时调用)，用户的体验会很差，往往觉得数据不够及时。目前已经有一些解决办法如中国专利申请号为201110182296提供了一种海量数 据处理方法和系统，调度模块根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句(H QL),当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，调度模块根据调用顺序向数据仓库平台调用H Q L，数据仓库平台从关系数据库中读取数据仓库对应的配置信息，数据仓库平台根据调用顺序触发H Q L对分布式平台存储的数据进行运算，生成结果数据并存储到分布式平台。本专利技术还公开了一种海量数据处理系统。采用该海量数据处理方法和系统，能够增强海量数据处理的灵活性。另外中国专利申请号为200610098074提供了一种流水线多进程之间基于消息队列的海量数据传输方法，在计费产品业务处理流程中一条话单顺序通过至少分为格式化、规整(或者称为分拣)、排重、批价、入库多个进程，计费方法采用单步与整体提交相结合的机制，通过配置来实现在不同环境下采用不同消息队列类型自动分配任务，负载均衡管理，将话单分发至不相同的消息队列，根据业务逻辑，自定义方式进行部署。采用本专利技术方法实现的计费系统海量的话单数据在进程间的传输，全部通过消息队列，处理过程可以在内存里面实现，没有系统IO的开销，速度大大提高。采用基于消息队列的流水线并行处理技术方案的系统处理效率明显提高，处理速度在国内外计费厂家中名列前茅。然而目前大部分技术都是基于数据库的实时应用，而在现实应用中对设备的监控数据一天往往就能达到40万条记录，对于这种海量的数据业务，若采用传统的数据读取，一方面需要建索引，另一方面数据的取数速度相当慢。而且终端的数据上传协议大部分是基于TCP/UDP技术的，为了配置方便往往会指定一个接收服务器的IP地址和端口，这个服务器一方面要进行协议解析，另一方面要进行数据存储。在数据量特别大的情况下就会照成服务拥塞。另外，目前大部分很多基于设备通信的服务没有做到负载均衡和分发处理，性能往往比较低下，大部分的设备通信的数据处理是单线程处理，同时在缓存机制上欠缺考虑。本专利技术因此而来。
技术实现思路
本专利技术目的在于提供一种基于缓存机制的协议分发处理系统，解决了现有技术中海量数据处理时容易出现服务拥塞、性能往往比较低下等问题。为了解决现有技术中的这些问题，本专利技术提供的技术方案是一种基于缓存机制的协议分发处理系统，其特征在于所述系统包括系统资源登记、协议分发服务器、业务处理服务器，其特征在于所述协议分发服务器内根据业务类型、使用的热点频率、数据方向、占用的数据带宽大小、是否有分包处理构建协议分发处理路由表，根据协议分发处理路由表将业务处理任务映射到相应的业务处理服务器上处理；所述业务处理服务器在内存中进行业务处理任务的数据索引和数据更新，并根据构建的索引表定位到相应的数据内存块位置。优选的，所述业务处理服务器根据数据的使用频繁程度进行判断是否进行异步读操作或异步写操作，构建并异步更新关系型数据库。优选的，当所述业务处理服务器内存缓存数据在出现异常时，按照索引的关键数据字段重新从关系数据库构建内存缓存数据。 本专利技术还通过单点接入配置、负载均衡处理、协议分发处理、基于内存的数据索引和缓存机制、异步更新关系型数据库技术来解决这些问题。本专利技术的关键在于本专利技术技术方案不直接操作数据库，而是采取的内存缓存的技术存取最新的设备状态数据，同时异步保存数据进数据库。具体的说I)单点接入配置所有的终端设备接入系统均采用单一 IP配置，通过单一 IP配置，能够很好的进行硬件的初始化配置。接入服务器应该部署在外网带宽最大位置，该接入服务器主要工作就是协议分发。2)系统资源登记系统资源包括CPU资源，网络资源，内存资源，服务器资源。系统初始化时应把所有的资源进行登记，如位置、调用的参数信息等。并结合分发路由表形成(信息帧/系统资源)的一一对应关系。3)协议分发处理设备上传的信息帧有不同的协议。根据业务类型、使用的热点频率、数据方向、占用的数据带宽大小、是否有分包处理等会做一个路由判断，同时根据系统资源情况进行排队处理。内部有一张协议分发处理路由表，通过路由表映射到相应的业务处理服务器上处理。4)负载均衡处理一般设备通信协议中按照28定律有20%的协议是热点协议，也就是我们要对这20%的热点协议进行分配更多的系统资源，提高处理性能。因此会做一个负载均衡处理。在处理负载时要记住负载分发的路径。5)基于内存的数据索引和缓存机制内存的数据更新和数据索引能很大提高数据处理效率，系统会重新构建业务系统，把业务系统的关键要素和数据关系构建于内存中，同时有个数据刷新机制。保证内存中的数据始终是最新的。内存的数据建立索引表，通过索引表能够最快定位到相应的数据内存块位置。6)异步更新关系型数据库异步更新数据库包括异步读操作和异步写操作，这两个步骤是分开进行的。异步读操作是根据数据的使用频繁程度按照策略读入内存。异步写操作是也是根据数据的使用性质根据策略来决定会写的频率。7 )缓存数据的错误处理内存缓存数据在出现异常时，有个错误处理机制，即按照索引的关键数据字段重新从关系数据库构建内存，保证系统的正常运行。本专利技术技术方案中通过数据处理的协议分发处理，通过路由表来决定后续的协议转发；通过负载均衡处理热点协议的热点数据，基于于内存的数据索引和缓存机制使得数据处理无IO操作时间，加快读取速度；另外异步更新关系型数据库，永久数据的存储方案，·通过成熟的关系数据库技术保证数据的可靠存储。在保障措施上，内存数据是容易损坏的，在损坏的时候采用一种自动补救机制保证系统能不间断运营，内存数据的缓存机制崩溃处理机制保证系统数据的可用性，完整性。相对于现有技术中的方案，本专利技术的优点是本专利技术针对通信终端设备接入系统的一种通用解决方案，通过该方案能够有效解决设备种类多，数量多，协议多的问题。原有的架构往往只考虑单一的接入情况，对总体处理考虑不够。因为业务数据往往是有管理性的。同时在不同的处理层面都有备份机制保证系统在不同环节出问题都有一种自发的恢复机制，保证了系统的可用、可靠性。附图说明下面结合附图及实施例对本专利技术作进一步描述图I为基于缓存机制的协议分发处理系统的系统架构图；图2为基于缓存机制的协议分发处理系统的协议分发处理工作流程图。具体实施例方式以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本专利技术而不限于限制本专利技术的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。实施例如图I所示，本实施例得到的基于缓存机制的协议分发处理系统，包括协议分发服务器、业务处理服务器，其特征在于所述协议分发服务器内根据业务类型、使用的热点频率、本文档来自技高网...

【技术保护点】
一种基于缓存机制的协议分发处理系统，其特征在于所述系统包括系统资源登记处理、协议分发服务器、业务处理服务器，其特征在于所述协议分发服务器内根据业务类型、使用的热点频率、数据方向、占用的数据带宽大小、是否有分包以及系统的资源使用情况处理构建协议分发处理路由表，根据协议分发处理路由表将业务处理任务映射到相应的业务处理服务器上处理；所述业务处理服务器在内存中进行业务处理任务的数据索引和数据更新，并根据构建的索引表定位到相应的数据内存块位置。

【技术特征摘要】
1.一种基于缓存机制的协议分发处理系统，其特征在于所述系统包括系统资源登记处理、协议分发服务器、业务处理服务器，其特征在于所述协议分发服务器内根据业务类型、使用的热点频率、数据方向、占用的数据带宽大小、是否有分包以及系统的资源使用情况处理构建协议分发处理路由表，根据协议分发处理路由表将业务处理任务映射到相应的业务处理服务器上处理；所述业务处理服务器在内存中进行业务处理任务的数据索引和数据更...

【专利技术属性】
技术研发人员：谢清，
申请(专利权)人：方正国际软件有限公司，
类型：发明
国别省市：