一种基于Oracle数据和Hbase数据进行数据存储的方法技术

本发明专利技术涉及一种基于Oracle数据和Hbase数据进行数据存储的方法，提供一综合网管系统，所述综合网管系统包括监控设备、数据采集器、数据处理器和数据存储器；数据采集器分别与监控设备和数据处理器通信相连，数据处理器还与所述数据存储器通信相连；具体按照如下步骤实现：步骤S1：监控设备对综合网管系统进行监控；数据采集器通过监控设备开通的SNMP协议采集监控设备中的监控数据，并将采集的监控数据发送到数据处理器；步骤S2：数据处理器利用其内部的Esper复杂事件处理引擎将接收到的监控数据分为指标数据和当前告警数据，并将的两个数据存储到数据存储器；步骤S3：所述数据存储器将接收到的两种数据分别存储到各自所属的数据库中。本发明专利技术能够解决关系型数据库对海量数据存储、查询等性能问题。

A Data Storage Method Based on Oracle Data and Hbase Data

【技术实现步骤摘要】
一种基于Oracle数据和Hbase数据进行数据存储的方法
本专利技术涉及信息
，特别是一种基于Oracle数据和Hbase数据进行数据存储的方法。
技术介绍
目前综合网管系统采用关系型数据库(oracle)，对于网管监控项目修改库表结构尤为频繁，随综合网管业务发展后台数据吞吐量、数据采集、查询和处理已出现性能瓶颈。随着电力系统网络基础设施的扩展加速以及综合网管业务的高速发展，后台支撑系统已经不堪重负。在吞吐量、稳定性以及可扩展性上都无法满足日益增长的业务需求。随着业务量的快速增长，综合网管的运维成本急剧增加。基于传统架构设计开发的综合网管系统，在信息通信网络资源设备数量急剧上升，对网络设备管理、运行可靠性提出了更高的要求，已出现了数据采集、查询和处理的性能瓶颈；且应用部署、升级和扩展方面比较复杂，对监控对象的变化适应性差等问题。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于Oracle数据和Hbase数据进行数据存储的方法，能够解决关系型数据库对海量数据存储、查询等性能问题。本专利技术采用以下方案实现：一种基于Oracle数据和Hbase数据进行数据存储的方法，提供一综合网管系统，所述综合网管系统包括监控设备、数据采集器、数据处理器和数据存储器；所述数据采集器分别与所述监控设备和所述数据处理器通信相连，所述数据处理器还与所述数据存储器通信相连；具体按照如下步骤实现：步骤S1：所述监控设备对综合网管系统进行监控；所述数据采集器通过所述监控设备开通的SNMP协议采集所述监控设备中的监控数据，并将采集的监控数据发送到所述数据处理器；步骤S2：所述数据处理器利用其内部的Esper复杂事件处理引擎将接收到的监控数据分为指标数据和当前告警数据，并将所述的两个数据存储到所述数据存储器；步骤S3：所述数据存储器将接收到的两种数据分别存储到各自所属的数据库中。进一步地，所述步骤S3的具体内容为：所述数据存储器包括Hbase数据库和Oracle数据库；所述指标数据存储到所述Hbase数据库中，所述当前告警数据存储到所述Oracle数据库中。与现有技术相比，本专利技术有以下有益效果：本专利技术采用oracle数据与Hbase数据相结合的方式，解决关系型数据库对海量数据存储、查询等性能问题，并使用oracle数据库弥补对核心数据的事件访问、复杂关系数据的查询问题。提升了用户满意度、推动了Hbase与oracle协同发展。附图说明图1为本专利技术实施例的。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。本实施例提供了一种基于Oracle数据和Hbase数据进行数据存储的方法，提供一综合网管系统，所述综合网管系统包括监控设备、数据采集器、数据处理器和数据存储器；所述数据采集器分别与所述监控设备和所述数据处理器通信相连，所述数据处理器还与所述数据存储器通信相连；具体按照如下步骤实现：步骤S1：所述监控设备对综合网管系统进行监控；所述数据采集器通过所述监控设备开通的SNMP协议采集所述监控设备中的监控数据，并将采集的监控数据发送到所述数据处理器；步骤S2：所述数据处理器利用其内部的Esper复杂事件处理引擎将接收到的监控数据分为指标数据和当前告警数据，并将所述的两个数据存储到所述数据存储器；步骤S3：所述数据存储器将接收到的两种数据分别存储到各自所属的数据库中。在本实施例中，所述步骤S3的具体内容为：所述数据存储器包括Hbase数据库和Oracle数据库；所述指标数据存储到所述Hbase数据库中，所述当前告警数据存储到所述Oracle数据库中。较佳的，如图1所示，在本实施例中，（1）数据采集器中包含有采集代理程序：确保被监控服务器开通SNMP协议，该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况，使用TRAP或INFORM传送资料，将监控数据发送到activeMQ消息服务上。（2）数据处理器中包含有Esper复杂事件处理引擎：利用Esper解析分析数据，确保数据分析合理。Esper是一个开源的复杂事件处理引擎，它的目的是让用户能够通过它提供的接口，构建一个用于处理复杂事件的应用程序，它允许用户定义需要接收的事件以及对这些事件的处理方式。数据存储器：由关系型数据库(oracle)、Hbase数据库组成；oracle存储告警数据以及静态数据、Hbase数据库存储指标数据、历史数据以及业务数据。Hbases数据库特点：1、可以动态增加列，并且列为空就不存储数据,节省存储空间2、Hbase自动切分数据，使得数据存储自动具有水平scalability3、Hbase可以提供高并发读写操作的支持Hbase存储模式：基于列存储的，每个列族都由几个文件保存，不同的列族的文件是分离的。而传统的关系型数据库是基于表格结构和行模式保存的Hbase数据维护：更新操作不应该叫更新，它实际上是插入了新的数据，而传统数据库是替换修改Hbase可伸缩性：这类分布式数据库就是为了这个目的而开发出来的，所以它能够轻松增加或减少硬件的数量，并且对错误的兼容性比较高。而传统数据库通常需要增加中间层才能实现类似的功能Hbase应用场景：1、对数据进行随机读操作或者随机写操作2、大数据上高并发操作，比如每秒对PB级数据进行上千次操作3、读写访问均是非常简单的操作数据应用：利用Hbase高并发操作的特点以及oralce关系型数据特点相结合的方式解决查询、处理性能问题提升网管系统用户体验度。各部分连接关系：首先被监控服务器开通SNMP协议，通过该协议将监控数据实时发送到activeMQ消息服务器上，再根据Esper规则引擎对采集数据进行分析、将当前告警数据存储到oracle数据库，将历史数据、指标数据存储到Hbase数据库中，最后根据Hbase数据库与oracle数据各自特点解决数据查询以及数据分析性能瓶颈问题。较佳的，本实施例有效的将关系型数据库与nosql数据相结合，实现Hbase数据库分布部署。保护点是保障海量数据存储、提高数据查询效率。以上所述仅为本专利技术的较佳实施例，凡依本专利技术申请专利范围所做的均等变化与修饰，皆应属本专利技术的涵盖范围。本文档来自技高网...

【技术保护点】
1.一种基于Oracle数据和Hbase数据进行数据存储的方法，其特征在于：提供一综合网管系统，所述综合网管系统包括监控设备、数据采集器、数据处理器和数据存储器；所述数据采集器分别与所述监控设备和所述数据处理器通信相连，所述数据处理器还与所述数据存储器通信相连；具体按照如下步骤实现：步骤S1：所述监控设备对综合网管系统进行监控；所述数据采集器通过所述监控设备开通的SNMP协议采集所述监控设备中的监控数据，并将采集的监控数据发送到所述数据处理器；步骤S2：所述数据处理器利用其内部的Esper复杂事件处理引擎将接收到的监控数据分为指标数据和当前告警数据，并将所述的两个数据存储到所述数据存储器；步骤S3：所述数据存储器将接收到的两种数据分别存储到各自所属的数据库中。

【技术特征摘要】
1.一种基于Oracle数据和Hbase数据进行数据存储的方法，其特征在于：提供一综合网管系统，所述综合网管系统包括监控设备、数据采集器、数据处理器和数据存储器；所述数据采集器分别与所述监控设备和所述数据处理器通信相连，所述数据处理器还与所述数据存储器通信相连；具体按照如下步骤实现：步骤S1：所述监控设备对综合网管系统进行监控；所述数据采集器通过所述监控设备开通的SNMP协议采集所述监控设备中的监控数据，并将采集的监控数据发送到所述数据处理器；步骤S2：所述数据处...

【专利技术属性】
技术研发人员：张洁敏，肖琦敏，张航，方志坚，陈锐，王雪晶，孙浩淞，付婷，董衍旭，吴飞，陈扩松，林伟，周烨棠，
申请(专利权)人：国网福建省电力有限公司，国网福建省电力有限公司信息通信分公司，
类型：发明
国别省市：福建,35