一种大数据平台的监控系统技术方案

本发明专利技术公开了数据监控技术领域的一种大数据平台的监控系统，包括模拟量数据源和状态量数据源，所述模拟量数据源和状态量数据源均电性输出连接数据采集模块，所述数据管理单元分别电性双向连接数据分布式存储系统和运维管理单元，通过建立集成化的资源运行状态监控管理系统，实现大数据平台运行状态和信息化资源的统一化、可视化和可控化管理，采用分布式存储系统能够适应大数据时代对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求和对数据库的高可扩展性和高可用性需求，具有良好的横向扩展能力、复制和分区能力，能够实时的展示大数据平台作业运行状态和对作业的统计分析。

【技术实现步骤摘要】

本专利技术涉及数据监控
，具体为一种大数据平台的监控系统。
技术介绍
随着社会信息化的不断提高以及互联网技术的快速普及，需要处理的数据也越来越大，各个领域对海量数据的处理需求也越来越多。在单机器存储空间和运算能力已经不能满足人们对海量数据处理的需求的背景下，分布式计算和并行计算开始快速发展和应用，并最终发展为网格运算。大规模分布式系统的监控信息是海量的，监控资源是多层次多来源的，大数据平台的动态性、复杂性给大数据平台的监控系统带来诸多困难，如何有效的监控大数据平台中的软硬件资源，并及时的对资源的瓶颈进行预测分析，在出现故障前采取相应措施，是提高大数据平台质量的关键。监控是大数据平台的重要组成部分，现有的开源的大数据平台中缺少统一的监控功能，不能实时的展示大数据平台中作业运行状态和对作业的统计分析功能的匮乏，为此，我们专利技术了一种大数据平台的监控系统投入使用，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种大数据平台的监控系统，以解决上述
技术介绍
中提出的现有的开源大数据平台中缺少统一的监控功能的问题。为实现上述目的，本专利技术提供如下技术方案：一种大数据平台的监控系统，包括模拟量数据源和状态量数据源，所述模拟量数据源和状态量数据源均电性输出连接数据采集模块，所述数据采集模块电性输出连接数据预处理单元，所述数据预处理单元电性输出连接数据管理单元，所述数据管理单元电性输出连接通信网络单元，所述通信网络单元电性输出连接核心路由器，所述核心路由器电性输出连接交换机，所述交换机电性输出连接分布式CAN总线，所述分布式CAN总线分别电性双向连接监控显示屏、监控主机、调度工作站和管理工作站，所述数据管理单元分别电性双向连接数据分布式存储系统和运维管理单元。优选的，所述数据采集模块包括信号输入单元，所述信号输入单元电性输出连接数据处理模块，所述数据处理模块电性输出连接A/D转换模块，所述A/D转换模块电性输出连接数据输出单元，所述数据处理模块还电性输出连接报警显示模块，所述数据处理模块电性输入连接循环检测单元。优选的，所述模拟量数据源包括频率、电压、电流、有功功率、无功功率和温度信息，所述状态量数据源包括开关、事故总信号、保护信号和系统设备运行状态信息。优选的，所述数据管理单元包括数据库信息读取单元，所述数据库信息读取单元电性输出连接数据运行处理单元，所述数据运行处理单元电性输出连接控制程序模块，所述控制程序模块电性输出连接数据建模单元，所述数据建模单元电性输出连接数据整合输出模块，所述控制程序模块分别电性输入连接数据库维护单元和数据查询输入端口。优选的，所述控制程序模块内部包括系统初启动程序、安全性控制程序、完整性控制程序、事务管理控制程序、并发控制程序和运行日志管理控制程序。优选的，所述数据分布式存储系统包括数据分布单元，所述数据分布单元电性输出连接数据逻辑模型，所述数据逻辑模型电性输出连接数据端口，所述数据分布单元电性输入连接数据索引模块，所述数据分布单元分别电性双向连接实时数据库和综合数据库。优选的，所述数据逻辑模型包括键值存储、文档存储、列存储和图存储，所述实时数据库内部包括数据管理单元、内存数据库和磁盘数据库。优选的，所述运维管理单元内部包括服务运行监控、服务状态监控和系统运行状态监控。与现有技术相比，本专利技术的有益效果是：通过建立集成化的资源运行状态监控管理系统，实现大数据平台运行状态和信息化资源的统一化、可视化和可控化管理，相对于传统串行式数据存储，采用分布式存储系统能够适应大数据时代对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求和对数据库的高可扩展性和高可用性需求，具有良好的横向扩展能力、复制和分区能力，其接口简单，模式自由，对大数据进行海量存储，能够实时的展示大数据平台作业运行状态和对作业的统计分析。附图说明图1为本专利技术系统框图；图2为本专利技术数据采集模块系统框图；图3为本专利技术数据管理单元系统框图；图4为本专利技术数据分布式存储系统框图；图5为本专利技术工作流程图。图中：1模拟量数据源、2状态量数据源、3数据采集模块、31信号输入单元、32数据处理模块、33A/D转换模块、34数据输出单元、35循环检测单元、36报警显示模块、4数据预处理单元、5数据管理单元、51数据库信息读取单元、52数据运行处理单元、53控制程序模块、54数据建模单元、55数据整合输出模块、56数据库维护单元、57数据查询输入端口、6通信网络单元、7核心路由器、8交换机、9分布式CAN总线、10监控显示屏、11监控主机、12调度工作站、13管理工作站、14数据分布式存储系统、141数据分布单元、142数据逻辑模型、143数据端口、144数据索引模块、145实时数据库、146综合数据库、15运维管理单元。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-5，本专利技术提供一种技术方案：一种大数据平台的监控系统，包括模拟量数据源1和状态量数据源2，所述模拟量数据源1和状态量数据源2均电性输出连接数据采集模块3，所述数据采集模块3电性输出连接数据预处理单元4，所述数据预处理单元4电性输出连接数据管理单元5，所述数据管理单元5电性输出连接通信网络单元6，所述通信网络单元6电性输出连接核心路由器7，所述核心路由器7电性输出连接交换机8，所述交换机8电性输出连接分布式CAN总线9，所述分布式CAN总线9分别电性双向连接监控显示屏10、监控主机11、调度工作站12和管理工作站13，所述数据管理单元5分别电性双向连接数据分布式存储系统14和运维管理单元15。其中，所述数据采集模块3包括信号输入单元31，所述信号输入单元31电性输出连接数据处理模块32，所述数据处理模块32电性输出连接A/D转换模块33，所述A/D转换模块33电性输出连接数据输出单元34，所述数据处理模块32还电性输出连接报警显示模块36，所述数据处理模块32电性输入连接循环检测单元35，所述模拟量数据源1包括频率、电压、电流、有功功率、无功功率和温度信息，所述状态量数据源2包括开关、事故总信号、保护信号和系统设备运行状态信息，所述数据管理单元5包括数据库信息读取单元51，所述数据库信息读取单元51电性输出连接数据运行处理单元52，所述数据运行处理单元52电性输出连接控制程序模块53，所述控制程序模块53电性输出连接数据建模单元54，所述数据建模单元54电性输出连接数据整合输出模块55，所述控制程序模块53分别电性输入连接数据库维护单元56和数据查询输入端口57，所述控制程序模块53内部包括系统初启动程序、安全性控制程序、完整性控制程序、事务管理控制程序、并发控制程序和运行日志管理控制程序，所述数据分布式存储系统14包括数据分布单元141，所述数据分布单元141电性输出连接数据逻辑模型142，所述数据逻辑模型142电性输出连接数据端口143，所述数据分布单元141电性输入连接数据索引模块144，所述数据分布单元141分别电性双本文档来自技高网...

【技术保护点】
一种大数据平台的监控系统，包括模拟量数据源(1)和状态量数据源(2)，其特征在于：所述模拟量数据源(1)和状态量数据源(2)均电性输出连接数据采集模块(3)，所述数据采集模块(3)电性输出连接数据预处理单元(4)，所述数据预处理单元(4)电性输出连接数据管理单元(5)，所述数据管理单元(5)电性输出连接通信网络单元(6)，所述通信网络单元(6)电性输出连接核心路由器(7)，所述核心路由器(7)电性输出连接交换机(8)，所述交换机(8)电性输出连接分布式CAN总线(9)，所述分布式CAN总线(9)分别电性双向连接监控显示屏(10)、监控主机(11)、调度工作站(12)和管理工作站(13)，所述数据管理单元(5)分别电性双向连接数据分布式存储系统(14)和运维管理单元(15)。

【技术特征摘要】
1.一种大数据平台的监控系统，包括模拟量数据源(1)和状态量数据源(2)，其特征在于：所述模拟量数据源(1)和状态量数据源(2)均电性输出连接数据采集模块(3)，所述数据采集模块(3)电性输出连接数据预处理单元(4)，所述数据预处理单元(4)电性输出连接数据管理单元(5)，所述数据管理单元(5)电性输出连接通信网络单元(6)，所述通信网络单元(6)电性输出连接核心路由器(7)，所述核心路由器(7)电性输出连接交换机(8)，所述交换机(8)电性输出连接分布式CAN总线(9)，所述分布式CAN总线(9)分别电性双向连接监控显示屏(10)、监控主机(11)、调度工作站(12)和管理工作站(13)，所述数据管理单元(5)分别电性双向连接数据分布式存储系统(14)和运维管理单元(15)。2.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述数据采集模块(3)包括信号输入单元(31)，所述信号输入单元(31)电性输出连接数据处理模块(32)，所述数据处理模块(32)电性输出连接A/D转换模块(33)，所述A/D转换模块(33)电性输出连接数据输出单元(34)，所述数据处理模块(32)还电性输出连接报警显示模块(36)，所述数据处理模块(32)电性输入连接循环检测单元(35)。3.根据权利要求1所述的一种大数据平台的监控系统，其特征在于：所述模拟量数据源(1)包括频率、电压、电流、有功功率、无功功率和温度信息，所述状态量数据源(2)包括开关、事故总信号、保护信号和系统设备运行状态信息。4.根据权利要求1所述的一种大数据...

【专利技术属性】
技术研发人员：周忠诚，赫中翮，曾琰，李瑾璠，陈俊良，霍旭，
申请(专利权)人：北京高地信息技术有限公司，
类型：发明
国别省市：北京;11