一种大数据计算平台监控系统技术方案

本发明专利技术属于平台监控技术领域，具体的说是一种大数据计算平台监控系统；数据采集模块建立在大数据平台上，以多种方式采集监控信息，如分布式文件系统信息、计算资源使用信息和作业运行状态信息，并对这些运行状态信息进行解析统计，存放至数据库中；数据处理模块通过对Hadoop组件的运行信息进行处理和分析，从而获取大数据平台运行状态监控信息；数据存储模块包括命令执行数据库、执行信息实时数据库、实时作业数据库、监控信息数据库和统计信息数据库；数据展示模块的主要功能在与对平台管理、资源监控信息展示、作业监控信息展示和异常报警；报警模块用于对监控到的异常数据进行报警，同时还能够对出现异常的LED显示板管理员发送报警信息。

A monitoring system for big data computing platform

【技术实现步骤摘要】
一种大数据计算平台监控系统
本专利技术属于平台监控
，具体的说是一种大数据计算平台监控系统。
技术介绍
大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，由于数据量庞大因此数据在分析时需要借助分布式计算机集群来共同工作从而产生了大数据平台。随着集群的数据日趋庞大，用户的应用越来越多，使用的模型也越来越复杂大数据平台作业运行和查询分析都会出现瓶颈，计算量指数级上升，并且对实时性的要求越来越高，大数据平台需要监控系统对各个计算机集群进行实时监控。中国专利公开了一种大数据平台的监控系统，专利申请号为2019102690112，大数据平台监控系统包括集群监控单元、节点性能监控单元、作业运行监控单元和告警单元，其中所述群监控单元、所述节点性能监控单元和所述作业运行监控单元均包括监控代理模块和监控插件模块。虽然上述专利可以全面的监控到大数据平台工作中各部分的工作状态；但现有的平台的监控系统需要将最后监控的各指标数据通过数据展示模块的LED显示大屏进行展示，由于LED显示大屏的屏幕尺寸较大，且大多采用多个小块的LED显示板进行相互拼装形成，当LED显示大屏出现局部不能正常工作或损坏时，则需要人工通过升降装置进行攀爬维修作业，不仅提高人工维修的时间，同时降低了数据展示模块对平台监控系统中数据进行稳定展示作业。
技术实现思路
为了弥补现有技术的不足，本专利技术提出的一种大数据计算平台监控系统，本专利技术主要用于解决现有的LED显示大屏出现局部不能正常工作或损坏时，则需要人工通过升降装置进行攀爬维修作业，不仅提高人工维修的时间，同时降低了数据展示模块对平台监控系统中数据进行稳定展示作业。本专利技术解决其技术问题所采用的技术方案是：本专利技术所述的一种大数据计算平台监控系统，包括数据采集模块、数据处理模块、数据存储模块和数据展示模块；所述数据采集模块建立在大数据平台上，以至少3种方式采集监控信息，如分布式文件系统信息、计算资源使用信息和作业运行状态信息，并对这些运行状态信息进行解析统计，存放至数据库中；所述数据处理模块通过对Hadoop组件的运行信息进行处理和分析，从而获取大数据平台运行状态监控信息；所述数据处理模块还能够在统计分析数据过程中进行异常监测，当发现异常后，调用报警模块，向用户和管理员发送报警信息；所述数据存储模块包括命令执行数据库、执行信息实时数据库、实时作业数据库、监控信息数据库和统计信息数据库；它的主要功能是与数据库进行交互，将采集层采集的命令执行数据、执行信息实时数据、实施作业数据、历史作业数据等数据以及处理层分析计算的统计数据存入相应的数据库中；所述数据展示模块采用多块相互连接的LED显示装置形成的LED显示大屏，使得LED显示大屏能够展示监控信息及用户交互管理，并提供异常报警功能；数据展示模块的主要功能在与对平台管理、资源监控信息展示、分布式文件系统监控信息展示、节点监控信息展示、作业监控信息展示和异常报警；当平台管理接收用户的管理指令、作业管理指令后，生成可执行的操作命令，发送至命令执行机，并将执行结果返回界面；所述报警模块用于对监控到的异常数据进行报警，同时还能够对出现异常的LED显示板管理员发送报警信息；其中，LED显示装置包括LED安装架、LED显示板、固定板和调整更换装置；所述LED安装架固定安装到监控室内，且LED安装架上排列开设有多个阶梯插接槽；所述LED显示板固定到固定板上，且LED显示板插接安装到阶梯插接槽内；所述LED安装架的显示端面通过柔性LED膜相互连通到LED显示板的端面；所述调整更换装置设置在LED安装架的背面，且调整更换装置用于对LED安装架上设置的多个LED显示板进行维修更换；每个所述固定板上均设置有标记灯；工作时，当监控平台系统将数据传输到相互拼装形成的LED显示大屏上，进而便于管理人员对平台监控的数据进行实时查询观看；当报警模块提醒管理人员该LED显示大屏出现局部或单个LED显示板产生损坏或不能正常工作时，管理人员将通知维修人员到达LED安装架的后面，对应损坏的LED显示板背部的标记灯会点亮，然后维修人员通过控制器控制调整更换装置，调整更换装置将控制固定板带动新的LED显示板到达指定点亮的标记灯的附近位置，然后调整更换装置将损坏的LED显示板从阶梯插接槽内抽出，进而将新的LED显示板插接安装到对应的阶梯插接槽内，进而对损坏的LED显示板进行维修更换作业；通过调整更换装置可以对平台监控系统需要显示数据的LED显示大屏进行维修更换，不仅提高了LED显示大屏的维修更换塑速度，同时需要维修人员通过扶梯爬行到对应的损坏的LED显示板的位置，提高维修人员对LED显示大屏局部位置的维修更换的难度，且费时费力；同时降低了数据展示模块对平台监控系统中数据进行稳定展示作业。优选的，所述调整更换装置包括转动丝杆、丝杆滑块、U型固定架、转动轴、转动套、输送带、电动伸缩杆、固定推板和橡胶吸盘；所述转动丝杆对称转动设置在LED安装架的背面，且转动丝杆上套接有丝杆滑块；所述转动丝杆的底端连接到驱动电机的输出端；所述丝杆滑块通过滑动架进行转动限位，且对称设置的丝杆滑块的内壁上均固定有U型固定架；所述U型固定架的上下两侧之间转动设置有转动轴，且转动轴上套接有输送带；所述U型固定架的底端固定设置有驱动电机，且驱动电机的输出端与转动轴连接；所述输送带的外壁固定设置有电动伸缩杆，且电动伸缩杆的伸缩端固定安装有固定推板；所述固定推板的外端面固定设置有橡胶吸盘，且橡胶吸盘的内端壁通过导气管连通到外界的抽吸机上；所述电动伸缩杆和驱动电机均与监控系统电信号连接；所述橡胶吸盘弹性吸附到固定板的外壁上；工作时，当需要对局部损坏的LED显示板进行维修更换时，维修人员先将新的固定板贴合到橡胶吸盘的盘口位置，然后控制器控制设置在LED安装架附近的抽吸机工作，抽吸机的抽吸力会将新的固定板固定吸附到橡胶吸盘上，然后控制器控制转动丝杆底端的驱动电机同步转动，转动丝杆会带动丝杆滑块向上移动，滑动架可以对丝杆滑块起到限位转动作用，丝杆滑块的向上移动弧带动U型固定架和输送带移动到对应损坏的LED显示板的横向位置，然后控制器控制转动轴底端的驱动电机转动，驱动电机会通过转动轴带动输送带转动，此时输送带处于张紧状态，输送带的转动会带动闲置橡胶吸盘转动带对应的损坏的LED显示板的背面，然后电动伸缩杆伸出会使得橡胶吸盘贴合到固定板上，此时该橡胶吸盘上的导气管与抽吸机上连接的气控阀打开，进而橡胶吸盘会将固定板吸附，然后电动伸缩杆收缩会将LED显示板和固定板从阶梯插接槽内抽出，然后转动轴底端的驱动电机转动，输送带会带动新设置的LED显示板转动到对应空缺的阶梯插接槽内，电动伸缩杆伸出会带动LED显示板和固定板插入到阶梯插接槽内，LED显示板侧壁的电线接头会与阶梯插接槽内的电线接头连接，进而将便于将损坏的LED显示板进行更换维修作业，不需要维修人员通过扶梯或升降平台攀本文档来自技高网...

【技术保护点】
1.一种大数据计算平台监控系统，其特征在于：包括数据采集模块、数据处理模块、数据存储模块和数据展示模块；/n所述数据采集模块建立在大数据平台上，以至少3种方式采集监控信息，如分布式文件系统信息、计算资源使用信息和作业运行状态信息，并对这些运行状态信息进行解析统计，存放至数据库中；/n所述数据处理模块通过对Hadoop组件的运行信息进行处理和分析，从而获取大数据平台运行状态监控信息；所述数据处理模块还能够在统计分析数据过程中进行异常监测，当发现异常后，调用报警模块，向用户和管理员发送报警信息；/n所述数据存储模块包括命令执行数据库、执行信息实时数据库、实时作业数据库、监控信息数据库和统计信息数据库；/n所述数据展示模块采用多块相互连接的LED显示装置形成的LED显示大屏，使得LED显示大屏能够展示监控信息及用户交互管理，并提供异常报警功能；/n所述报警模块用于对监控到的异常数据进行报警，同时还能够对出现异常的LED显示板(2)管理员发送报警信息；/n其中，LED显示装置包括LED安装架(1)、LED显示板(2)、固定板(3)和调整更换装置(4)；所述LED安装架(1)固定安装到监控室内，且LED安装架(1)上排列开设有多个阶梯插接槽(11)；所述LED显示板(2)固定到固定板(3)上，且LED显示板(2)插接安装到阶梯插接槽(11)内；所述LED安装架(1)的显示端面通过柔性LED膜相互连通到LED显示板(2)的端面；所述调整更换装置(4)设置在LED安装架(1)的背面，且调整更换装置(4)用于对LED安装架(1)上设置的多个LED显示板(2)进行维修更换；每个所述固定板(3)上均设置有标记灯。/n...

【技术特征摘要】
1.一种大数据计算平台监控系统，其特征在于：包括数据采集模块、数据处理模块、数据存储模块和数据展示模块；
所述数据采集模块建立在大数据平台上，以至少3种方式采集监控信息，如分布式文件系统信息、计算资源使用信息和作业运行状态信息，并对这些运行状态信息进行解析统计，存放至数据库中；
所述数据处理模块通过对Hadoop组件的运行信息进行处理和分析，从而获取大数据平台运行状态监控信息；所述数据处理模块还能够在统计分析数据过程中进行异常监测，当发现异常后，调用报警模块，向用户和管理员发送报警信息；
所述数据存储模块包括命令执行数据库、执行信息实时数据库、实时作业数据库、监控信息数据库和统计信息数据库；
所述数据展示模块采用多块相互连接的LED显示装置形成的LED显示大屏，使得LED显示大屏能够展示监控信息及用户交互管理，并提供异常报警功能；
所述报警模块用于对监控到的异常数据进行报警，同时还能够对出现异常的LED显示板(2)管理员发送报警信息；
其中，LED显示装置包括LED安装架(1)、LED显示板(2)、固定板(3)和调整更换装置(4)；所述LED安装架(1)固定安装到监控室内，且LED安装架(1)上排列开设有多个阶梯插接槽(11)；所述LED显示板(2)固定到固定板(3)上，且LED显示板(2)插接安装到阶梯插接槽(11)内；所述LED安装架(1)的显示端面通过柔性LED膜相互连通到LED显示板(2)的端面；所述调整更换装置(4)设置在LED安装架(1)的背面，且调整更换装置(4)用于对LED安装架(1)上设置的多个LED显示板(2)进行维修更换；每个所述固定板(3)上均设置有标记灯。


2.根据权利要求1所述的一种大数据计算平台监控系统，其特征在于：所述调整更换装置(4)包括转动丝杆(41)、丝杆滑块(42)、U型固定架(43)、转动轴(44)、转动套(45)、输送带(46)、电动伸缩杆(47)、固定推板(48)和橡胶吸盘(49)；所述转动丝杆(41)对称转动设置在LED安装架(1)的背面，且转动丝杆(41)上套接有丝杆滑块(42)；所述转动丝...

【专利技术属性】
技术研发人员：许良云，汪彬彬，
申请(专利权)人：合肥易知谷信息科技有限公司，
类型：发明
国别省市：安徽;34