一种大数据异常信息监控系统技术方案

本发明专利技术公开了一种大数据异常信息监控系统，涉及数据监控技术领域，包括：大数据平台：以大数据平台为基础建立监控系统，进行数据监测，数据采集：采集监控系统中的分布式集群的监控信息，并将监控信息存放至数据库中。该大数据异常信息监控系统，通过数据监测的使用，可以对系统内采集、处理的数据进行监测，使其在正常传输的过程中与正常的数据进行对比，以此判断产生的数据是否存在异常，保证数据传输之间的安全性，该大数据异常信息监控系统，通过数据展示可以对监控的信息及用户交互的情况进行相应的管理，并提供异常报警功能，让管理者可以更加直观地对数据进行控制，并知晓异常情况，以免较隐秘的数据钻漏洞。以免较隐秘的数据钻漏洞。以免较隐秘的数据钻漏洞。

【技术实现步骤摘要】
一种大数据异常信息监控系统


[0001]本专利技术涉及数据监控
，具体为一种大数据异常信息监控系统。

技术介绍

[0002]随着社会信息化技术的不断提高以及互联网技术的快速普及，大量数据随之产生，社会各领域对海量数据处理的需求也越来越强烈，在单机器存储空间和运算能力已经不能满足人们对海量数据处理的需求背景下，分布式计算和并行计算开始快速发展和应用，最终发展为网格计算，同时，云计算平台也随着虚拟技术和网格技术的发展成熟应运而生，大数据规模下的分布式系统监控信息具有多层次多来源的特点，平台的复杂性和软硬件故障会带来很多问题，故障的分析和处理往往因为监控手段不足而受到很大的限制，导致问题的处理和恢复具有一定滞后性。
[0003]随着信息化技术的不断发展，各个领域大量终端均产生海量数据，需要高效一体化的平台对数据进行存储、管理和计算，同时，监控管理系统是数据存储计算平台的一个重要组成部分，平台的监控信息数据种类繁多、层次多样，CPU、内存、网络、硬盘、运行进度、占用资源、调度信息等，现有的大数据平台缺乏易用统一的监控管理功能，并且，对于一些异常的数据缺少必要的监控警报模块，导致系统整体的不完整性。

技术实现思路

[0004]本专利技术提供的专利技术目的在于提供一种大数据异常信息监控系统，解决上述
技术介绍
中的问题。
[0005]为实现以上目的，本专利技术通过以下技术方案予以实现：一种大数据异常信息监控系统，包括：
[0006]大数据平台：以大数据网络环境为基础建立监控系统平台，进行相应的监测；
[0007]数据采集：采集监控系统中的分布式集群的监控信息，并将监控信息存放至数据库中；
[0008]数据处理：对采集的数据进行统计、处理、分析并异常监测；
[0009]数据监测：对处理后的数据进行监测对比，过滤出异常数据进；
[0010]数据储存：使用数据库存储采集的监控数据和处理结果；
[0011]数据展示：将监控信息和分析结果进行展示，同时处理大数据平台的作业管理和服务管理功能；
[0012]异常警报提醒：在发现异常数据后负责进行用户交互和异常报警。
[0013]所述数据监测包括异常生成模块、异常对比、异常过滤和预警日志判断，所述异常生成模块、异常对比、异常过滤和预警日志判断之间均双向信号连接，所述数据展示包括资源状态信息展示、作业运行信息展示、平台管理和预警报警控制，所述资源状态信息展示、作业运行信息展示、平台管理和预警报警控制之间均双向信号连接。
[0014]进一步的，所述数据采集包括作业状态信息采集、计算资源状态信息采集和文件
系统状态信息采集，所述作业状态信息采集、计算资源状态信息采集和文件系统状态信息采集之间均双向信号连接。
[0015]进一步的，所述数据处理包括资源状态数据处理、作业状态数据处理和异常检测，所述资源状态数据处理、作业状态数据处理和异常检测之间均双向信号连接。
[0016]进一步的，所述数据储存包括管理命令信息数据库、作业运行信息数据库、作业历史状态信息数据库、资源状态信息数据库和统计信息数据库，所述管理命令信息数据库、作业运行信息数据库、作业历史状态信息数据库、资源状态信息数据库和统计信息数据库之间均双向信号连接。
[0017]进一步的，所述数据采集的输出端与数据处理的输入端信号连接，所述数据采集与大数据平台之间双向信号连接。
[0018]进一步的，所述数据处理的输出端与数据监测的输入端信号连接，所述数据处理与大数据平台之间双向信号连接。
[0019]进一步的，所述数据监测的输出端与数据储存的输入端信号连接，所述数据监测与大数据平台之间双向信号连接。
[0020]进一步的，所述数据储存的输出端与数据展示的输入端信号连接，所述数据储存与大数据平台之间双向信号连接。
[0021]进一步的，所述数据展示的输出端与异常警报提醒的输入端信号连接，所述数据展示与大数据平台之间双向信号连接。
[0022]进一步的，所述大数据平台的输出端与异常警报提醒的输入端信号连接。
[0023]本专利技术提供了一种疾病网络问诊系统及其使用方法。具备以下有益效果：
[0024](1)该大数据异常信息监控系统，通过数据监测的使用，可以对系统内采集、处理的数据进行监测，使其在正常传输的过程中与正常的数据进行对比，以此判断产生的数据是否存在异常，保证数据传输之间的安全性。
[0025](2)该大数据异常信息监控系统，通过数据展示的使用，可以对监控的信息及用户交互的情况进行相应的管理，并提供异常报警功能，让管理者可以更加直观地对数据进行控制，并知晓异常情况，以免较隐秘的数据钻漏洞。
附图说明
[0026]图1为本专利技术一种大数据异常信息监控系统的总系统图；
[0027]图2为本专利技术一种大数据异常信息监控系统的数据采集的示意图；
[0028]图3为本专利技术一种大数据异常信息监控系统的数据处理的示意图；
[0029]图4为本专利技术一种大数据异常信息监控系统的数据监测的示意图；
[0030]图5为本专利技术一种大数据异常信息监控系统的数据储存的示意图；
[0031]图6为本专利技术一种大数据异常信息监控系统的数据展示的示意图。
[0032]图中：1、大数据平台；2、数据采集；3、数据处理；4、数据监测；5、数据储存；6、数据展示；7、异常警报提醒。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0034]所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0035]下面结合附图与实施例对本专利技术作进一步说明：
[0036]请参阅图1
‑
6，本专利技术提供一种技术方案：一种大数据异常信息监控系统，包括：
[0037]大数据平台1：以大数据网络环境为基础建立监控系统平台，进行相应的监测；
[0038]数据采集2：采集监控系统中的分布式集群的监控信息，并将监控信息存放至数据库中；
[0039]数据处理3：对采集的数据进行统计、处理、分析并异常监测；
[0040]数据监测4：对处理后的数据进行监测对比，过滤出异常数据进；
[0041]数据储存5：使用数据库存储采集的监控数据和处理结果；
[0042]数据展示6：将监控信息和分析结果进行展示，同时处理大数据平台1的作业管理和服务管理功能；
[0043]异常警报提醒7：在发现异常数据后负责进行用户交互和异常报警。
[0044]数据监测4包括异常生成模块、异常对比、异常过滤和预警日志判断，异常生成模块、异常对比、异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据异常信息监控系统，其特征在于，包括：大数据平台(1)：以大数据网络环境为基础建立监控系统平台，进行相应的监测；数据采集(2)：采集监控系统中的分布式集群的监控信息，并将监控信息存放至数据库中；数据处理(3)：对采集的数据进行统计、处理、分析并异常监测；数据监测(4)：对处理后的数据进行监测对比，过滤出异常数据进；数据储存(5)：使用数据库存储采集的监控数据和处理结果；数据展示(6)：将监控信息和分析结果进行展示，同时处理大数据平台(1)的作业管理和服务管理功能；异常警报提醒(7)：在发现异常数据后负责进行用户交互和异常报警。所述数据监测(4)包括异常生成模块、异常对比、异常过滤和预警日志判断，所述异常生成模块、异常对比、异常过滤和预警日志判断之间均双向信号连接，所述数据展示(6)包括资源状态信息展示、作业运行信息展示、平台管理和预警报警控制，所述资源状态信息展示、作业运行信息展示、平台管理和预警报警控制之间均双向信号连接。2.根据权利要求1所述的一种大数据异常信息监控系统，其特征在于：所述数据采集(2)包括作业状态信息采集、计算资源状态信息采集和文件系统状态信息采集，所述作业状态信息采集、计算资源状态信息采集和文件系统状态信息采集之间均双向信号连接。3.根据权利要求1所述的一种大数据异常信息监控系统，其特征在于：所述数据处理(3)包括资源状态数据处理、作业状态数据处理和异常检测，所述资源状态数据处理、作业状态数据处理和异常检测之间均双向信号连接。4.根据权利要求1所述的一种大数据异常信...

【专利技术属性】
技术研发人员：罗义钊，刘永强，詹超，
申请(专利权)人：国家电网有限公司国网信息通信产业集团有限公司国网信通亿力科技有限责任公司，
类型：发明
国别省市：