一种用于大数据平台的管理方法及系统技术方案

技术编号:14774685 阅读:75 留言:0更新日期:2017-03-09 12:10
本发明专利技术实施例公开了一种用于大数据平台的管理方法及系统。该方法包括:获取大数据平台上的服务组件对应的日志信息;检测所述日志信息中的日志状态标识;如果所述日志状态标识符合预设的报警条件,则根据所述日志状态标识对应的日志信息输出所述服务组件的报警信息。利用该方法,能够简单高效地实现对大数据平台上各服务组件的实时监控和预警,精细了对大数据平台各服务组件的管理粒度;此外,该方法不仅减少了运维管理的人力资源投入,也减少了大数据平台所在服务器的资源消耗;同时还进一步提升了大数据平台的用户体验。

【技术实现步骤摘要】

本专利技术实施例涉及大数据处理
,尤其涉及一种用于大数据平台的管理方法及系统
技术介绍
随着社会信息化技术的不断提高以及互联网技术快速普及,各个领域对海量数据处理的需求也越来越多,传统的集中式数据处理方法已无法对海量数据进行高效处理,由此出现了分布式的大数据处理平台(大数据平台)。具体的,大数据平台可理解为由多种服务组件通过业务敲定和实际数据处理需求组合构建的分布式处理平台。在根据大数据平台进行数据处理时,大数据平台上的各服务组件独立工作但各服务组件间又相互协作,如果某个服务组件中的服务进程出现中断或宕机,则有可能对整个数据处理过程产生影响。因此,需要对大数据平台进行监控和预警,以使运维人员更好的运维管理大数据平台。目前,对大数据平台的监控和预警通常采用如下做法:分别运行一套监控系统和一套预警系统共同提供大数据平台的稳健运行;或者,对组成大数据平台的集群节点的物理特性进行监控,例如监控集群节点的内存、中央处理器、磁盘、输入/输出设备等物理设备的使用情况,然后以配置短信、邮件等方式进行预警。现有的监控和预警的方法存在的问题有:1、采用上述第一种方法时,对于监控和预警两项功能需要在大数据平台上同时运行两套系统,从运维管理的角度而言,运维人员需要耗费更多的时间和精力学习两套系统的相关内容并分别实现对两套系统的运维管理,从系统资源的角度而言,大数据平台的服务器将需要更大的磁盘空间、内存空间等资源提供给两套系统运行,此外,该种方法对服务进程和网络端口的监控比较底层,只有当服务进程挂掉或者显示地提醒用户该服务进程不可用时,运维人员才会进入对该服务做一些应急处理,如果此服务进程面向大量客户进行服务,则通过上述处理手段进行服务恢复将会极大的影响用户体验;2、采用上述第二种方法时,仅仅是对大数据平台硬件级别的监控和预警,并没有实现对大数据平台上服务组件的监控和预警,其监控和预警力度过低。
技术实现思路
本专利技术实施例提供了一种用于大数据平台的管理方法及系统,简单高效地实现了对大数据平台各服务组件的监控和预警。一方面,本专利技术实施例提供了一种用于大数据平台的管理方法,包括:获取大数据平台上的服务组件对应的日志信息;检测所述日志信息中的日志状态标识;如果所述日志状态标识符合预设的报警条件,则根据所述日志状态标识对应的日志信息输出所述服务组件的报警信息。另一方面,本专利技术实施例提供了一种用于大数据平台的管理系统,包括:日志信息获取模块,用于获取大数据平台上的服务组件对应的日志信息;状态标识检测模块,用于检测所述日志信息中的日志状态标识;报警信息输出模块,用于当所述日志状态标识符合预设的报警条件时,根据所述日志状态标识对应的日志信息输出所述服务组件的报警信息。本专利技术实施例中提供的一种用于大数据平台的管理方法及系统,该方法首先获取大数据平台上的服务组件对应的日志信息;然后对所获取的日志信息的日志状态标识进行检测;当日志状态标识符合预设报警条件时,根据日志状态标识对应的日志信息就能够输出服务组件的报警信息。利用该方法,能够简单高效地实现对大数据平台上各服务组件的实时监控和预警,精细了对大数据平台各服务组件的管理粒度;此外,该方法不仅减少了运维管理的人力资源投入,也减少了大数据平台所在服务器的资源消耗;同时还进一步提升了大数据平台的用户体验。附图说明图1为本专利技术实施例一提供的一种用于大数据平台的管理方法的流程示意图;图2为本专利技术实施例二提供的一种用于大数据平台的管理方法的流程示意图;图3a为本专利技术实施例三提供的一种用于大数据平台的管理方法的优选实施例的流程示意图;图3b为本专利技术实施例三提供的一种大数据平台的框架图;图4为本专利技术实施例四提供的一种用于大数据平台的管理系统的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种用于大数据平台的管理方法的流程示意图,适用于对大数据平台上运行的各服务组件进行监控和预警的情况,该方法可以由用于大数据平台的管理系统执行,其中该系统可由软件和/或硬件实现,作为大数据平台的一部分集成在大数据平台中。一般的,大数据平台主要基于运行其上的至少一个服务组件实现对大数据的处理操作,示例性的,常见的大数据平台如Hadoop分布式平台,在Hadoop分布式平台运行的服务组件包括Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)、Hadoop数据仓库如Hive以及分布式面向列的开源数据库如Hbase等。如果其上的服务组件停止运行或运行错误,则会影响大数据的处理操作,因此需要对大数据平台上各服务组件的工作状态进行监控和预警。本实施例提供的用于大数据平台的管理方法能够实现对大数据平台中各服务组件的监控和预警。如图1所示,本专利技术实施例一提供的一种用于大数据平台的管理方法,包括如下操作:S101、获取大数据平台上的服务组件对应的日志信息。一般的,用于大数据处理的大数据平台为一个分布式平台,且运行在大数据平台上各服务组件均可由一个主节点和至少一个从节点组成,示例性的,如Hadoop分布式平台上的HDFS,其主节点可以表示为NameNode,从节点可以表示为DataNode。此外,对于所述服务组件而言,其相应的主节点和从节点可分别看作一个服务进程,而服务组件的运行主要依赖于相应的服务进程,因此,可以通过监控服务组件的服务进程的运行情况来实现对服务组件的管理。具体的,所述服务组件中的服务进程在运行过程中会产生相应的运行日志,所述运行日志具体可用于记录所述服务进程的运行信息。在本实施例中,所述服务组件的日志信息具体可看作所述服务组件中至少一个服务进程的运行日志,由此通过获取服务组件中至少一个服务进程的运行日志来确定服务组件的日志信息,并基于所述日志信息对所述服务组件的工作状态进行监控和预警管理。S102、检测所述日志信息中的日志状态标识。一般的,在大数据平台上运行服务组件时,服务组件的服务进程所产生的运行日志中具体描述了所述服务进程的具体运行状态,并会进行相应的运行状态标记。示例性的,对于运行错误的服务进程而言,则会在相应的运行日志中进行错误标记,并记录产生错误的详细信息,又如,对于运行正常的服务进程而言,则会其运行日志中进行正常标记,并记录正常的运行信息。在本实施例中,所述日志状态标识具体可指所述日志信息中记录的服务进程的运行状态标记,用于描述服务进程的运行状态的稳定程度。具体的,在获取到所述服务组件对应的日志信息后,可以对所述日志信息中的日志状态标识进行检测,来确定相应服务组件的具体工作状态,由此实现对相应服务组件工作状态的监控管理。进一步的,所述日志状态标识包括运行错误标识、运行警告标识和/或运行正常标识。在本实施例中,可以通过对日志信息的日志状态标识的检测来实现对服务组件工作状态的监控。具体的,在检测出所述日志状态标识为运行错误标识时,可以认为相应服务组件在运行过程中出现了错误运行的情况,出现错误的服务组件的工作状态很不稳定,甚至有可能对大数据平台中的其他本文档来自技高网
...
一种用于大数据平台的管理方法及系统

【技术保护点】
一种用于大数据平台的管理方法,其特征在于,包括:获取大数据平台上的服务组件对应的日志信息;检测所述日志信息中的日志状态标识;如果所述日志状态标识符合预设的报警条件,则根据所述日志状态标识对应的日志信息输出所述服务组件的报警信息。

【技术特征摘要】
1.一种用于大数据平台的管理方法,其特征在于,包括:获取大数据平台上的服务组件对应的日志信息;检测所述日志信息中的日志状态标识;如果所述日志状态标识符合预设的报警条件,则根据所述日志状态标识对应的日志信息输出所述服务组件的报警信息。2.根据权利要求1所述的方法,其特征在于,还包括:如果所述日志状态标识不符合预设的报警条件,则输出所述服务组件的状态正常信息。3.根据权利要求1所述的方法,其特征在于,所述获取大数据平台上的服务组件对应的日志信息包括:获取所述大数据平台上服务组件中的至少一个服务进程对应的运行日志;将所述运行日志存储到所述大数据平台的分布式文件系统的指定目录文件中,并将所述指定目录文件中的运行日志作为所述服务组件的日志信息。4.根据权利要求1所述的方法,其特征在于,所述根据所述日志状态标识对应的日志信息输出所述服务组件的报警信息包括:将所述日志状态标识对应的日志信息按照预设的基础诊断库的信息格式进行解析,形成报警日志信息;根据所述报警日志信息查找所述基础诊断库,确定所述服务组件的报警信息并输出。5.根据权利要求4所述的方法,其特征在于,所述将所述日志状态标识对应的日志信息按照预设的基础诊断库的信息格式进行解析,形成报警日志信息包括:从所述日志状态标识对应的日志信息中获取至少一个关键词;根据所述至少一个关键词确定所述日志信息对应的报警级别;根据预设的基础诊断库的信息格式创建所述日志信息的二元字符组,形成所述日志信息的报警日志信息,其中,所述二元字符组包括第一元素和第二元素,所述第一元素包括所述至少一个关键词和所述报警级别,所述第二元素包括与所述日志状态标识对应...

【专利技术属性】
技术研发人员:徐骄
申请(专利权)人:广州视源电子科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1