基于大数据流处理的IPTV机顶盒故障实时检测方法技术

技术编号:20015442 阅读:54 留言:0更新日期:2019-01-05 23:08
本发明专利技术公开了一种基于大数据流处理的IPTV机顶盒故障实时检测方法,机顶盒生成并上报日志;F5负载均衡日志数据;Nginx转发日志数据;采集容器采集日志数据;日志数据写入Kafka队列;日志数据在Spark集群进行实时分析;故障分析结果写入Elasticsearch集群;前端展现故障检测结果。本发明专利技术可以实现对IPTV机顶盒海量数据的实时处理,并且可根据业务量对整个框架性能做弹性扩展;最终依靠这种高效、弹性的日志大数据实时分析处理平台,实现对IPTV机顶盒故障的实时检测。

【技术实现步骤摘要】
基于大数据流处理的IPTV机顶盒故障实时检测方法
本专利技术涉及一种故障实时检测方法,特别是一种基于大数据流处理的IPTV机顶盒故障实时检测方法。
技术介绍
随着互联网、数字电视等技术飞速发展,IPTV机顶盒的使用已非常普及,作为目前家庭娱乐的核心部件,IPTV机顶盒的故障会对家庭的生活和娱乐造成严重影响。而目前IPTV机顶盒的故障检测主要依靠用户的电话投诉报障后,运营商派遣工程师上门检测,并人工调取该机顶盒的日志进行分析。这种被动式的故障处理方案,不但时间滞后严重,而且维护成本高,用户感知差。目前主流的IPTV机顶盒内部都会产生包含错误代码的日志数据,对这些日志数据进行分析可实现机顶盒的故障检测。但目前并没有方法能对全网所有在线机顶盒产生的实时海量日志数据进行采集和分析。在现有技术中,如申请号为CN201510604795.1的中国专利“一种机顶盒故障信息的处理方法、装置及机顶盒”,又如申请号为CN200910188997.7的中国专利“一种获取机顶盒故障信息的方法及其获取模块”均公开了一些现有的机顶盒故障检测和处理的方法,但这些技术存在无法同时检测海量在线机顶盒,以及不具备实时能力等问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于大数据流处理的IPTV机顶盒故障实时检测方法,从而实现对IPTV机顶盒故障的实时检测。为解决上述技术问题,本专利技术所采用的技术方案是:一种基于大数据流处理的IPTV机顶盒故障实时检测方法,其特征在于包含以下步骤:步骤一:机顶盒生成并上报日志;步骤二:F5负载均衡日志数据;步骤三:Nginx转发日志数据;步骤四:采集容器采集日志数据;步骤五:日志数据写入Kafka队列;步骤六:日志数据在Spark集群进行实时分析;步骤七:故障分析结果写入Elasticsearch集群;步骤八:前端展现故障检测结果。进一步地,所述步骤二具体为IPTV机顶盒内系统程序将实时产生的日志数据通过http协议将传输至F5硬件负载均衡器。进一步地,所述步骤三具体为F5硬件负载均衡器下分别配置多台Nginx转发服务器,F5将同一时刻机顶盒上报的海量日志数据负载均衡到下面配置的多台Nginx服务器。进一步地,所述步骤四具体为通过Nginx服务器的upstream模块将获取的日志数据转发到多个容器化的日志采集程序,以轮询方式将各个日志采集程序的docker容器ip地址和端口配置到Nginx服务器的upstream模块中,从而使日志以http的方式转发到容器化的日志采集程序中。进一步地,所述步骤五具体为容器化的日志采集程序将获取的日志数据推送至Kafka消息队列中,以用于之后的消费。进一步地,所述步骤六具体为在Spark集群上通过SparkStreaming实时流处理模型,读取Kafka消息队列中的日志数据进行实时分析处理,统计分析当前IPTV机顶盒出现的错误代码。进一步地,所述步骤七具体为SparkStreaming实时流处理模型将分析结果存入搜索引擎Elasticsearch中,用于前端实时展现。进一步地,所述步骤八具体为根据实时结果数据以图表等形式实现对IPTV机顶盒故障的实时检测展现。本专利技术与现有技术相比,具有以下优点和效果:本专利技术可以实现对IPTV机顶盒海量数据的实时处理,并且可根据业务量对整个框架性能做弹性扩展;最终依靠这种高效、弹性的日志大数据实时分析处理平台,实现对IPTV机顶盒故障的实时检测。附图说明图1是本专利技术的一种基于大数据流处理的IPTV机顶盒故障实时检测方法的流程图。图2是本专利技术的一种基于大数据流处理的IPTV机顶盒故障实时检测方法的结构框架图。具体实施方式下面通过实施例对本专利技术作进一步的详细说明,以下实施例是对本专利技术的解释而本专利技术并不局限于以下实施例。如图1和2所示,本专利技术的一种基于大数据流处理的IPTV机顶盒故障实时检测方法,包含以下步骤:步骤一:机顶盒生成并上报日志;IPTV机顶盒内部系统预置的程序实时产生日志数据。步骤二:F5负载均衡日志数据;IPTV机顶盒内系统程序将实时产生的日志数据通过http协议将传输至F5硬件负载均衡器。步骤三:Nginx转发日志数据;F5硬件负载均衡器下分别配置多台Nginx转发服务器,F5将同一时刻机顶盒上报的海量日志数据负载均衡到下面配置的多台Nginx服务器。步骤四:采集容器采集日志数据;通过Nginx服务器的upstream模块将获取的日志数据转发到多个容器化的日志采集程序,以轮询方式将各个日志采集程序的docker容器ip地址和端口配置到Nginx服务器的upstream模块中,从而使日志以http的方式转发到容器化的日志采集程序中。步骤五:日志数据写入Kafka队列;容器化的日志采集程序将获取的日志数据推送至Kafka消息队列中,以用于之后的消费。步骤六:日志数据在Spark集群进行实时分析;在Spark集群上通过SparkStreaming实时流处理模型,读取Kafka消息队列中的日志数据进行实时分析处理,统计分析当前IPTV机顶盒出现的错误代码。Spark读取Kafka消息队列中经过解析的日志数据,并根据相关机顶盒故障业务逻辑编写模型,通过SparkStreaming进行实时分析,如统计机顶盒1分钟日志周期内503错误代码相较上一周期出现次数增长是否超过20%,从而确定机顶盒访问资源池是否存在异常。步骤七:故障分析结果写入Elasticsearch集群;SparkStreaming实时流处理模型将分析结果存入搜索引擎Elasticsearch中,用于前端实时展现。步骤八:前端展现故障检测结果。根据实时结果数据实现对IPTV机顶盒故障的实时检测展现。前台展现程序实时调用Elasticsearch中结果数据,通过图表等形式对机顶盒故障情况进行实时展现。通过对全网在线IPTV机顶盒实时产生的日志进行收集、传输、处理和展现,从而达到对机顶盒故障的实时检测。海量日志数据通过F5负载均衡器进行一次分流,至多个Nginx转发服务器,每个Nginx转发服务器又会将日志数据转发至多个采集容器进行二次分流,从而使得海量数据的采集问题得以解决。此外Nginx和采集容器可以根据业务量的大小进行弹性的扩容和缩容。采用大数据流处理技术对日志数据进行实时分析,并依靠消息队列集群对海量日志数据进行传输,最终通过搜索引擎技术实现结果的快速查询。本专利技术可以实现对IPTV机顶盒海量数据的实时处理,并且可根据业务量对整个框架性能做弹性扩展;最终依靠这种高效、弹性的日志大数据实时分析处理平台,实现对IPTV机顶盒故障的实时检测。本说明书中所描述的以上内容仅仅是对本专利技术所作的举例说明。本专利技术所属
的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代,只要不偏离本专利技术说明书的内容或者超越本权利要求书所定义的范围,均应属于本专利技术的保护范围。本文档来自技高网
...

【技术保护点】
1.一种基于大数据流处理的IPTV机顶盒故障实时检测方法,其特征在于包含以下步骤:步骤一:机顶盒生成并上报日志;步骤二:F5负载均衡日志数据;步骤三:Nginx转发日志数据;步骤四:采集容器采集日志数据;步骤五:日志数据写入Kafka队列;步骤六:日志数据在Spark集群进行实时分析;步骤七:故障分析结果写入Elasticsearch集群;步骤八:前端展现故障检测结果。

【技术特征摘要】
1.一种基于大数据流处理的IPTV机顶盒故障实时检测方法,其特征在于包含以下步骤:步骤一:机顶盒生成并上报日志;步骤二:F5负载均衡日志数据;步骤三:Nginx转发日志数据;步骤四:采集容器采集日志数据;步骤五:日志数据写入Kafka队列;步骤六:日志数据在Spark集群进行实时分析;步骤七:故障分析结果写入Elasticsearch集群;步骤八:前端展现故障检测结果。2.按照权利要求1所述的基于大数据流处理的IPTV机顶盒故障实时检测方法,其特征在于:所述步骤二具体为IPTV机顶盒内系统程序将实时产生的日志数据通过http协议传输至F5硬件负载均衡器。3.按照权利要求1所述的基于大数据流处理的IPTV机顶盒故障实时检测方法,其特征在于:所述步骤三具体为F5硬件负载均衡器下分别配置多台Nginx转发服务器,F5将同一时刻机顶盒上报的海量日志数据负载均衡到下面配置的多台Nginx服务器。4.按照权利要求1所述的基于大数据流处理的IPTV机顶盒故障实时检测方法,其特征在于:所述步骤四具体为通过Nginx服务器的upstream模块将获取的日志数据转发到多个容器化的日志采集程序,以...

【专利技术属性】
技术研发人员:董上卞伟于伟涛
申请(专利权)人:江苏鸿信系统集成有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1