一种日志处理方法及系统,及一种智能终端技术方案

技术编号:19857729 阅读:29 留言:0更新日期:2018-12-22 11:45
本发明专利技术公开了一种日志处理方法及系统,一种智能终端,包括:获取日志缓存队列的状态;根据所述日志缓存队列的状态判断是否发生日志处理堵塞;根据判断的结果动态调整日志运行单元。在本发明专利技术中通过对日志处理负载情况实时监测,根据处理日志状态动态的调整资源服务器,解决了现有技术中,系统中资源服务器高峰和低谷时的计算资源数量相差大的问题,合理的提高了资源的有效利用率。

【技术实现步骤摘要】
一种日志处理方法及系统,及一种智能终端
本专利技术涉及信息交互领域,特别涉及一种日志处理方法及系统,及一种智能终端。
技术介绍
现有的日志处理技术中,常规方案一般包含日志收集、日志计算(过滤)、日志存储三大模块。其中,日志收集模块,部署在不断产生日志的服务器上,用于从日志文件中实时读取日志,并发送到缓存队列。其中,日志计算(过滤)模块,可单独部署或与其他模块混合部署,用于从缓存队列中读取日志,并且对每一条日志进行分析,丢弃不需要的信息,对需要的信息进行格式化(例如JSON格式),将格式化之后的日志发送给日志存储模块。其中,日志存储模块,可单独部署或与其他模块混合部署,用于接收日志计算模块发送过来的经过格式化的日志,按指定的字段对每一条日志生成索引,并存储日志及其索引,以便后续对日志进行检索。基于以上的处理方式,在大规模日志处理中,每天都有业务高峰期和低谷期,对应的日志量存在较大差距,需要的处理能力也不一样。现有日志处理技术一般采用固定数量和固定计算能力的服务器来处理日志,容易出现如下问题:在业务低谷期服务器处理能力富余,资源浪费现象严重,在业务高峰期服务器处理能力不足,造成日志处理不本文档来自技高网...

【技术保护点】
1.一种日志处理方法,其特征在于,包括:获取日志缓存队列的状态;根据所述日志缓存队列的状态判断是否发生日志处理堵塞;根据判断的结果动态调整日志运行单元。

【技术特征摘要】
1.一种日志处理方法,其特征在于,包括:获取日志缓存队列的状态;根据所述日志缓存队列的状态判断是否发生日志处理堵塞;根据判断的结果动态调整日志运行单元。2.根据权利要求1所述的一种日志处理方法,其特征在于,包括:当根据对日志缓存队列判断的结果为堵塞状态时,增加日志运行单元。3.根据权利要求2所述的一种日志处理方法,其特征在于,包括:在所述日志缓存队列中获取缓存队列中未处理的日志数量;测试每个日志运行单元处理日志的速度;并通过守护进程获取当前正在运行的日志运行单元的数量;根据所述日志缓存队列中获取缓存队列中未处理的日志数量、每个日志运行单元处理日志的速度、当前正在运行的日志运行单元的数量以及系统中处理日志的预设延迟时间,计算出需要增加的日志运行单元的数量。4.根据权利要求1所述的一种日志处理方法,其特征在于,包括:当根据对日志缓存队列判断的结果为空闲状态时,优化掉日志运行单元。5.根据权利要求4所述的一种日志处理方法,其特征在于,包括:获取正在运行的每个日志运行单元的负载率;根据正在运行的每个日志运行单元的负载率,计算当前系统中正在运行的所有日志运行单元的第二负载率;当所述第二负载率不大于预设负载率时,优化掉正在运行的多余的日志运行单元。6.一种日志处理系统,可执行权利要求1-5任一所述的日志处理方法,其特征在于,包括:队列状态获取模块,获取日志缓存队列的状态;队列状态判断模块,与所述队列状态获取模块通信连接,根据所述日志缓存队列的状态判断是否发生日志处理堵塞;日志单元调整模块,与所述队列状态判断模块通信连接,根据判断的结果动态调整日志运行单元。7...

【专利技术属性】
技术研发人员:王春林叶圣贤邓贇
申请(专利权)人:江苏满运软件科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1