【技术实现步骤摘要】
一种分布式实时日志分析方法和计算机可读存储介质
本专利技术涉及数据处理
，具体指一种分布式实时日志分析方法和计算机可读存储介质。
技术介绍
目前分布式系统越来越普及，服务会产生海量的日志。现有的日志分析系统通常使用基于Hadoop和MapReduce算法或者对基于Storm的分析系统日志进行分析处理。利用基于Hadoop和MapReduce的算法进行分析，会导致分析结果出现T+N(N≥1)的滞后，无法及时反馈系统运行的状态。而采用基于Storm的分析系统，通常只能分析简单的无状态的数据，无法对数据进行复杂的分析处理；对于有状态的数据，则要求数据的处理必须是串行的，无法进行并发分析。对于分布式集群之间产生的关联日志，无法有效的进行实时并发高效的分析处理。
技术实现思路
本专利技术要解决的技术问题之一，在于提供一种分布式实时日志分析方法，能够对分布式集群之间所产生的关联日志进行实时并发的分析处理。本专利技术要解决的技术问题之一是这样实现的：一种分布式实时日志分析方法，包括：
【技术保护点】
1.一种分布式实时日志分析方法，其特征在于，包括：/n步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；/n步骤20、将所述授时日志写入消息队列缓冲；/n步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；/n步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。/n
【技术特征摘要】
1.一种分布式实时日志分析方法，其特征在于，包括：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
2.根据权利要求1所述的一种分布式实时日志分析方法，其特征在于，所述步骤10具体为：从至少一个业务服务器获取原始日志，从至少一个授时服务器获取授时标记，将所述授时标记与所述原始日志绑定，得到授时日志。
3.根据权利要求1所述的一种分布式实时日志分析方法，其特征在于，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
4.根据权利要求3所述的一种分布式实时日志分析方法，其特征在于：所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
5.根据权利要求1所述的一种分布式实时日志分析方法，其特征在于，所述方法还包括：
步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
6.一种计算...
【专利技术属性】
技术研发人员：郑一鸣，甘泉，
申请(专利权)人：福建星网智慧软件有限公司，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。