本发明专利技术公开了一种日志数据处理方法及装置，涉及数据处理技术领域，其中，该方法包括：获得分布式集群服务器的操作日志和业务处理数据；根据所述业务处理数据，生成数据变动日志；将所述操作日志和数据变动日志传输至kafka集群消息中间件，生成日志消息；利用storm计算框架，对所述日志消息进行处理。本发明专利技术能够解决现有日志处理效率低且准确率不高的问题，该方法应用于分布式集群服务器。该方法应用于分布式集群服务器。该方法应用于分布式集群服务器。
【技术实现步骤摘要】
日志数据处理方法及装置
[0001]本专利技术涉及数据处理
，尤其涉及一种日志数据处理方法及装置。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在高复杂度的系统中，对于定位线上问题，日志非常重要。单机环境模式下应用服务所生成的日志路径都在本地服务器上，查看日志也会相对比较方便。集群环境模式下就不同了，每台应用服务器都会生成同样的应用服务访问日志和错误日志，当客户端访问平台地址的时候，是采用轮询的方式随机访问集群中的其中一台应用服务器，并产生相对的访问日志和错误日志。为了实时查看客户端访问的日志信息，需要实时同步集群中每一台服务器上的日志并归集到主服务器上。实现分布式日志系统归集方案解决日志归集技术问题。
[0004]现有技术中对于日志采用的是logback的配置，每个微服务的日志，都是通过File的方式存储在部署的机器上，但是由于日志比较分散，想要检查各个微服务是否有报错信息，需要挨个服务去排查，日志处理效率低且准确率不高。
[0005]针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
[0006]本专利技术实施例中提供了一种日志数据处理方法，用以解决现有日志处理效率低且准确率不高的问题，该方法应用于分布式集群服务器，包括：
[0007]获得分布式集群服务器的操作日志和业务处理数据；
[0008]根据所述业务处理数据，生成数据变动日志；
[0009]将所述操作日志和数据变动日志传输至kafka集群消息中间件，生成日志消息；
[0010]利用storm计算框架，对所述日志消息进行处理。
[0011]进一步地，所述操作日志包括：前置操作日志和后置操作日志，其中，所述前置操作日志用于记录访问地址，http访问方式，调用类，调用方法信息，请求参数，用户ip地址，用户id，用户登录名，应用标识，模块名称，操作名称，操作时间其中之一或任意组合，后置操作日志用于记录标识信息，返回消息，返回结果编码，操作完成时间其中之一或任意组合。
[0012]进一步地，所述的日志数据处理方法还包括：
[0013]对日志消息进行处理之后，将处理的结果存储至mongodb日志数据库中。
[0014]进一步地，所述的日志数据处理方法还包括：
[0015]获得分布式集群服务器的访问日志；
[0016]根据所述访问日志，利用logstash日志处理组件读取微服务模块日志；
[0017]根据所述微服务模块日志，生成对应的JSON文件；
[0018]将所述JSON文件存储至ES集群。
[0019]进一步地，所述的日志数据处理方法还包括：
[0020]在将JSON文件存储至ES集群之后，通过kinbana读取ES集群中的数据；
[0021]对读取的数据进行报表分析。
[0022]进一步地，按如下方式获得分布式集群服务器的访问日志：
[0023]轮询请求分布式集群中的服务器；
[0024]根据轮训请求的结果，生成服务器对应的访问日志。
[0025]进一步地，所述的日志数据处理方法还包括：
[0026]生成服务器对应的访问日志之后，将所述访问日志存储至对应的服务器中。
[0027]本专利技术实施例中提供了一种日志数据处理装置，用以解决现有日志处理效率低且准确率不高的问题，该装置应用于分布式集群服务器，包括：
[0028]数据获得模块，用于获得分布式集群服务器的操作日志和业务处理数据；
[0029]日志生成模块，用于根据所述业务处理数据，生成数据变动日志；
[0030]消息生成模块，用于将所述操作日志和数据变动日志传输至kafka集群消息中间件，生成日志消息；
[0031]日志处理模块，用于利用storm计算框架，对所述日志消息进行处理。
[0032]进一步地，所述操作日志包括：前置操作日志和后置操作日志，其中，所述前置操作日志用于记录访问地址，http访问方式，调用类，调用方法信息，请求参数，用户ip地址，用户id，用户登录名，应用标识，模块名称，操作名称，操作时间其中之一或任意组合，后置操作日志用于记录标识信息，返回消息，返回结果编码，操作完成时间其中之一或任意组合。
[0033]进一步地，所述的日志数据处理装置还包括：
[0034]结果存储模块，用于对日志消息进行处理之后，将处理的结果存储至mongodb日志数据库中。
[0035]进一步地，所述的日志数据处理装置还包括：
[0036]日志获得模块，用于获得分布式集群服务器的访问日志；
[0037]日志读取模块，用于根据所述访问日志，利用logstash日志处理组件读取微服务模块日志；
[0038]文件生成模块，用于根据所述微服务模块日志，生成对应的JSON文件；
[0039]文件存储模块，用于将所述JSON文件存储至ES集群。
[0040]进一步地，所述的日志数据处理装置还包括：
[0041]数据读取模块，用于在将JSON文件存储至ES集群之后，通过kinbana读取ES集群中的数据；
[0042]报表分析模块，用于对读取的数据进行报表分析。
[0043]进一步地，按如下方式获得分布式集群服务器的访问日志：
[0044]轮询请求分布式集群中的服务器；
[0045]根据轮训请求的结果，生成服务器对应的访问日志。
[0046]进一步地，所述的日志数据处理装置还包括：
[0047]日志存储模块，用于生成服务器对应的访问日志之后，将所述访问日志存储至对
应的服务器中。
[0048]本专利技术实施例中还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述日志数据处理方法。
[0049]本专利技术实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述日志数据处理方法的计算机程序。
[0050]本专利技术实施例通过获得分布式集群服务器的操作日志和业务处理数据；根据所述业务处理数据，生成数据变动日志；将所述操作日志和数据变动日志传输至kafka集群消息中间件，生成日志消息；利用storm计算框架，对所述日志消息进行处理。本专利技术实施例与现有的通过File的方式存储在部署的机器上进行日志数据处理的方案而言，能够有效解决日志处理效率低且准确率不高的问题。
附图说明
[0051]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0052]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志数据处理方法，应用于分布式集群服务器，其特征在于，包括：获得分布式集群服务器的操作日志和业务处理数据；根据所述业务处理数据，生成数据变动日志；将所述操作日志和数据变动日志传输至kafka集群消息中间件，生成日志消息；利用storm计算框架，对所述日志消息进行处理。2.如权利要求1所述的日志数据处理方法，其特征在于，所述操作日志包括：前置操作日志和后置操作日志，其中，所述前置操作日志用于记录访问地址，http访问方式，调用类，调用方法信息，请求参数，用户ip地址，用户id，用户登录名，应用标识，模块名称，操作名称，操作时间其中之一或任意组合，后置操作日志用于记录标识信息，返回消息，返回结果编码，操作完成时间其中之一或任意组合。3.如权利要求1所述的日志数据处理方法，其特征在于，还包括：对日志消息进行处理之后，将处理的结果存储至mongodb日志数据库中。4.如权利要求1所述的日志数据处理方法，其特征在于，还包括：获得分布式集群服务器的访问日志；根据所述访问日志，利用logstash日志处理组件读取微服务模块日志；根据所述微服务模块日志，生成对应的JSON文件；将所述JSON文件存储至ES集群。5.如权利要求4所述的日志数据处理方法，其特征在于，还包括：在将JSON文件存储至ES集群之后，通过kinbana读取ES集群中的数据；对读取的数据进行报表分析。6.如权利要求4所述的日志数据处理方法，其特征在于，按如下方式获得分布式集群服务器的访问日志：轮询请求分布式集群中的服务器；根据轮训请求的结果，生成服务器对应的访问日志。7.如权利要求6所述的日志数据处理方法，其特征在于，还包括：生成服务器对应的访问日志之后，将所述访问日志存储至对应的服务器中。8.一种日志数据处理装置，应用于分布式集群服务器，其特征在于，包括：数据获得模块，用于获得分布式集群服务器的操作日志和业务处理数据；日志生成模块，用于根据所述业务处理数据，生成数据变动日志；消息生成模块，用于将所述操作日志和数据变动日志传输至kafka集群消息中间件，生成日志消息...
【专利技术属性】
技术研发人员：徐禄春，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。