一种应用于平台开发中的集群日志集中收集方法技术

本发明专利技术公开了一种应用于平台开发中的集群日志集中收集方法，包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接。本发明专利技术可以针对某个指定接口做日志收集，且实现集中收集，更加方便开发人员和运维维护人员实时追踪分析日志，在不需要时，使用配置取消收集日志，这样可以最大程度节约服务器资源，同时使用更为便捷。

A cluster log collection method applied to platform development

Collect the cluster log method of the invention discloses a method for applying on the platform in the development of the application system, including the listener, log collector, configuration module interface, interface configuration module and log storage module, the application system, monitor, log collector comprises electrical communication connection, the log collector respectively with the interface configuration module, log the storage module is in electrical communication connection, the interface configuration module and configuration module, interface circuit and communication connection. The invention can be used for a specified log collection interface, and realize the centralized collection, more convenient for developers and operation and maintenance maintenance personnel real-time tracking and analysis of the log, while not using the configuration, cancel the collected log, so you can maximize the save server resources, at the same time the use of more convenient.

【技术实现步骤摘要】
一种应用于平台开发中的集群日志集中收集方法
本专利技术涉及平台开发运营领域，尤其涉及一种应用于平台开发中的集群日志集中收集方法。
技术介绍
随着智能电视的用户越来越多，使用个性化推荐系统的用户出现井喷式增长，推荐平台时时刻刻都在接受挑战，这时就需要实时关注推荐平台运行状况，通过关注某些接口的日志，通过分析日志判定平台是否正常，是否能抗住压力，推荐效果是否合格等，便于平台维护工作。现有日志收集器大体有两种：(1)在代码中嵌入日志收集代码来打印单台服务器的日志，这种日志分散在集群的各个服务器上，在追踪日志，分析日志时候难度较大，不利于实时追踪分析，而且在不需要打印日志的情况下，需要修改应用配置文件，需要重启应用，对业务造成不稳定因素；(2)使用统一日志收集器，这种日志虽然可以统一的收集到一个地方，存入数据库或者消息队列或者日志文件，但同一时间收集大量日志，这种收集器应用与大数据分析平台，但在一些规模小或者非数据方向的产品中使用，会造成服务器资源浪费，它不能针对性收集日志，实时追踪分析日志的操作难度也较大。
技术实现思路
针对现有技术存在的不足之处，本专利技术的目的在于提供一种应用于平台开发中的集群日志集中收集方法，可以针对某个指定接口做日志收集，且实现集中收集，更加方便开发人员和运维维护人员实时追踪分析日志，在不需要时，使用配置取消收集日志，这样可以最大程度节约服务器资源，同时使用更为便捷。本专利技术的目的通过下述技术方案实现：一种应用于平台开发中的集群日志集中收集方法，包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下：A、通过应用系统对接口配置模块进行各个接口的配制信息输入，该配制信息包括该接口是否需要收集日志，所述接口配置模块向配置模块接口发送该接口的配制命令，所述配置模块接口按照接口配置模块所传输过来的配制命令对接口进行是否需要收集日志的相关配制；B、所述监听器对各个接口的日志信息进行监控，所述监听器监听所有接口是否需要收集日志，如果接口需要收集日志，则监听器继续监听该接口是否存在日志变化，如果接口不需要收集日志，则监听器不会监听该接口是否存在日志变化；当监听器监听到某个接口更新了日志或修改了日志，所述监听器会将日志收集器向日志收集器发送对该接口的日志提取和存储操作，所述日志收集器获取该接口的所有日志文件并存储于日志储存模块中；C、应用系统可以对日志储存模块进行查询，通过应用系统查询各个接口所对应的配制信息、所有日志文件。本专利技术在不影响平台正常运行，不修改应用配置，不特定增加日志打印或者配置日志的代码的情况下，通过接口配置模块配置需要收集日志的应用平台相关接口，日志收集器集中收集所配置相关接口的日志并储存，便于开发人员和运维维护人员实时追踪分析日志，同时，日志收集器具有可配置性，通过清除配置取消日志收集，最大限度的降低服务器资源的消耗，适用于非大数据方向的所有java项目使用。本专利技术较现有技术相比，具有以下优点及有益效果：本专利技术可以针对某个指定接口做日志收集，且实现集中收集，更加方便开发人员和运维维护人员实时追踪分析日志，在不需要时，使用配置取消收集日志，这样可以最大程度节约服务器资源，同时使用更为便捷。附图说明图1为本专利技术的原理结构框图。具体实施方式下面结合实施例对本专利技术作进一步地详细说明：实施例如图1所示，一种应用于平台开发中的集群日志集中收集方法，包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下：A、通过应用系统对接口配置模块进行各个接口的配制信息输入，该配制信息包括该接口是否需要收集日志，所述接口配置模块向配置模块接口发送该接口的配制命令，所述配置模块接口按照接口配置模块所传输过来的配制命令对接口进行是否需要收集日志的相关配制；B、所述监听器对各个接口的日志信息进行监控，所述监听器监听所有接口是否需要收集日志，如果接口需要收集日志，则监听器继续监听该接口是否存在日志变化，如果接口不需要收集日志，则监听器不会监听该接口是否存在日志变化；当监听器监听到某个接口更新了日志或修改了日志，所述监听器会将日志收集器向日志收集器发送对该接口的日志提取和存储操作，所述日志收集器获取该接口的所有日志文件并存储于日志储存模块中；C、应用系统可以对日志储存模块进行查询，通过应用系统查询各个接口所对应的配制信息、所有日志文件。基于dubbo框架编写日志收集器和接口配置管理器，日志收集器主要做日志收集，并根据要求存入文件或者消息服务器，接口配置管理器用于配置平台中指定收集日志的接口，开发人员可以通过http方式调用接口，增加或清除相应接口配置；本专利技术的平台方面基于spring切面编程，使用springaop模式监听所有接口，并预先组织所有需求的日志，通过dubbo配置加载日志收集器和接口配置管理器的响应接口类，在监听器里使用接口管理器获取需要收集日志的接口配置，拦截所有接口，并判定接口是否需要被收集日志，如果属于则调用日志收集接口传入该接口所有日志文本，日志收集器包含以下几个模块：(1)接口配置模块：基于dubbo框架，开放rest接口和rpc接口，rest接口用于配置管理需要收集日志的接口配置，需要收集日志时，配置相应接口和日志存储方式，不需要收集日志时，删除该项配置，接口配置模块的配置功能基于dubbo框架的restful风格开发的接口，开发人员可以通过http方式调用接口查看配置或者更改配置，这样做既可以满足让日志收集器收集到指定接口的日志用于实时分析，也可以在不需要日志时，让平台不在传入日志，节约服务器资源；rpc接口提供给平台调用，获取指定接口配置，这样应用平台可以及时更新到接口配置，判定判定是否需要传入日志或者需要传入日志的接口；(2)日志收集器：基于dubbo框架，在应用平台开发rpc接口，通过应本文档来自技高网...

【技术保护点】
一种应用于平台开发中的集群日志集中收集方法，其特征在于：包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下：A、通过应用系统对接口配置模块进行各个接口的配制信息输入，该配制信息包括该接口是否需要收集日志，所述接口配置模块向配置模块接口发送该接口的配制命令，所述配置模块接口按照接口配置模块所传输过来的配制命令对接口进行是否需要收集日志的相关配制；B、所述监听器对各个接口的日志信息进行监控，所述监听器监听所有接口是否需要收集日志，如果接口需要收集日志，则监听器继续监听该接口是否存在日志变化，如果接口不需要收集日志，则监听器不会监听该接口是否存在日志变化；当监听器监听到某个接口更新了日志或修改了日志，所述监听器会将日志收集器向日志收集器发送对该接口的日志提取和存储操作，所述日志收集器获取该接口的所有日志文件并存储于日志储存模块中；C、应用系统可以对日志储存模块进行查询，通过应用系统查询各个接口所对应的配制信息、所有日志文件。...

【技术特征摘要】
1.一种应用于平台开发中的集群日志集中收集方法，其特征在于：包括应用系统、监听器、日志收集器、配置模块接口、接口配置模块和日志储存模块，所述监听器用于监听所有接口并判定各个接口是否需要收集日志，所述监听器还用于调集日志收集器去收集需要收集日志的接口的所有日志文本；所述接口配置模块用于开放rest接口与rpc接口，所述接口配置模块用于各个接口是否需要收集日志；所述日志储存模块用于对日志收集器所收集的所有日志文本进行存储；所述配置模块接口用于按照接口配置模块所配制的配制信息对接口进行是否需要收集日志的配制；所述应用系统用于实时查询日志储存模块所存储的所有日志文本；所述应用系统、监听器、日志收集器依次电通信连接，所述日志收集器分别与接口配置模块、日志储存模块电通信连接，所述接口配置模块与配置模块接口电通信连接；其方法如下...

【专利技术属性】
技术研发人员：韩挺，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51