一种被动式生产、消费计算机日志的需求实现方法及系统技术方案

本发明专利技术公开了一种被动式生产、消费计算机日志的需求实现方法及系统，方法包括：根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；将所述数据库日志按照分布式队列的方式输入到日志消费队列中；在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。本发明专利技术的方法让软件开发人员通过简单的基本操作完成过去海量的编码劳动，提高工作效率。

【技术实现步骤摘要】
一种被动式生产、消费计算机日志的需求实现方法及系统
本专利技术涉及日志分析领域，特别涉及一种被动式生产、消费计算机日志的实现方法及系统。
技术介绍
计算机日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同。比如，Web日志，可能包括但不限于各种前端Web服务器：apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。在Web日志中，每条日志通常代表着用户的一次访问行为。从一条日志中，可以得到很多有用的信息，例如访问者的IP、访问的时间、访问的目标网页、来源的地址以及访问者所使用的客户端的UserAgent信息等。如果需要更多的信息，则要用其它手段去获取：例如想得到用户屏幕的分辨率，一般需要使用js代码单独发送请求；而如果想得到诸如用户访问的具体新闻标题等信息，则可能需要Web应用程序在自己的代码里输出。然而，如何在具有日志关联性的系统之间，如何实现生产日志、消费日志从而实现日志的需求，是目前有待解决的问题。
技术实现思路
本专利技术要解决的技术问题是，让软件开发人员通过简单的基本操作完成过去海量的编码劳动，提高工作效率。本系统处在具有日志关联性的系统之间，属于一种中间件产品。解决上述技术问题，本专利技术提供了一种被动式生产、消费计算机日志的需求实现方法,包括如下步骤：根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；将所述数据库日志按照分布式队列的方式输入到日志消费队列中；在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。更进一步，根据需求记录业务操作的日志的方法具体为：根据需求生成配置文件，在配置文件中添加配置节点，根据所述配置节点，添加自定义信息，对上述配置节点进行检查，若确认无误，则将捕获的属性信息和所述自定义信息合并，然后再提交至数据库中。更进一步，所述配置文件按照XML和/或JSON格式储存。更进一步，按照已校验规范在数据库中生成对应的数据库日志包括如下步骤：根据需求记录业务操作的日志中引起数据库中操作过程，并在数据库中产生binLog日志。更进一步，在数据库中产生binLog日志还包括如下步骤：监视所述binLog日志的变化：若有新日志产生时，日志转化读取新日志，并通过数据库dump协议将binLog进行解析，对解析后的binLog日志的不同的格式进行转换，形成统一protobuf格式数据，对所述protobuf格式数据的日志进行重复和可用校验，若校验通过，则将所述protobuf格式数据进行持久化后将protobuf格式数据发往分布式队列。更进一步，方法还包括：将所述日志消费队列放置于一需要订阅日志的系统中，消费者组中的消费者抢夺到日志后，再根据优化算法安排消费，同时上述系统的事件机制后完成消费。优化算法安排消费的方法包括但不限于，排队优选级、日志优先级、消费优选级等。基于上述本专利技术还提供了一种被动式生产、消费计算机日志的需求实现系统,包括：规范定义模块、日志转换模块以及日志订阅消费模块，所述规范定义模块，用以根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；所述日志转换模块，用以将所述数据库日志按照分布式队列的方式输入到日志消费队列中；所述日志订阅消费模块，用以在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。更进一步，所述规范定义模块中的配置方式为XML或者JSON。更进一步，所述规范定义模块位于CRM系统中。更进一步，所述所述日志订阅消费模块还用以把数据库中的binlog日志转换成与已校验规范对应的计算机数据结构。本专利技术的有益效果：本专利技术的方法让软件开发人员通过简单的基本操作完成过去海量的编码劳动，提高工作效率。本专利技术中的系统处在具有日志关联性的系统之间，属于一种中间件产品，从而在具有日志关联性的系统之间实现生产日志、消费日志从而实现日志的需求。附图说明图1是本专利技术一实施例中的方法流程示意图；图2是本专利技术一实施例中的系统结构示意图；图3是本专利技术一实施例中的跨系统流程示意图。具体实施方式现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。图1是本专利技术一实施例中的方法流程示意图，本实施例中的一种被动式生产、消费计算机日志的需求实现方法,包括如下步骤：步骤S100根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；步骤S101将所述数据库日志按照分布式队列的方式输入到日志消费队列中；步骤S102在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。具体地，在所述步骤S100中对产生的日志进行描述，把过去复杂的计算机编码已一种约定的形式表现。被定义后的规范会永久伴随在日志中。再附加上系统默认的属性就构成了日志的完整描述。通过该些描述，再通过所述步骤S101把数据库的binlog日志转换成与描述对应的计算机数据结构，已分布式队列的形式进行分发，并归档。最后由经由步骤S102以实时的速度完成消费。本实施例中的方法让软件开发人员通过简单的基本操作完成过去海量的编码劳动，提高工作效率。作为本实施例中的优选，在所述步骤S100中，根据需求记录业务操作的日志的方法具体为：根据需求生成配置文件，在配置文件中添加配置节点，根据所述配置节点，添加自定义信息，对上述配置节点进行检查，若确认无误，则将捕获的属性信息和所述自定义信息合并，然后再提交至数据库中。所述属性信息包括但不限于，触发操作时的日志属性。作为本实施例中的优选，上述的配置文件按照XML和/或JSON格式储存。作为本实施例中的优选，在所述步骤S100中按照已校验规范在数据库中生成对应的数据库日志还包括如下步骤：根据需求记录业务操作的日志中引起数据库中操作过程，并在数据库中产生binLog日志。作为本实施例中的优选，在数据库中产生binLog日志还包括如下步骤：监视所述binLog日志的变化：若有新日志产生时，日志转化读取新日志，并通过数据库dump协议将binLog进行解析，对解析后的binLog日志的不同的格式进行转换，形成统一protobuf格式数据，对所述protobuf格式数据的日志进行重复和可用校验，若校验通过，则将所述protobuf格式数据进行持久化后将protobuf格式数据发往分布式队列。作为本实施例中的优选，上述方法还包括：将所述日志消费队列放置于一需要订阅日志的系统中，消费者组中的消费者抢夺到日志后，再根据优化算法安排消费，同时上述系统的事件机制后完成消费。图2是本专利技术一实施例中的系统结构示意图，本实施例中的一种被动式生产、消费计算机日志的需求实现系统,包括：规范定义模块1、日志转换本文档来自技高网...

【技术保护点】
一种被动式生产、消费计算机日志的需求实现方法,其特征在于，包括如下步骤：根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；将所述数据库日志按照分布式队列的方式输入到日志消费队列中；在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。

【技术特征摘要】
1.一种被动式生产、消费计算机日志的需求实现方法,其特征在于，包括如下步骤：根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；将所述数据库日志按照分布式队列的方式输入到日志消费队列中；在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。2.根据权利要求1所述的需求实现方法,其特征在于，根据需求记录业务操作的日志的方法具体为：根据需求生成配置文件，在配置文件中添加配置节点，根据所述配置节点，添加自定义信息，对上述配置节点进行检查，若确认无误，则将捕获的属性信息和所述自定义信息合并，然后再提交至数据库中。3.根据权利要求2所述的需求实现方法,其特征在于，所述配置文件按照XML和/或JSON格式储存。4.根据权利要求1所述的需求实现方法,其特征在于，按照已校验规范在数据库中生成对应的数据库日志包括如下步骤：根据需求记录业务操作的日志中引起数据库中操作过程，并在数据库中产生binLog日志。5.根据权利要求4所述的需求实现方法,其特征在于，在数据库中产生binLog日志还包括如下步骤：监视所述binLog日志的变化：若有新日志产生时，日志转化读取新日志，并通过数据库dump协议将binLog进行解析，对解析后的binLog日志的不同的格式进行转换，形成...

【专利技术属性】
技术研发人员：张晶磊，赵丽敏，
申请(专利权)人：北京商办通互联网科技有限公司，
类型：发明
国别省市：北京,11