【技术实现步骤摘要】
本专利技术涉及cdn加速和大数据处理领域，特别涉及基于节点集群日志不写入本地磁盘请求加速方法和系统。
技术介绍
1、节点集群在处理业务请求时，为了记录请求的状态等，需要记录访问日志和错误日志等。如果采用本地落盘的方案，优点是简单可靠，但是在高并发请求的场景下，每秒产生的日志条数非常惊人，故在写日志文件环节上消耗时间和资源，并且频繁的写入小文件会极大的增加磁盘消耗当系统处理大量磁盘io时，由于cpu和内存的处理速度远高于磁盘的处理速度，可能导致cpu耗费太多时间等待磁盘返回处理的结果，反映在业务上就是客户请求的处理时间变长。
技术实现思路
1、本专利技术的目的在于提供基于节点集群日志不写入本地磁盘请求加速方法和系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：基于节点集群日志不写入本地磁盘请求加速方法和系统，所述请求加速系统包括日志传输单元、日志接收与写入文件单元、格式转换与上传单元和异常处理单元；
3、所述日志传输单元通过负载均衡的方式往后端可用rsyslog服务传输日志，并对后端的rsyslog服务进行探测，对于写失败的日志进行重传，所述负载均衡的方式包括使用轮询的方式传输日志；
4、所述日志接收与写入文件单元通过管理机集群接收业务服务器上传的日志消息，并且写入本地文件，同时设置合理的日志回滚周期及压缩策略；
5、所述格式转换与上传单元通过按照日志采集中心的要求对原始日志信息进行格式转换，并且可
6、所述异常处理单元通过配置主消息队列长度和动作队列的长度以及刷新策略。
7、优选的，所述日志传输单元包括轮询处理模块、封装发送模块、发送失败处理模块和探测模块，所述轮询处理模块将可用资源均匀分配到不同的处理器上，并依次轮流服务请求，所述封装发送模块通过将日志封装成合适格式并发送至管理机集群的rsyslog服务，所述发送失败处理模块根据发送结果对日志进行反复发送操作，所述探测模块通过发送探活日志消息确认rsyslog服务是否正常运行。
8、优选的，所述日志接收与写入文件单元包括日志接收模块、日志写入模块和日志查询模块，所述日志写入模块通过rsyslog服务将原始格式的日志写入管理机本地文件，所述日志查询模块通过日志查询工具按照关键字搜索日志。
9、优选地，所述格式转换与上传单元包括格式转换模块和上传模块，所述格式转换模块通过agent服务来管理rsyslog的配置文件以及上传到日志中心的最终格式所需要的格式和字段，所述上传模块通过配置的后端地址把转换后的日志信息上传到日志采集中心。
10、基于节点集群日志不写入本地磁盘请求加速方法，采用所述的加速系统，所述加速方法包括以下几个步骤；
11、第一步，通过节点集群中的业务服务器将日志封装成符合rsyslog协议的格式；
12、第二步，通过使用udp协议并采用轮询处理的方式将节点集群的日志传输至管理机集群rsyslog服务，并进行探测操作；
13、第三步，通过管理机上的rsyslog服务接收节点集群发送的日志数据，并将其原始格式日志写入管理机本地文件；
14、第四步，通过agent服务转换原始日志信息格式，并将其通过配置的后端地址将格式转换后的日志信息上传至日志采集中心；
15、第五步，通过异常处理方法对日志的传输、接收与写入和格式转换与上传过程中出现的异常情况进行针对处理。
16、优选的，所述第二步中轮询处理的操作具体包括以下几个步骤；
17、a1，定义要轮询的资源，所述轮询资源包括服务器、系统进程和任务；
18、a2，统计资源状态，所述资源状态包括负载、可用性、连接数和响应时间；
19、a3，选择处理器；
20、a4，处理请求，所述请求的处理包括将客户端请求分发到选择的处理器上，使其执行所需的操作并返回相应结果；
21、a5，更新资源状态，所述更新资源状态包括根据请求执行的结果对处理器和资源的状态进行更新和调整；
22、a6，重复调度，所述重复调度包括选择下一个处理器来处理下一个请求，并重复上述步骤，直到所有请求都被处理完毕。
23、优选的，所述第二步中探测操作包括通过节点集群中的业务服务器启动周期探测服务，向管理机集群的rsyslog服务发送探活日志消息来确认服务是否正常运行，所述探活日志消息包括一段测试日志数据，所述探测周期可进行配置。
24、优选的，所述第三步中将管理机上的rsyslog服务接收的日志写入管理机本地文件需要配置合适的日志回滚周期以及压缩策略，所述日志回滚周期通过定期地对日志文件进行切割或回滚，以保持日志文件的可管理性和可读性，所述日志压缩策略对日志文件进行压缩的处理方式节约磁盘空间并方便日后的查看和分析。
25、优选的，所述第四步中通过agent服务转换原始日志信息格式包括定义一种特定的日志格式和结构，并在rsyslog中配置，所述特定的日志格式和结构包括格式化的消息头和一个数据主体，所述消息头包括时间戳、主机名、日志级别、日志来源和进程id，所述数据主体包括日志内容和日志类别。
26、优选的，所述异常处理方法包括修改rsyslog加载配置的逻辑使其可以热加载配置文件、根据节点集群中业务服务器能处理的qps规划节点集群的规模、针对探测服务结果进行处理和配置适合的主消息队列长度和动作队列的长度以及刷新策略等来保证进程异常退出时数据不丢失。
27、本专利技术的技术效果和优点：
28、(1)本专利技术加速系统设置了日志传输单元、日志接收与写入文件单元、格式转换与上传单元和异常处理单元，通过使用udp协议在节点集群的内网环境中可以高效的传输日志消息，减轻业务服务器的压力，加快业务请求的处理速度，并使用udp协议的rsyslog探活服务和开发的日志重传机制保证日志消息稳定可靠的传输，同时对rsyslog服务进行针对性的调优，保证节点集群不会出现日志丢失的情况；
29、(2)本专利技术加速方法通过采用轮询处理的方式将节点集群的日志传输至管理机集群rsyslog服务，并进行探测操作，同时在对日志进行传输时进行相应的格式转换使其适配日志采集中心需求，并针对整体流程中出现的异常情况进行实时处理，防止出现数据丢失的情况，优化的整体操作流程，实现日志传输加速；
本文档来自技高网...【技术保护点】
1.基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述请求加速系统包括日志传输单元、日志接收与写入文件单元、格式转换与上传单元和异常处理单元；
2.根据权利要求1所述的基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述日志传输单元包括轮询处理模块、封装发送模块、发送失败处理模块和探测模块，所述轮询处理模块将可用资源均匀分配到不同的处理器上，并依次轮流服务请求，所述封装发送模块通过将日志封装成合适格式并发送至管理机集群的rsyslog服务，所述发送失败处理模块根据发送结果对日志进行反复发送操作，所述探测模块通过发送探活日志消息确认rsyslog服务是否正常运行。
3.根据权利要求1所述的基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述日志接收与写入文件单元包括日志接收模块、日志写入模块和日志查询模块，所述日志写入模块通过rsyslog服务将原始格式的日志写入管理机本地文件，所述日志查询模块通过日志查询工具按照关键字搜索日志。
4.根据权利要求1所述的基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述格式转
5.基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，采用权利要求1-4任一项所述的加速系统，所述加速方法包括以下几个步骤；
6.根据权利要求5所述的基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，所述第二步中轮询处理的操作具体包括以下几个步骤；
7.根据权利要求5所述的基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，所述第二步中探测操作包括通过节点集群中的业务服务器启动周期探测服务，向管理机集群的rsyslog服务发送探活日志消息来确认服务是否正常运行，所述探活日志消息包括一段测试日志数据，所述探测周期可进行配置。
8.根据权利要求5所述的基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，所述第三步中将管理机上的rsyslog服务接收的日志写入管理机本地文件需要配置合适的日志回滚周期以及压缩策略，所述日志回滚周期通过定期地对日志文件进行切割或回滚，以保持日志文件的可管理性和可读性，所述日志压缩策略对日志文件进行压缩的处理方式节约磁盘空间并方便日后的查看和分析。
9.根据权利要求5所述的基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，所述第四步中通过agent服务转换原始日志信息格式包括定义一种特定的日志格式和结构，并在rsyslog中配置，所述特定的日志格式和结构包括格式化的消息头和一个数据主体，所述消息头包括时间戳、主机名、日志级别、日志来源和进程ID，所述数据主体包括日志内容和日志类别。
10.根据权利要求5所述的基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，所述异常处理方法包括修改rsyslog加载配置的逻辑使其可以热加载配置文件、根据节点集群中业务服务器能处理的qps规划节点集群的规模、针对探测服务结果进行处理和配置适合的主消息队列长度和动作队列的长度以及刷新策略。
...【技术特征摘要】
1.基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述请求加速系统包括日志传输单元、日志接收与写入文件单元、格式转换与上传单元和异常处理单元；
2.根据权利要求1所述的基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述日志传输单元包括轮询处理模块、封装发送模块、发送失败处理模块和探测模块，所述轮询处理模块将可用资源均匀分配到不同的处理器上，并依次轮流服务请求，所述封装发送模块通过将日志封装成合适格式并发送至管理机集群的rsyslog服务，所述发送失败处理模块根据发送结果对日志进行反复发送操作，所述探测模块通过发送探活日志消息确认rsyslog服务是否正常运行。
3.根据权利要求1所述的基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述日志接收与写入文件单元包括日志接收模块、日志写入模块和日志查询模块，所述日志写入模块通过rsyslog服务将原始格式的日志写入管理机本地文件，所述日志查询模块通过日志查询工具按照关键字搜索日志。
4.根据权利要求1所述的基于节点集群日志不写入本地磁盘请求加速系统，其特征在于，所述格式转换与上传单元包括格式转换模块和上传模块，所述格式转换模块通过agent服务来管理rsyslog的配置文件以及上传到日志中心的最终格式所需要的格式和字段，所述上传模块通过配置的后端地址把转换后的日志信息上传到日志采集中心。
5.基于节点集群日志不写入本地磁盘请求加速方法，其特征在于，采用权利要求1-4任一项所述的加速系统，所述加速方法包括以下几个步骤；
6.根据权利要求5所述的基于节点集群日志不写入...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。