日志处理方法、装置及大数据集群制造方法及图纸

本发明专利技术提供一种日志处理方法、装置及大数据集群，涉及计算机数据处理技术领域。该方法通过在Slave主机上预先开启服务端口，且在Slave主机上预先安装用于监听服务端口和解析本地服务日志的Slave组件，然后利用Slave组件监听指定的服务端口，以确定是否有用户终端对本地的资源进行访问，在用户终端访问本地的资源的过程中，获取并解析对应的服务日志，从而针对大数据集群中各主机，实现对用户终端的访问行为、主机的响应行为的分布式追踪定位。

【技术实现步骤摘要】
日志处理方法、装置及大数据集群
本专利技术涉及计算机数据处理
，具体而言，涉及一种日志处理方法、装置及大数据集群。
技术介绍
大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。当前，主机设备日志的处理，便为大数据处理的一个分支。现有技术中，用户可以利用相应的数据处理工具，实现日志获取与处理，而当前的数据处理工具无法便捷地对主机日志进行获取与追踪。例如，对于Logstash数据处理工具，现有技术中Logstash采用C/S架构，需要在Client节点上安装Logstash，针对未安装Logstash的Client节点的日志无法搜集，且安装有Logstash的Client节点的日志需要在Server节点上进行集中处理，不能实现对各Client节点的日志的分布式追踪定位。随着大数据集群主机规模增大，待处理日志的数据量也越来越大，集中式处理的方式对Server节点设备性能要求高。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提供一种日志处理方法、装置及大数据集群。为了实现上述目的，本专利技术实施例所提供的技术方案如下所示：第一方面，本专利技术实施例提供一种日志处理方法，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述方法包括：监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。可选地，上述第一服务日志至少包括以下信息中的任意一种：请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。可选地，上述根据预设解析规则对所述第一服务日志进行解析的步骤包括：根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。可选地，上述方法还包括:判断所述错误级别是否超出预设告警级别；若判定所述错误级别超出所述预设告警级别，则向预设用户终端发出错误告警。可选地，上述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述方法还包括：接收所述第三方平台发送的第二服务日志；根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。第二方面，本专利技术实施例提供一种日志处理装置，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述装置包括：监听单元，用于监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；日志获取单元，用于在判定有所述用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；解析存储单元，用于根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。可选地，上述第一服务日志至少包括以下信息中的任意一种：请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。可选地，上述解析存储单元用于：根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。可选地，上述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述装置还包括接收单元；所述接收单元，用于接收所述第三方平台发送的第二服务日志；所述解析存储单元，还用于根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。第三方面，本专利技术实施例提供一种大数据集群，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件；所述Slave主机监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。可选地，上述Master主机开启有用于与第三方平台通信连接的接收端口；所述Master主机，接收所述第三方平台发送的第二服务日志；根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。相对于现有技术而言，本专利技术提供的日志处理方法、装置及大数据集群至少具有以下有益效果：该方法通过Slave主机预先开启服务端口，且Slave主机预先安装用于监听服务端口和解析本地服务日志的Slave组件，然后利用Slave组件监听服务端口，以确定是否有用户终端对本地的资源进行访问，在用户终端访问本地的资源的过程中，获取并解析对应的服务日志，从而针对大数据集群中各主机，实现对用户终端的访问行为、主机的响应行为的分布式追踪定位。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举本专利技术实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的大数据集群的方框示意图。图2为本专利技术实施例提供的大数据集群中的主机的方框示意图。图3为本专利技术实施例提供的日志处理方法的流程示意图之一。图4为本专利技术实施例提供的日志处理方法的流程示意图之二。图5为本专利技术实施例提供的日志处理装置的方框示意图。图标：10-大数据集群；11-主机；111-处理器；112-通信模块；113-存储器；100-日志处理装置；110-监听单元；120-日志获取单元；130-解析存储单元。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述方法包括：监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。

【技术特征摘要】
1.一种日志处理方法，其特征在于，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述方法包括：监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。2.根据权利要求1所述的方法，其特征在于，所述第一服务日志至少包括以下信息中的任意一种：请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。3.根据权利要求1或2所述的方法，其特征在于，所述根据预设解析规则对所述第一服务日志进行解析的步骤包括：根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。4.根据权利要求2所述的方法，其特征在于，所述方法还包括:判断所述错误级别是否超出预设告警级别；若判定所述错误级别超出所述预设告警级别，则向预设用户终端发出错误告警。5.根据权利要求1所述的方法，其特征在于，所述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述方法还包括：接收所述第三方平台发送的第二服务日志；根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。6.一种日志处理装置，其特征在于，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述装置包括：监听单元，用于监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口...

【专利技术属性】
技术研发人员：王亚亮，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41