一种大数据平台的日志接入解析方法和系统技术方案

本发明专利技术提供了一种大数据平台日志接入解析方法和系统，应用于大数据平台，包括：接收日志发送设备发送的日志信息，并确认日志发送设备的设备属性，设备属性包括：原始日志设备和/或日志存储服务器，原始日志设备为产生日志的设备，日志存储服务器为对日志进行转发的服务器；根据属性信息确定日志信息的处理方式；按照处理方式对日志信息进行处理，得到处理结果，并将处理结果存储在数据库中；其中，处理结果中包括：原始日志设备的IP、原始日志信息。本发明专利技术所提供的大数据平台日志接入解析方法和系统能够确保接入日志信息的完整性。

【技术实现步骤摘要】
一种大数据平台的日志接入解析方法和系统
本专利技术涉及大数据分析的
，尤其是涉及一种大数据平台的日志接入解析方法和系统。
技术介绍
随着信息技术的不断进步和发展，各领域业务的增长，IT信息安全领域面临更为复杂的风险。随着网络信息化的推进，日志审计、大数据分析等技术也就应运而生。在信息化时代，每个组织每个部门都会部署大量的IT设备。每种IT设备都会产生大量不同的日志，通过这些日志进行日志审计分析，大数据平台智能分析，可以挖掘出更多更深层次的数据。日常应用中，日志至关重要，例如，可以根据日志排查问题。但是日志并不是简单的接入就可以用来排查问题，如何对日志数据进行接入，如何进行分析是一个需要解决的问题。当前大部分组织都部署了各类IT设备，而且很多组织部署了日志存储服务器。大数据分析平台在进行日志分析时，可以对日志存储服务器所转发的日志进行分析。但是，现在大部分大数据分析平台产品都不能保证接收来自于日志存储服务器转发的日志数据的准确性和完整性，日志存储服务器转发的日志数据中有的缺少原始日志设备信息，有的破坏原始日志信息。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种大数据平台日志接本文档来自技高网...

【技术保护点】
1.一种大数据平台日志接入解析方法，其特征在于，应用于大数据平台，包括：接收日志发送设备发送的日志信息，并确认所述日志发送设备的设备属性信息，所述设备属性信息包括：原始日志设备和/或日志存储服务器，所述原始日志设备为产生日志的设备，所述日志存储服务器为对日志进行转发的服务器；根据所述属性信息确定所述日志信息的处理方式；按照所述处理方式对所述日志信息进行处理，得到处理结果，并将所述处理结果存储在数据库中；其中，所述处理结果中包括：原始日志设备信息字段和/或原始日志信息字段。

【技术特征摘要】
1.一种大数据平台日志接入解析方法，其特征在于，应用于大数据平台，包括：接收日志发送设备发送的日志信息，并确认所述日志发送设备的设备属性信息，所述设备属性信息包括：原始日志设备和/或日志存储服务器，所述原始日志设备为产生日志的设备，所述日志存储服务器为对日志进行转发的服务器；根据所述属性信息确定所述日志信息的处理方式；按照所述处理方式对所述日志信息进行处理，得到处理结果，并将所述处理结果存储在数据库中；其中，所述处理结果中包括：原始日志设备信息字段和/或原始日志信息字段。2.根据权利要求1所述的方法，其特征在于，所述设备属性为原始日志设备时，按照所述处理方式对所述日志信息进行处理包括：通过所述原始日志设备IP对所述日志发送设备进行标记；在对所述日志发送设备进行标记之后，根据日志解析规则列表对所述日志信息进行解析，得到解析结果，其中，所述解析结果包括：所述原始日志设备信息字段和/或所述原始日志信息字段。3.根据权利要求2所述的方法，其特征在于，所述原始日志设备包括以下至少之一：搭载目标系统的日志设备，网络设备，Web服务器，其中，所述目标系统包括以下至少之一：目标操作系统、入侵检测系统、入侵防护系统、防病毒系统、抗DoS系统。4.根据权利要求1所述的方法，其特征在于，所述设备属性为日志存储服务器时，按照所述处理方式对所述日志信息进行处理包括：通过所述日志存储服务器的IP在所述大数据平台中对所述日志发送设备进行标记；在对日志发送设备进行标记之后，对所述日志存储服务器转发的日志信息添加标记信息，其中，所述标记信息表示所述日志信息为所述日志存储服务器所转发的日志信息；在对所述日志信息进行标记之后，将所述日志信息中的源设备信息确定为所述原始日志设备信息字段，将所述日志信息中的原始日志信息确定为原始日志信息字段。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对所述原始日志设备信息字段和所述原始日志信息字段进行转换处理，得到目标结构体数据。6.根据权利要求5所述的方法，其特征在于，对所述原始日志设备信息...

【专利技术属性】
技术研发人员：周刚涛，范渊，刘博，龙文洁，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江,33