【技术实现步骤摘要】
一种日志的接收与处理方法、装置、电子设备和存储介质
[0001]本申请涉及数据处理
，尤其涉及一种日志的接收与处理方法、装置、电子设备和存储介质。
技术介绍
[0002]在资源受限环境下(例如，内存和cpu有限)，单台设备一般需要接收来自多个防火墙的大量日志，通常情况下，所接收的日志的数据量大约是10w条/秒；另外，在接收日志的同时，一般还需要对所接收的日志实现存储、统计、分析和管理等功能，因此对日志处理方法的性能和可靠性有极高的要求。
[0003]在对日志进行处理时，一般需要根据自定义策略为每条日志实时计算并打上多个标签。另外，由于流量审计、资产管理和安全管理等各种需求，还需要判断某条日志是否是内网、是否为内部资产等；而且，伴随着日志系统所接入的防火墙设备的数量和型号的不断增加，对日志系统还将有更高的性能要求。例如，首先需要可以在一秒内接收10w条日志的大数据量，其次需要在短时间内处理、统计所接收的日志，最后还要将每秒就增加10w条的大数据量快速地写入数据库中。
[0004]另外，在在对日志进行处理时...
【技术保护点】
【技术特征摘要】
1.一种日志的接收与处理方法，其特征在于，该方法包括：接收日志并将接收到的日志缓存在预设的缓存区中；从缓存区中读取日志，并对读取出的日志进行解析；根据日志的类型对解析后的日志进行富化，在解析后的日志中增加所需的与日志关联的信息；对富化后的日志进行过滤，对日志中的相应字段进行抽取和转换；将过滤处理后的日志存储到预设的数据库中。2.根据权利要求1所述的方法，其特征在于，所述对读取出的日志进行解析包括：从读取出的日志中提取关键字段；将读取出的日志转换成预设的日志格式。3.根据权利要求2所述的方法，其特征在于，所述从读取出的日志中提取关键字段包括：从预设的配置文件中读取提取策略，并根据所述提取策略从读取出的日志中提取相应的关键字段。4.根据权利要求1所述的方法，其特征在于，所述对解析后的日志进行富化包括：对解析后的日志中需要翻译的字段进行翻译；对解析后的日志中需要关联的字段进行关联。5.根据权利要求4所述的方法，其特征在于，该方法还进一步包括：从预设的配置文件中读取富化策略；根据所述富化策略，提取日志中的接口字段；根据所述接口字段获取发送日志的服务器的接口，并判断所述服务器的接口是否为标准的接口。6.根据权利要求5所述的方法，其特征在于，该方法还进一步包括：根据富化策略以及日志的威胁类型，从外部数据库获取日志的资产。7.根据权利要求1所述的方法，其特征在于，所述对富化后的日志进行过滤，对日志中的相应字段进行抽取和转换包括：从预设的配置文件中读取过滤策略；根据所述过滤策略对富化后的日志进行过滤，对日志中的相应字段进行抽取和转换，形成原始数据表和/或统计表。8.根据权利要求7所述的方法，其特征在于，所述对日志中的相应字段进行抽取和转换包括：根据过滤策略从富化后的日志中提取相应的字段，并将所提取的字段转换成预设的格式。9.根据权利要求1所述的方法，其特征在于，所述将过滤处理后的日志存储到预设的数据库中包括：将过滤处理后的日志发送给写入器，以使写入器将接收到的日志存储到预设的数据库中。10.根据权利要求9所述的方法，其特征在于，该方法还进一步包括：为每一个写入器设置一个缓存区以及一个对应的执行器，其中，所述写入器用于将过
滤处理后的日志缓存在缓存区中，所述写入器对应的执行器用于将缓存在缓存区中的日志读取出来，并存储至预设的数据库中。11.根据权...
【专利技术属性】
技术研发人员：罗盼，杨涛，左文建，林元彬，
申请(专利权)人：网神信息技术北京股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。