一种管理日志的方法及系统技术方案

本发明专利技术实施例提供一种管理日志的方法和系统，该方法包括：管理系统将具有同一关键字段的原始日志记录映射成一条合并记录作为搜索数据源；当管理系统接收到用户的查询条件时，根据所述查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，并根据所述合并记录获取与所述查询条件对应的原始日志记录。利用该方法可以解决现有技术查询结果模糊的技术问题，以实现快速、精确的日志搜索，提高系统工作性能。

【技术实现步骤摘要】

本专利技术涉及信息安全领域，尤其涉及一种管理日志的方法及系统。
技术介绍
随着电子商务的应用，产生了大量的业务信息，需要大量的安全系统来保证业务信息的安全。而安全系统的部署将产生了大量的日志信息，这其中不仅有数据库中的关系型信息，而且还有大量的非结构化的日志文件。大量的信息资源分散在各处，按照不同的分类、格式存放，而且受到不同的安全机制所控制管理。因此，审计部门对日志信息的搜索是安全审计的重要手段。现有的大部分审计系统是利用数据库技术，把日志导入数据库，然后利用结构化查询语言(Structured Query Language，SQL)查询。利用数据库技术，可以对大部分日志数据进行查询，并导出结果，在数据量不大的情况下，是常用的查询手段。专利技术人在使用数据库查询技术的过程中发现，数据库SQL查询是基于字符串匹配，需要对查询字段进行彻底对比，导致查询效率极低，对于TB(Tera Bytes，兆兆字节)级数据的查询需要小时级的时间。数据库查询返回大量的数据，但没有按照一定的规律排序，对审计人员来说，大量无规律的结果很难找到最符合条件的记录。再则，数据库查询必须明确知道表结构，要求维护人员掌握一定的数据库知识，按照一定的语法查询，这对安全审计人员来说，查询条件太复杂，效率低下，消耗的资源将越多。数据查询的另一技术就是搜索引擎技术，提高了查询速度，适用于大量数据的快速、模糊查询，主要应用在网站搜索方面，支持大量的用户频繁查询。专利技术人在实施过程中发现，搜索引擎技术搜索出来的结果比较模糊，夹杂了很多干扰信息，不利于安全审计的日志搜索。
技术实现思路
本专利技术的实施例的目的在于，提供一种管理日志的方法及系统，可以实现精确查询，提高查询效率。为了解决上述技术问题，本专利技术的实施例提供了一种管理日志的方法，该方法包括管理系统将具有同一关键字段的原始日志记录映射成一条合并记录作为搜索数据源；当管理系统接收到用户的查询条件时，根据所述查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，并根据所述合并记录获取与所述查询条件对应的原始日志记录。相应地，本专利技术的实施例还提供了一种日志管理系统，包括日志搜集预处理模块用于搜集原始日志记录，并把具有同一关键字段的原始日志记录映射成一条合并记录，作为搜索数据源保存到数据库中；搜索处理模块用于根据用户的查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，并根据所述合并记录获取与所述查询条件对应的原始日志记录。其中，所述系统还包括索引文件产生模块与日志搜集预处理模块和搜索处理模块耦接，用于根据所述搜索数据源产生索引文件。实施本专利技术，具有如下有益效果在本专利技术的实施例提供的一种管理日志的方法及系统的技术方案中，通过数据库映射将具有同一关键字段的原始日志记录映射成一条合并记录，然后经过搜索处理单元一次查询得到合并记录，将该记录拆分成多条原始记录，再经过第二次查询处理，过滤掉不符合条件的原始日志记录，得到需要原始日志记录，这样提高了查询的精度。另外，将多条具有相同关键字的原始日志记录映射成一条合并记录，并以该合并记录为索引单元创建索引文件，减少了索引记录，也即节约了大量索引空间，也减少了处理次数，可以显著提高处理速度，解决了数据库查询技术中查询速度慢的技术问题，同时，降低了部署成本，提高了系统性能。附图说明图1是本专利技术实施例的一种日志管理系统实施例的结构示意图；图2是本专利技术实施例的一种日志管理系统的优选实施例的结构示意图；图3是本专利技术实施例的一种管理日志的方法的主要流程图；图4是图3中步骤S21的具体流程图；图5是本专利技术实施例中生成索引文件的步骤的具体流程图；图6是图3步骤S22的具体流程图。具体实施例方式在本专利技术的实施例提供的一种管理日志的方法及系统的技术方案中，通过数据库映射将具有同一关键字段的原始日志记录映射成一条合并记录，然后经过搜索处理单元一次查询得到合并记录，将该记录拆分成多条原始记录，再经过第二次查询处理，过滤掉不符合条件的原始日志记录，得到需要的原始日志记录。下面结合附图，具体阐述本专利技术具体实施例的技术方案。参考图1，是本专利技术实施例的一种日志管理系统实施例的结构示意图。由该图可知，该日志管理系统包括日志搜集预处理模块1用于搜集原始日志记录，并把具有同一关键字段(如时间字段)的原始日志记录映射成一条合并记录，作为搜索数据源保存到数据库中；搜索处理模块3用于根据用户的查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，并根据所述合并记录获取与所述查询条件对应的原始日志记录，返回给用户端4。为了进一步阐述本专利技术实施例的具体技术方案，下面给出了一种日志管理系统的一个优选实施例。参考图2，图示了本专利技术实施例的一种日志管理系统的优选实施例的结构示意图。该日志管理系统包括日志搜集预处理模块1和搜索处理模块3，其中所述系统还包括，索引文件产生模块2与日志搜集预处理模块1和搜索处理模块3耦接，用于根据所述搜索数据源产生索引文件。其中，日志搜集预处理模块1包括 日志搜集代理101用于定期搜集新产生的原始日志，并进行转码处理，转换成统一的数据格式；合并记录单元102与日志搜集代理101耦接，用于将经转码处理后的具有同一关键字段的原始日志记录映射成一条合并记录，作为搜索数据源保存到数据库103中。在上述实施例中，如图2所示，索引文件产生模块2包括爬虫处理单元201从数据库103中获取合并记录信息，并保存到专用数据库204中；解析处理单元202与爬虫处理单元201耦接，用于对所述合并记录信息进行解析处理，并保存到临时文件中，同时清除专用数据库204的数据；索引创建单元203与解析处理单元202耦接，用于对所述合并记录信息进行分词处理，然后对分词处理后的内容进行统计，以合并记录为索引单元创建索引文件。搜索处理模块3包括查询单元301用于从所述索引文件中提取与用户输入的查询条件相对应的合并记录；记录拆分单元302与所述查询单元301耦接，用于对合并记录进行拆分处理，还原成多条原始记录；过滤单元303与记录拆分单元302耦接，用于从所述多条原始记录中提取与所述查询条件对应的原始记录，返回给用户端4。上面具体阐述了本专利技术实施例的一种日志管理系统的具体技术方案，下面结合附图，进一步阐述本专利技术实施例的一种搜索日志的方法的具体技术方案。参考图3，是本专利技术实施例的一种管理日志的方法的主要流程图，该方法包括步骤S21，管理系统将具有同一关键字段的原始日志记录映射成一条合并记录作为搜索数据源；步骤S22，当管理系统接收到用户的查询条件时，根据所述查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，并根据所述合并记录获取与所述查询条件对应的原始日志记录。如图4所示，步骤S21具体包括 步骤S211，日志搜集代理定期搜集新产生的原始日志，并进行转码处理，具体为在各种日志源上部署日志搜集代理(Agent)，负责搜集新产生的日志，为了方便用户搜索时能够按照时间段查询，将所有日志的时间转换成统一的格式。步骤S212，日志搜集代理将经过转码处理后的原始日志以单条记录的形式保存到原始记录表中，具体为日志搜集代理把原始日志记录传输到合并记录单元的专用日志数据库(LogDB)中，如表1所示，原始日志以单条本文档来自技高网...

【技术保护点】
一种管理日志的方法，其特征在于，该方法包括：管理系统将具有同一关键字段的原始日志记录映射成一条合并记录作为搜索数据源；当管理系统接收到用户的查询条件时，根据所述查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录， 根据所述合并记录获取与所述查询条件对应的原始日志记录。

【技术特征摘要】

【专利技术属性】
技术研发人员：高献伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：94[中国|深圳]