【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于数据库异常的自动化日志信息收集方法及系统。
技术介绍
1、数据库作为存储和管理关键业务数据的核心组件，其异常情况可能对整个系统的运行稳定性和数据完整性产生严重影响。
2、随着数据规模的不断扩大以及数据库系统的复杂性增加，传统手动监测和诊断方法变得越来越耗时且容易遗漏异常。自动化日志信息收集技术变得尤为关键，以应对庞大的数据量和复杂的数据库架构。传统手动方式可能无法在异常发生后迅速定位问题，因此需要一种能够实时收集、分析和响应数据库异常的自动化方法，以缩短故障恢复时间。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种基于数据库异常的自动化日志信息收集方法及系统，用于提高基于数据库异常的自动化日志信息收集的效率及准确率。
2、本专利技术提供了一种基于数据库异常的自动化日志信息收集方法，包括：启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，
3、在本专利技术中，所述启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字步骤，包括：对所述数据库集群进行节点分析，得到多个数据采集节点；对每个所述数据采集节点进行数据采集参数配置，得到每个所述数据采集节点的数据采集参数，其中数据采集参数包括：日志级别、日志格式以及收集频率；对所述数据库集群进行操作状态监控，得到操作状态数据；基于所述操作状态数据进行日志异常类型匹配，得到日志异常类型集；根据所述日志异常类型集匹配日志关键信息，并对所述日志关键信息进行日志处理关键词提取，得到日志处理关键词；基于所述日志处理关键词进行日志收集种类分析，得到日志收集种类。
4、在本专利技术中，所述当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集步骤，包括：当检测到所述数据库集群的异常日志关键字集时，对异常日志关键字集中每个异常日志关键字进行时间戳提取，得到多个异常时间戳；基于多个异常时间戳进行异常频率分析，得到异常频率数据；基于多个所述异常时间戳以及所述异常频率数据，对每个所述异常日志关键字进行异常编码分析，得到每个所述异常日志关键字对应的异常事件编码；将多个所述异常时间戳合并为所述异常编码集，同时，将每个所述异常日志关键字对应的异常事件编码合并为所述异常编码集。
5、在本专利技术中，所述根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志步骤，包括：对所述异常编码集以及所述异常时间戳集进行标准化处理，得到标准编码集以及标准时间戳集；对所述标准编码集进行索引构建，得到编码索引表；基于所述标准时间戳以及所述编码索引表创建日志查询语句；基于所述日志查询语句匹配目标异常日志，得到多个目标异常日志。
6、在本专利技术中，所述基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间步骤，包括：对所述异常时间戳中每个异常时间戳进行信息采集时间标定，得到每个所述异常时间戳对应的信息采集起始时间以及信息采集结束时间；根据每个所述异常时间戳的信息采集起始时间以及每个所述异常时间戳的信息采集结束时间生成每个所述异常时间戳的初始采集区间；对每个所述异常时间戳的初始采集区间进行有效区间拆分，得到每个所述异常时间戳对应的有效时间区间；基于每个所述异常时间戳对应的有效时间区间确定每个所述目标异常日志的日志信息采集时间区间。
7、在本专利技术中，所述基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集步骤，包括：基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集；对所述日志信息集进行标识符提取，得到多个日志标识符；对多个所述日志标识符进行重复标识扫描，得到重复标识数据；通过所述重复标识数据对所述日志信息集进行去重处理，得到去重日志信息集。
8、在本专利技术中，所述根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库步骤，包括：对所述去重日志信息集进行语义信息提取，得到语义信息特征；根据所述语义信息特征进行异常模式识别，得到日志异常模式；根据所述日志异常模式进行关联规则挖掘，得到关联规则数据；根据所述关联规则数据生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。
9、本专利技术还提供了一种基于数据库异常的自动化日志信息收集方法系统，包括：
10、启动模块，用于启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字；
11、提取模块，用于当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集；
12、匹配模块，用于根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志；
13、分析模块，用于对多个所述目标异常日志进行日志类型分析，得到异常日志类型集；
14、采集模块，用于基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间；
15、去重模块，用于基于每个所述目标异常日志的日志信息采集时间区间，分别对每个所述目标异常日志进行日志信息采集，得到日志信息集，并对所述日志信息集进行去重处理，得到去重日志信息集；
16、生成模块，用于根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库。
17、本专利技术提供的技术方案中，通过对数据库集群进行节点分析和日志收集参数的精确配置，能够确保从每个数据采集节点中获取到最相关且最准确的日志信息。这一过程的个性化配置，包括日志级别、格式以及收集频率的设定，使得日志收集工作既全面又高效，减少了不必要的数据噪声，确保了后续分析的质量基础。其次，通过对操作状态数据进行日志异常类型匹配，以及进一步的日志关键信息提取和日志收集种类分析，提高了日志信息收集的针对性和有效性。这不仅大大缩减了处理和分析的数据量，而且通过识别出特定的异常模式和关键词，为精确定位问题和快速响本文档来自技高网...
【技术保护点】
1.一种基于数据库异常的自动化日志信息收集方法，其特征在于，包括：
2.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字步骤，包括：
3.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集步骤，包括：
4.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志步骤，包括：
5.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述基于所述异常时间戳集确定每个所述目标异常日志的日志信息采集时间区间步骤，包括：
6.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述基于每个所述目标异常日志的日志信息采集时间区间，分别
7.根据权利要求6所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述根据所述去重日志信息集生成异常处理策略，并将所述异常处理策略传输至预置的经验文档数据库步骤，包括：
8.一种基于数据库异常的自动化日志信息收集方法系统，用以执行如权利要求1至7任一项所述的基于数据库异常的自动化日志信息收集方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于数据库异常的自动化日志信息收集方法，其特征在于，包括：
2.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述启动对数据库集群的日志信息收集服务，提取日志异常类型集，并根据所述日志异常类型集匹配日志收集种类以及日志处理关键字步骤，包括：
3.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述当检测到所述数据库集群的异常日志关键字集时，提取与所述异常日志关键字集对应的异常编码集以及异常时间戳集步骤，包括：
4.根据权利要求1所述的基于数据库异常的自动化日志信息收集方法，其特征在于，所述根据所述异常编码集以及所述异常时间戳集匹配目标异常日志，得到多个目标异常日志步骤，包括：
5.根据权利要求1所述的基于数据库异常的自...
【专利技术属性】
技术研发人员：张未，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。