【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其涉及一种数据异常监控和自动分析处理的方法、装置及设备。
技术介绍
1、现有对数据库运行监控的方式比较单一，一般仅短信监控，且内容太少，无法获知脚本详细运行报错情况；
2、当出现异常时，人工分析异常处理耗时长、效率低，易导致数据发布时间延长风险。
技术实现思路
1、本专利技术提供了一种数据异常监控和自动分析处理的方法、装置及设备，解决了人工分析异常处理耗时长、效率低等问题。
2、一种数据异常监控和自动分析处理的方法，包括：
3、获取原始数据库的运行日志，对所述运行日志进行远程监控；
4、对所述运行日志进行异常分析，并将异常信息推送至告警模块；
5、基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；
6、根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。
7、在本专利技术的一种实施例中，所述获取原始数据库的运行日志，具体包括：配置数据库中的日志记录参数，基于所述数据库的日志模块收集并存储数据库自身的运行日志；将所述运行日志传输到远程监控模块，并对所述运行日志进行etl处理，根据处理后的数据进行分析和监控；对所述运行日志进行定期备份，以防止数据丢失。
8、在本专利技术的一种实施例中，所述对所述运行日志进行异常分析，并将异常信息推送至告警模块，具体包括：对收集到的运行日志进行清洗、整理，统一数据格式；对预处理后的运行日志进
9、在本专利技术的一种实施例中，所述基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果，具体包括：将接收到的告警信息与已知的异常类型和历史数据信息进行比对和分析；基于对比和分析的结果，调用专家系统或知识库来获取针对异常的解决方案；根据比对分析结果和解决方案，生成针对该异常的分析报告。
10、在本专利技术的一种实施例中，所述根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布，具体包括：根据分析结果确定要采取的处理措施，基于处理措施的处理将数据进行更新；将更新后的数据重新发布到数据库中；在数据发布后，继续监控数据库的运行状况，验证异常是否已被解决；若已得到解决，则记录处理流程到知识库中。
11、在本专利技术的一种实施例中，所述获取原始数据库的运行日志，具体包括：对informix数据库中的数据进行提取转换加载etl处理，生成文本文件；当对informix数据库连接或查询时间过长时，关闭对应etl进程后使用备份数据替换处理；将所述文本文件和所述备份数据进行etl处理，将处理后的数据存储到oracle数据库中；获取上述etl处理过程中的运行日志。
12、在本专利技术的一种实施例中，所述对informix数据库中的数据进行提取转换加载etl处理，生成文本文件，具体包括：连接到informix数据库，编写sql查询语句，从相关的表中提取需要的数据；对提取的数据进行转换，以满足特定的要求；将转换后的数据加载到文本文件中。
13、一种数据异常监控和自动分析处理的装置，包括：
14、日志监控模块，用于获取原始数据库的运行日志，对所述运行日志进行远程监控；
15、日志分析模块，用于对所述运行日志进行异常分析，并将异常信息推送至告警模块；
16、异常处理模块，用于基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果；
17、数据发布模块，用于根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布。
18、一种数据异常监控和自动分析处理的设备，包括：
19、至少一个处理器；以及，
20、与所述至少一个处理器通过总线通信连接的存储器；其中，
21、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行，以实现如上述各实施例任一项所述的方法。
22、一种非易失性存储介质，存储有计算机可执行指令，所述计算机可执行指令由处理器执行，以实现如上述各实施例任一项所述的方法。
23、本专利技术提供了一种数据异常监控和自动分析处理的方法、装置及设备，至少包括以下有益效果：
24、一、通过邮件、手机app监控报表，使用短信+邮件+手机app三重监控，监控内容更详细、更快捷，可以远程分析异常原因，还可以通过手机app远程调用异常处理流程，大幅降低运维成本；
25、二、通过自动分析处理模块，常见etl源数据系统查询报错情况可以实现自动分析、自动替换处理，并反馈处理结果，大幅降低人工运维次数和成本，减少数据发布时间延长的风险。
本文档来自技高网...【技术保护点】
1.一种数据异常监控和自动分析处理的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取原始数据库的运行日志，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述运行日志进行异常分析，并将异常信息推送至告警模块，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布，具体包括：
6.根据权利要求1所述的方法，其特征在于，所述获取原始数据库的运行日志，具体包括：
7.根据权利要求6所述的方法，其特征在于，所述对Informix数据库中的数据进行提取转换加载ETL处理，生成文本文件，具体包括：
8.一种数据异常监控和自动分析处理的装置，其特征在于，包括：
9.一种数据异常监控和自动分析处理的设备，其特征在于，包括：
10.一种非易失性存储介质，
...【技术特征摘要】
1.一种数据异常监控和自动分析处理的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取原始数据库的运行日志，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述运行日志进行异常分析，并将异常信息推送至告警模块，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述告警模块中的告警信息对异常信息进行分析，获取对异常信息的分析结果，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述分析结果对异常信息进行处理，将处理后的结果重新进行数据发布...
【专利技术属性】
技术研发人员：刘俊，王林林，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。