【技术实现步骤摘要】
本专利技术属于慢日志采集，具体为一种sql server慢日志实时采集保存系统及方法。
技术介绍
1、慢日志是一种记录数据库中执行时间较长的操作的日志文件；在数据库系统中，慢查询通常指执行时间超过预设阈值的查询操作。
2、sql server慢日志采集技术是一种常用的数据库性能分析方法，可以帮助dba或开发人员发现sql server数据库中慢查询操作和瓶颈问题。
3、现有的sql server慢日志采集技术具有以下不足：现有的sql server慢日志采集技术包括有redgate sql monitor，该采集技术的后端数据采集、存储和分析可能采用了特定的技术架构，这种架构可能不支持用户自定义的统计和分析逻辑，此外，为了确保软件的稳定性和性能，软件提供商可能也会对后端数据处理流程进行严格的控制和优化，从而导致后端数据采集、存储、分析不透明，不能根据后端数据进行个性化的统计、分析，极大了影响了用户体验，因此，需要对其进行改进。
技术实现思路
1、本专利技术的目的在于提供一种sql server慢日志实时采集保存系统及方法，以解决上述
技术介绍
中提出的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：一种sql server慢日志实时采集保存系统，包括：sql server、python和mysql，python用于读取数据进行解析；
3、python的输入端与sql server连接，包括有实时解析上报服务；
4、m
5、实时解析上报服务实现sql server扩展事件文件读取，并将读取中的慢日志字段进行解析，进行全量或者增量的数据读取并保存到mysql中。
6、优选地，sql server包括有：扩展事件组件和慢日志文件，扩展事件组件通过慢日志文件对sql server的内容进行储存。
7、优选地，实时解析上报服务读取有记录时，全量读取日志文件后进行解析，将解析后的数据保存到mysql，并读取最新慢日志文件，使上次采集文件等于最新文件。
8、优选地，python对采集文件进行分析，上次采集文件不等于最新文件时，全量读取最新日志文件并解析日志位置，将解析后的数据保存到mysql。
9、优选地，实时解析上报服务读取无记录时，增量读取日志文件后进行解析，将解析后的数据保存到mysql，并记录日志文件名称、偏移位置。
10、优选地，python通过实时解析上报服务读取文件并解析慢日志数据，实现全量或者增量的数据采集。
11、优选地，mysql对收集到的数据进行分析、统计，python通过编写脚本解析慢日志并保存到mysql中。
12、本专利技术的有益效果如下：
13、1、本专利技术通过对sql server慢日志实时采集保存后，编写python脚本读取最新慢日志文件名，解析慢日志数据，全量、增量保存慢日志数据到mysql中，从而提升效率，降低直接查询慢日志文件分析对线上实例的资源占用。
14、2、本专利技术通过将数据存储到关系型数据库mysql中，更方便对慢日志数据进行分析，统计，也方便在此基础上开发相关系统产品。
15、3、本专利技术通过编写python脚本方便多个实例的慢日志集中存储，比对分析。
本文档来自技高网...【技术保护点】
1.一种SQL Server慢日志实时采集保存系统，其特征在于，系统包括：SQL Server、python和MySQL，所述python用于读取数据进行解析；
2.根据权利要求1所述的一种SQL Server慢日志实时采集保存系统，其特征在于：所述SQL Server包括有：扩展事件组件和慢日志文件，所述扩展事件组件通过慢日志文件对SQLServer的内容进行储存。
3.根据权利要求2所述的一种SQL Server慢日志实时采集保存系统，其特征在于：所述实时解析上报服务读取有记录时，全量读取日志文件后进行解析，将解析后的数据保存到MySQL，并读取最新慢日志文件，使上次采集文件等于最新文件。
4.根据权利要求3所述的一种SQL Server慢日志实时采集保存系统，其特征在于：所述python对采集文件进行分析，上次采集文件不等于最新文件时，全量读取最新日志文件并解析日志位置，将解析后的数据保存到MySQL。
5.根据权利要求4所述的一种SQL Server慢日志实时采集保存系统，其特征在于：所述实时解析上报服务读取无记录时，增量读
6.根据权利要求5所述的一种SQL Server慢日志实时采集保存系统，其特征在于：所述python通过实时解析上报服务读取文件并解析慢日志数据，实现全量或者增量的数据采集。
7.根据权利要求6所述的一种SQL Server慢日志实时采集保存系统，其特征在于：所述MySQL对收集到的数据进行分析、统计，所述python通过编写脚本解析慢日志并保存到MySQL中。
8.基于权利要求1-7任一所述SQL Server慢日志实时采集保存系统的方法，其特征在于，方法包括以下步骤：
...【技术特征摘要】
1.一种sql server慢日志实时采集保存系统，其特征在于，系统包括：sql server、python和mysql，所述python用于读取数据进行解析；
2.根据权利要求1所述的一种sql server慢日志实时采集保存系统，其特征在于：所述sql server包括有：扩展事件组件和慢日志文件，所述扩展事件组件通过慢日志文件对sqlserver的内容进行储存。
3.根据权利要求2所述的一种sql server慢日志实时采集保存系统，其特征在于：所述实时解析上报服务读取有记录时，全量读取日志文件后进行解析，将解析后的数据保存到mysql，并读取最新慢日志文件，使上次采集文件等于最新文件。
4.根据权利要求3所述的一种sql server慢日志实时采集保存系统，其特征在于：所述python对采集文件进行分析，上次采集文件不等于最新文件时，全量读取...
【专利技术属性】
技术研发人员：李欣，
申请(专利权)人：海南车智易通信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。