慢查询统计分析方法、装置和系统制造方法及图纸

技术编号:26376256 阅读:20 留言:0更新日期:2020-11-19 23:44
本发明专利技术涉及一种慢查询统计分析方法、装置和系统,利用预先构建的数据采集服务实时获取慢查询日志;对慢查询日志进行日志清洗,得到当前原始数据;将当前原始数据合并到原始数据集合中;根据前端设备发送的查询类型,对原始数据集合进行查询,确定目标明细数据;对目标明细数据进行分析,确定慢查询分析信息;将目标明细数据和慢查询分析信息发送到终端设备,以使终端设备输出目标明细数据和慢查询分析信息。采用本发明专利技术的技术方案,能够通过预设的数据采集服务实时获取慢查询日志,提高了慢查询分析的实时性,并且无需再登录到数据库服务器上拷贝慢查询日志,避免对数据的性能造成影响,不会暴露服务器的访问权限,提高了服务器的安全性。

【技术实现步骤摘要】
慢查询统计分析方法、装置和系统
本专利技术涉及数据处理
,具体涉及一种慢查询统计分析方法、装置和系统。
技术介绍
慢查询是超过指定时间的SQL语句查询,慢查询日志则是记录执行超过指定时间的SQL语句的日志。现如今,快递公司的业务量逐步增长,数据库的数据量也越来越多,及时了解影响系统性能的慢查询能够更加及时解决系统的性能问题,提高对数据库的维护效率。但是,传统的数据库慢查询日志分析均是在安装数据库的服务器上将慢查询日志拷贝到临时目录,通过服务器上安装的插件对该日志进行分析,该方法只能对历史的慢查询分析,实时性较差,并且每次都需要登录到安装数据库的服务器上进行操作,不仅对数据的性能会造成影响,服务器的安全性也无法得到保障。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种慢查询统计分析方法、装置和系统,以解决现有技术中只能对历史的慢查询分析,实时性较差,并且每次都需要登录到安装数据库的服务器上进行操作,不仅对数据的性能会造成影响,服务器的安全性也无法得到保障的问题。为实现以上目的,本专利技术采用如下技术本文档来自技高网...

【技术保护点】
1.一种慢查询统计分析方法,其特征在于,包括:/n利用预先构建的数据采集服务实时获取慢查询日志;/n对所述慢查询日志进行日志清洗,得到当前原始数据;/n将所述当前原始数据合并到原始数据集合中,得到更新后的所述原始数据集合;/n获取前端设备发送的查询类型;/n根据所述查询类型,对所述原始数据集合进行查询,确定目标明细数据;/n对所述目标明细数据进行分析,确定慢查询分析信息;/n将所述目标明细数据和所述慢查询分析信息发送到终端设备,以使所述终端设备输出所述目标明细数据和所述慢查询分析信息。/n

【技术特征摘要】
1.一种慢查询统计分析方法,其特征在于,包括:
利用预先构建的数据采集服务实时获取慢查询日志;
对所述慢查询日志进行日志清洗,得到当前原始数据;
将所述当前原始数据合并到原始数据集合中,得到更新后的所述原始数据集合;
获取前端设备发送的查询类型;
根据所述查询类型,对所述原始数据集合进行查询,确定目标明细数据;
对所述目标明细数据进行分析,确定慢查询分析信息;
将所述目标明细数据和所述慢查询分析信息发送到终端设备,以使所述终端设备输出所述目标明细数据和所述慢查询分析信息。


2.根据权利要求1所述的慢查询统计分析方法,其特征在于,所述对所述慢查询日志进行日志清洗,得到当前原始数据之前,还包括:
将所述慢查询日志存储到预设的消息队列中间件中;
对应地,所述对所述慢查询日志进行日志清洗,得到当前原始数据,包括:
对所述消息队列中间件中的所述慢查询日志进行日志清洗,得到所述当前原始数据。


3.根据权利要求1所述的慢查询统计分析方法,其特征在于,所述根据所述查询类型,对所述原始数据集合进行查询,确定目标明细数据,包括:
若所述查询类型表示全部查询,将所述原始数据集合中的所有数据作为目标明细数据;
若所述查询类型表示自定义查询,将所述原始数据集合发送到预先构建的分布式搜索引擎中;
根据所述查询类型携带的自定义查询信息,利用所述分布式搜索引擎对所述原始数据集合进行搜索,得到与所述自定义查询信息匹配的自定义数据作为所述目标明细数据。


4.根据权利要求3所述的慢查询统计分析方法,其特征在于,所述将所述原始数据集合发送到预先构建的分布式搜索引擎中之前,还包括:
获取前端设备发送的自定义匹配规则;
根据所述自定义匹配规则,构建所述分布式搜索引擎,并确定所述自定义匹配规则对应的自定义输入界面信息;
将所述自定义输入界面信息发送给所述前端设备,以使所述前端设备根据所述自定义输入界面信息显示自定义输入界面,获取用户按照所述自定义输入界面输入的所述自定义查询信息。


5.根据权利要求1所述的慢查询统计分析方法,其特征在于,还包括:
检测所述原始数据集合的统计数值是否超出预设慢查询承受范围;
若所述原始数据集合的统计数值超出所述预设慢查询...

【专利技术属性】
技术研发人员:陈建华
申请(专利权)人:上海中通吉网络技术有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1