一种多维度的综合数据库SQL审核及优化方法和系统技术方案

本发明专利技术涉及SQL数据库技术领域，尤其是一种多维度的综合数据库SQL审核及优化方法和系统，包括WEB前端、服务后台和数据库，所述的WEB前端包括提交工单模块、工单审核模块、优化记录模块、规范配置模块和质量可视化模块，所述的服务后台包括API服务模块、数据采集模块、SQL管理模块、审核引擎模块、优化引擎模块和任务调度模块，所述的数据库包括审核中间库模块、测试数据库模块和线上数据库模块，本发明专利技术可以大大加快了SQL审核、数据库结构优化、SQL优化的速度，减轻了数据库DBA的日常工作压力，有效防范SQL性能隐患给线上环境带来影响。

A multi-dimensional SQL audit and optimization method and system for comprehensive database

【技术实现步骤摘要】
一种多维度的综合数据库SQL审核及优化方法和系统
本专利技术涉及SQL数据库
，具体领域为一种多维度的综合数据库SQL审核及优化方法和系统。
技术介绍
数据库的SQL语句审核，实际上也是对SQL的标准化管理，是软件开发过程中重要的一环。目前有一些自动和人工审核的方法和系统，比如专利号CN108415991A的《一种SQL审核方法与系统》，但仍然存在以下问题和不足：自动审核只是作了语法规范性方面的检查，对SQL的质量不能完整把控;人工审核的工作量比较大，而且在规范落地和监督约束方面难以把控，很多时候取决于审核者自身的水平；SQL性能隐患会给线上环境带来极大的影响，但在事前审核阶段很难模拟并发现；规范落地没有一种数字化可视化的支持方式，靠文档和拍脑袋很难把这些规范固化下来。
技术实现思路
本专利技术的目的在于提供一种多维度的综合数据库SQL审核及优化方法和系统，以解决现有技术中SQL数据库语句审核难度大、对线上环境带来极大的影响的问题。为实现上述目的，本专利技术提供如下技术方案：一种多维度的综合数据库SQL审核系统，包括WEB前端、服务后台和数据库，所述的WEB前端包括提交工单模块、工单审核模块、优化记录模块、规范配置模块和质量可视化模块，提交工单模块，用于创建SQL审核工单；工单审核模块，用于对创建的SQL审核工单进行审核；优化记录模块，用于对工单审核中的审核记录和优化记录的存储；规范配置模块，用于对SQL审核标准进行规范标准化设置；质量可视化模块，用于对SQL审核质量进行可视化；所述的服务后台包括API服务模块、数据采集模块、SQL管理模块、审核引擎模块、优化引擎模块和任务调度模块，API服务模块，用于对模块间数据传输接口管理；数据采集模块，用于从数据源抓取审核需要的基础数据；SQL管理模块，用于完成被审核对象的全生命周期管理；审核引擎模块，用于完成规则规范的定义、配置工作；优化引擎模块，用于完成SQL的执行特征、执行计划、运行效率的分析，并提出优化建议；任务调度模块，用于多个工单的审核任务调度；所述的数据库包括审核中间库模块、测试数据库模块和线上数据库模块，审核中间库模块，用于对采集的数据和处理过程中的中间数据、结果数据的保存；测试数据库模块，用于对SQL的测试数据保存；线上数据库模块，用于对SQL正式运行过程中的数据保存。优选的，审核中建库模块保存的核心数据为对象类和SQL类。优选的，质量可视化模块为通过打分系统对SQL审核进行质量数字化，并通过看板的方式把审核质量可视化。优选的，审核引擎模块是完成具体规则的审核执行部分。为实现上述目的，本专利技术还提供如下技术方案：一种多维度的综合数据库SQL审核及优化方法，基于SQL审核系统，其具体步骤为：（1）通过WEB前端的提交工单模块填报SQL审核工单；（2）将填报的SQL审核工单发送至工地审核模块形成审核请求；（3）通过API服务模块将请求发送至服务后台进行SQL审核；（4）通过任务调度模块对请求的SQL进行调度，然后通过SQL管理模块、审核引擎模块和优化引擎模块，对被审核对象进行审核以及优化建议输出；（5）再通过API服务模块将审核以及优化建议反馈至工单审核模块；（6）同时将优化建议存储到优化记录模块中；（7）对应审核过的SQL通过质量可视化模块进行数据化展示；（8）在对于需要审核的SQL运行过程中，通过数据采集模块进行SQL基础数据采集；（9）通过现有的CMDB信息根据元数据映射关系来匹配到从库，向从库发起审核需求；（10）在经过审核服务的审核之后，推送审核结果到API服务模块；（11）再通过API服务模块将审核以及优化建议反馈至工单审核模块；（12）再将优化建议存储到优化记录模块中。优选的，根据步骤（9）从库内设置有语法寓意审核规则。优选的，根据步骤（9）和（10），审核服务包括Inception审核工具审核和进行针对性的审核逻辑定制。优选的，针对性的审核逻辑定制包括审核信息的定制和审核逻辑的定制。优选的，审核信息包括三类，第一类信息是明显错误或者本身违背基本规范的建议信息，第二类信息是潜在的问题，第三类信息是改进建议型信息。与现有技术相比，本专利技术的有益效果是：本方法及系统可以大大加快了SQL审核、数据库结构优化、SQL优化的速度，减轻了数据库DBA的日常工作压力，有效防范SQL性能隐患给线上环境带来影响。对于研发人员而言，可方便定位问题，及时进行修改；此外通过对规则规范的掌握，也可以指导他们设计开发工作，提高SQL开发经验。对于DBA而言，可快速可视地进行审核，批量筛选出低效SQL，并可通过系统提供的信息快速诊断一般性问题。对于研发管理人员而言，可以跟踪到每个项目及个人的SQL质量，及时发现质量问题，便于监督改进。附图说明图1为本专利技术的系统原理框图；图2为本专利技术的SQL审核的主流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种技术方案：一种多维度的综合数据库SQL审核系统，包括WEB前端、服务后台和数据库，所述的WEB前端包括提交工单模块、工单审核模块、优化记录模块、规范配置模块和质量可视化模块，提交工单模块，用于创建SQL审核工单；工单审核模块，用于对创建的SQL审核工单进行审核；优化记录模块，用于对工单审核中的审核记录和优化记录的存储；规范配置模块，用于对SQL审核标准进行规范标准化设置；质量可视化模块，用于对SQL审核质量进行可视化；所述的服务后台包括API服务模块、数据采集模块、SQL管理模块、审核引擎模块、优化引擎模块和任务调度模块，API服务模块，用于对模块间数据传输接口管理；数据采集模块，用于从数据源抓取审核需要的基础数据；SQL管理模块，用于完成被审核对象的全生命周期管理；审核引擎模块，用于完成规则规范的定义、配置工作；优化引擎模块，用于完成SQL的执行特征、执行计划、运行效率的分析，并提出优化建议；任务调度模块，用于多个工单的审核任务调度；所述的数据库包括审核中间库模块、测试数据库模块和线上数据库模块，审核中间库模块，用于对采集的数据和处理过程中的中间数据、结果数据的保存；测试数据库模块，用于对SQL的测试数据保存；线上数据库模块，本文档来自技高网...

【技术保护点】
1.一种多维度的综合数据库SQL审核系统，其特征在于：包括WEB前端、服务后台和数据库，/n所述的WEB前端包括提交工单模块、工单审核模块、优化记录模块、规范配置模块和质量可视化模块，/n提交工单模块，用于创建SQL审核工单；/n工单审核模块，用于对创建的SQL审核工单进行审核；/n优化记录模块，用于对工单审核中的审核记录和优化记录的存储；/n规范配置模块，用于对SQL审核标准进行规范标准化设置；/n质量可视化模块，用于对SQL审核质量进行可视化；/n所述的服务后台包括API服务模块、数据采集模块、SQL管理模块、审核引擎模块、优化引擎模块和任务调度模块，/nAPI服务模块，用于对模块间数据传输接口管理；/n数据采集模块，用于从数据源抓取审核需要的基础数据；/nSQL管理模块，用于完成被审核对象的全生命周期管理；/n审核引擎模块，用于完成规则规范的定义、配置工作；/n优化引擎模块，用于完成SQL的执行特征、执行计划、运行效率的分析，并提出优化建议；/n任务调度模块，用于多个工单的审核任务调度；/n所述的数据库包括审核中间库模块、测试数据库模块和线上数据库模块，/n审核中间库模块，用于对采集的数据和处理过程中的中间数据、结果数据的保存；/n测试数据库模块，用于对SQL的测试数据保存；/n线上数据库模块，用于对SQL正式运行过程中的数据保存。/n...

【技术特征摘要】
1.一种多维度的综合数据库SQL审核系统，其特征在于：包括WEB前端、服务后台和数据库，
所述的WEB前端包括提交工单模块、工单审核模块、优化记录模块、规范配置模块和质量可视化模块，
提交工单模块，用于创建SQL审核工单；
工单审核模块，用于对创建的SQL审核工单进行审核；
优化记录模块，用于对工单审核中的审核记录和优化记录的存储；
规范配置模块，用于对SQL审核标准进行规范标准化设置；
质量可视化模块，用于对SQL审核质量进行可视化；
所述的服务后台包括API服务模块、数据采集模块、SQL管理模块、审核引擎模块、优化引擎模块和任务调度模块，
API服务模块，用于对模块间数据传输接口管理；
数据采集模块，用于从数据源抓取审核需要的基础数据；
SQL管理模块，用于完成被审核对象的全生命周期管理；
审核引擎模块，用于完成规则规范的定义、配置工作；
优化引擎模块，用于完成SQL的执行特征、执行计划、运行效率的分析，并提出优化建议；
任务调度模块，用于多个工单的审核任务调度；
所述的数据库包括审核中间库模块、测试数据库模块和线上数据库模块，
审核中间库模块，用于对采集的数据和处理过程中的中间数据、结果数据的保存；
测试数据库模块，用于对SQL的测试数据保存；
线上数据库模块，用于对SQL正式运行过程中的数据保存。


2.根据权利要求1所述的一种多维度的综合数据库SQL审核系统，其特征在于：审核中建库模块保存的核心数据为对象类和SQL类。


3.根据权利要求1所述的一种多维度的综合数据库SQL审核系统，其特征在于：质量可视化模块为通过打分系统对SQL审核进行质量数字化，并通过看板的方式把审核质量可视化。


4.根据权利要求1所述的一种多维度的综合数据库SQL审核系统，其特征在于：审核引擎模块是完成具体规则的审核执行部分。


5.一种多维度的...

【专利技术属性】
技术研发人员：张福军，鲍碧波，陆昕，丁立，
申请(专利权)人：绿漫科技有限公司，
类型：发明
国别省市：浙江;33