【技术实现步骤摘要】
本专利技术涉及云计算,尤其涉及一种全量sql数据采集方法、装置及系统。
技术介绍
1、在云计算领域,对云数据库的监控、运维与治理服务往往依赖于全量sql数据的实时采集,以支撑下游的sql执行情况监控、sql洞察与优化、sql安全审计与预警等应用场景。与普通的数据库sql采集不同,云数据库的关联服务更多,全量sql数据量更加庞大,对采集端的性能要求极高。
2、现有云平台对全量sql采集的技术方案有以下三种思路:
3、(1)基于数据库内核输出sql数据,这类方法性能较好,采集数据丰富,但要求对内核源码进行修改,技术门槛极高,操作复杂度极大。
4、(2)基于数据库日志的定期数据采集,这类方法操作复杂度较低,但由于不能持续查询sql日志,因此实时性差,且频繁操作数据库日志会极大影响数据库本身性能。
5、(3)基于抓包的方法,主流对数据库进行抓包的方法有pcap、pf_ring等等,这类方法通过对用户与云数据库之间交互产生的tcp协议包进行抓包解析,获取全量sql数据,这类方法需要在设备内部通过中断
...【技术保护点】
1.一种全量SQL数据采集方法,其特征在于,预先为云数据库配置DPDK驱动,并初始化DPDK环境;所述方法包括:
2.根据权利要求1所述的全量SQL数据采集方法,其特征在于,所述预先为云数据库配置DPDK驱动,并初始化DPDK环境包括:
3.根据权利要求2所述的全量SQL数据采集方法,其特征在于,所述设置大页存储缓冲区的内存分配包括:
4.根据权利要求1所述的全量SQL数据采集方法,其特征在于,所述多级队列至少包括一级接收队列以及二级处理队列;所述二级处理队列包括会话信息队列以及大SQL处理队列;
5.根据权利要求4所述
...【技术特征摘要】
1.一种全量sql数据采集方法,其特征在于,预先为云数据库配置dpdk驱动,并初始化dpdk环境;所述方法包括:
2.根据权利要求1所述的全量sql数据采集方法,其特征在于,所述预先为云数据库配置dpdk驱动,并初始化dpdk环境包括:
3.根据权利要求2所述的全量sql数据采集方法,其特征在于,所述设置大页存储缓冲区的内存分配包括:
4.根据权利要求1所述的全量sql数据采集方法,其特征在于,所述多级队列至少包括一级接收队列以及二级处理队列;所述二级处理队列包括会话信息队列以及大sql处理队列;
5.根据权利要求4所述的全量sql数据采集方法,其特征在于,所述多级队列分别对接...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。