一种全量SQL数据采集方法、装置及系统制造方法及图纸

技术编号:40516616 阅读:25 留言:0更新日期:2024-03-01 13:33
本发明专利技术涉及一种全量SQL数据采集方法、装置及系统,通过预先为云数据库配置DPDK驱动,并初始化DPDK环境;监听云数据库对应的数据通信端口,以获取数据包;对获取到的数据包进行过滤,将过滤后的数据包转发到多级队列中的至少一个;多级队列分别对接收到的数据包进行处理,将数据包存储至预先分配的大页存储缓冲区的不同区域;将存储在大页存储缓冲区中的数据包传输给数据接收中心。本申请利用DPDK提供的多队列抓包能力,直接在用户态抓取数据,避免中断开销,具有极高的实时性,对实时数据治理意义重大,且DPDK依赖于CPU和内存,对数据库本身只有极低的性能损耗,从而提供高实时、低损耗、高效率的全量SQL数据采集方案。

【技术实现步骤摘要】

本专利技术涉及云计算,尤其涉及一种全量sql数据采集方法、装置及系统。


技术介绍

1、在云计算领域,对云数据库的监控、运维与治理服务往往依赖于全量sql数据的实时采集,以支撑下游的sql执行情况监控、sql洞察与优化、sql安全审计与预警等应用场景。与普通的数据库sql采集不同,云数据库的关联服务更多,全量sql数据量更加庞大,对采集端的性能要求极高。

2、现有云平台对全量sql采集的技术方案有以下三种思路:

3、(1)基于数据库内核输出sql数据,这类方法性能较好,采集数据丰富,但要求对内核源码进行修改,技术门槛极高,操作复杂度极大。

4、(2)基于数据库日志的定期数据采集,这类方法操作复杂度较低,但由于不能持续查询sql日志,因此实时性差,且频繁操作数据库日志会极大影响数据库本身性能。

5、(3)基于抓包的方法,主流对数据库进行抓包的方法有pcap、pf_ring等等,这类方法通过对用户与云数据库之间交互产生的tcp协议包进行抓包解析,获取全量sql数据,这类方法需要在设备内部通过中断切换至系统态中进行抓本文档来自技高网...

【技术保护点】

1.一种全量SQL数据采集方法,其特征在于,预先为云数据库配置DPDK驱动,并初始化DPDK环境;所述方法包括:

2.根据权利要求1所述的全量SQL数据采集方法,其特征在于,所述预先为云数据库配置DPDK驱动,并初始化DPDK环境包括:

3.根据权利要求2所述的全量SQL数据采集方法,其特征在于,所述设置大页存储缓冲区的内存分配包括:

4.根据权利要求1所述的全量SQL数据采集方法,其特征在于,所述多级队列至少包括一级接收队列以及二级处理队列;所述二级处理队列包括会话信息队列以及大SQL处理队列;

5.根据权利要求4所述的全量SQL数据采集...

【技术特征摘要】

1.一种全量sql数据采集方法,其特征在于,预先为云数据库配置dpdk驱动,并初始化dpdk环境;所述方法包括:

2.根据权利要求1所述的全量sql数据采集方法,其特征在于,所述预先为云数据库配置dpdk驱动,并初始化dpdk环境包括:

3.根据权利要求2所述的全量sql数据采集方法,其特征在于,所述设置大页存储缓冲区的内存分配包括:

4.根据权利要求1所述的全量sql数据采集方法,其特征在于,所述多级队列至少包括一级接收队列以及二级处理队列;所述二级处理队列包括会话信息队列以及大sql处理队列;

5.根据权利要求4所述的全量sql数据采集方法,其特征在于,所述多级队列分别对接...

【专利技术属性】
技术研发人员:林越张扬权李韬
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1