基于TCPDUMP和分布式消息队列实现的数据热度采集方法和系统技术方案

本发明专利技术公开一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法，属于数据库技术领域；该方法包括：创建数据源；通过TCPDUMP组件截取发送至数据源的SQL脚本并进行脚本组装，得到组装脚本；将组装脚本发送到分布式消息队列；根据分布式消息队列中的组装脚本，对数据源进行数据热度采集。本发明专利技术还公开一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法。本发明专利技术保证了系统在大数据量的时候也能保持稳定运行。能保持稳定运行。能保持稳定运行。

【技术实现步骤摘要】
基于TCPDUMP和分布式消息队列实现的数据热度采集方法和系统


[0001]本专利技术涉及数据库
，具体涉及一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法和系统。

技术介绍

[0002]随着企业的不断发展和壮大，企业内部的数据也在不断沉淀。管理和分析这些数据中的热点数据，是企业数据资产管理中的重要一环。目前市面上的数据库存储系统很多，每个企业从发展之初到现在都经历了不同的阶段，每个阶段可能采用的数据存储系统都不相同，而且有些企业中的应用众多，不同的应用也都往往采用不同的数据库存储系统，不同的数据库存储系统不能通用。

技术实现思路

[0003]本专利技术的目的在于提供一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法及系统
[0004]为解决上述技术问题，本专利技术提供一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法，包括以下步骤：
[0005]创建数据源；
[0006]通过TCPDUMP组件截取发送至数据源的SQL脚本并进行脚本组装，得到组装脚本；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于TCPDUMP和分布式消息队列实现的数据热度采集方法，其特征在于，包括以下步骤：创建数据源；通过TCPDUMP组件截取发送至数据源的SQL脚本并进行脚本组装，得到组装脚本；将组装脚本发送到分布式消息队列；根据分布式消息队列中的组装脚本，对数据源进行数据热度采集。2.根据权利要求1所述的基于TCPDUMP和分布式消息队列实现的数据热度采集方法，其特征在于，截取发送至数据源的SQL脚本并进行脚本组装，得到组装脚本，具体包括以下步骤：服务端向客户端发送热度采集开启指令；客户端在接收到热度采集开启指令之后，截取服务端发送至数据源的SQL脚本；对截取的SQL脚本进行脚本组装，得到组装脚本。3.根据权利要求2所述的基于TCPDUMP和分布式消息队列实现的数据热度采集方法，其特征在于：所述热度采集开启指令包括客户端ID。4.根据权利要求3所述的基于TCPDUMP和分布式消息队列实现的数据热度采集方法，其特征在于：对截取的SQL脚本进行脚本组装，得到组装脚本，具体包括以下步骤：通过MsgManager组件对截取SQL脚本和客户端ID进行封装，作为组装脚本。5.根据权利要求1所述的基于TCPDUMP和分布式消息队列实现的数据热度采集方法，其特征在于：根据分布式消息队列中的组装脚本，对数据源进行数据热度采集，具体包括以下步骤：通过正则验证器验证分布式消息...

【专利技术属性】
技术研发人员：毛肖瑶，原攀峰，陈廷梁，陈廷权，
申请(专利权)人：浙江数新网络有限公司，
类型：发明
国别省市：