数据库服务流量回放方法、电子设备及存储介质技术

本申请提供了一种数据库服务流量回放方法、电子设备及存储介质，涉及数据库技术领域，该方法包括：在多个流量采集模式中确定源数据库对应的目标流量采集模式，基于目标流量采集模式，采集源数据库的服务流量数据；将采集到的服务流量数据，进行格式归一化处理；将处理后的服务流量数据，在多个目标数据库进行流量回放，得到流量回放信息，流量回放信息表征源数据库和目标数据库的兼容性以及目标数据库的查询性能。本实施例中，设置多个流量采集模式，采用源数据库对应的目标采集模式进行流量采集，可以适用于多种数据库的流量采集需求，并且可以指导用户发现和解决数据库的兼容性问题以及性能问题，降低数据库迁移和升级的难度。度。度。

【技术实现步骤摘要】
数据库服务流量回放方法、电子设备及存储介质


[0001]本申请涉及数据库
，尤其涉及一种数据库服务流量回放方法、电子设备及存储介质。

技术介绍

[0002]数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库包括多种类型，例如，ORACLE数据库、DB2数据库、PolarDB数据库、MySQL数据库等。
[0003]在对数据库迁移或者升级过程中，无法发现和解决数据库的兼容性问题以及性能问题，提高了数据库迁移和升级的难度。

技术实现思路

[0004]本申请实施例提供一种数据库服务流量回放方法、电子设备及存储介质，以指导用户发现和解决数据库的兼容性问题以及性能问题，降低数据库迁移和升级的难度。
[0005]第一方面，本申请实施例提供了一种数据库服务流量回放方法，包括：
[0006]在多个流量采集模式中确定源数据库对应的目标流量采集模式，基于目标流量采集模式，采集源数据库的服务流量数据；将采集到的服务流量数据，进行格式归一化处理；将处理后的服务流量数据，在多个目标数据库进行流量回放，得到流量回放信息，流量回放信息表征源数据库和目标数据库的兼容性以及目标数据库的查询性能。
[0007]第二方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器在执行计算机程序时实现上述任一项的方法。
[0008]第三方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一项的方法。
[0009]与现有技术相比，本申请具有如下优点：
[0010]本申请提供了一种数据库服务流量回放方法、电子设备及存储介质，首先，在多个流量采集模式中确定源数据库对应的目标流量采集模式，基于目标流量采集模式，采集源数据库的服务流量数据；其次，将采集到的服务流量数据，进行格式归一化处理；最后，将处理后的服务流量数据，在多个目标数据库进行流量回放，得到流量回放信息，流量回放信息表征源数据库和目标数据库的兼容性以及目标数据库的查询性能。本实施例中，设置多个流量采集模式，采用源数据库对应的目标采集模式进行流量采集，可以适用于多种数据库的流量采集需求；由于对采集到的服务流量数据进行了格式归一化处理，因此，多个目标数据库可以对处理后的服务流量数据采用相同的处理逻辑进行流量回放，以指导用户发现和解决数据库的兼容性问题以及性能问题，降低数据库迁移和升级的难度。
[0011]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0012]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。
[0013]图1为本申请提供的一个应用场景的示意图；
[0014]图2为本申请一实施例的流量采集和流量回放过程的示意图；
[0015]图3为本申请一实施例的回放报告的示意图；
[0016]图4为本申请一实施例的数据库服务流量回放方法的流程图；
[0017]图5为本申请一实施例的利用审计日志获取服务流量信息的流程图；
[0018]图6为本申请一实施例的基于应用程序记录的源数据库的访问日志获取服务流量信息的流程图；
[0019]图7为本申请一实施例的流量回放的流程图；
[0020]图8为本申请一实施例的数据库服务流量回放装置的结构框图；以及
[0021]图9为用来实现本申请实施例的电子设备的框图。
具体实施方式
[0022]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。
[0023]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
[0024]需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0025]图1为本申请技术方案的一个应用场景的示意图。如图1所示，首先，确定了目标流量采集模式之后，在源数据库中进行流量采集；其次，将采集到的服务流量数据，进行格式归一化处理，统一数据标准；最后，将处理后的服务流量数据，在多个目标数据库进行流量回放，得到流量回放信息。源数据、目标数据库可以包括：DB2数据库、ORACLE数据库、MySQL数据库、PolarDB数据库、RDS数据库、PolarDB
‑
X数据库等。源数据库和目标数据库可以是同构数据库也可以是异构数据库，还可以是不用版本的数据库。本实施例中的数据库服务流量回放方法可以适用于异构数据库迁移、同构数据库迁移、数据库版本升降级、数据库预热等场景，适用范围广。
[0026]图2为本申请一实施例的流量采集和流量回放过程的示意图。如图2所示，本实施例中，数据服务流量数据为结构化查询语言(Structured Query Language，SQL)语句。源数据库可以包括ORACLE数据库、MySQL数据库、RDS数据库中的任一种。流量采集过程包括日志采集、解析和清洗两部分。在日志采集部分，设置多个流量采集模式，不同的源数据库使用
不同的采集工具，包括：1、如果源数据库开启了审计日志，则基于审计日志抓取服务流量数据；2、可以基于应用程序记载的源数据库的访问日志(如图2中所示的“SQL日志”)采集服务流量数据；3、如果源数据库为开源数据库，可以基于客户端协议通过网络抓取数据包的形式采集服务流量数据。其中，服务流量数据包括访问数据库时产生的查询数据以及查询数据对应的上下文数据，例如，SQL语句以及产生SQL语句的对象(Schema)、时间等上下文数据。
[0027]在解析和清洗部分，针对上一步采集的日志进行解析和清洗，生成最终的重放样本，用于进行流量回放。具体包括：协议解析和转化：对采集到的服务流量数据进行协议解析和转化；生成SQL指纹；进行过滤和排序，过滤掉不需要的内容，并确保单个连接SQL语句的顺序性；动态SQL组装：将采集到动态SQL和绑定变量，解析并组合成可执行的SQL语句；SQL清洗和关联：对SQL语句进行清洗，并与对应的上下文数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库服务流量回放方法，其特征在于，所述方法包括：在多个流量采集模式中确定源数据库对应的目标流量采集模式，基于所述目标流量采集模式，采集所述源数据库的服务流量数据；将采集到的服务流量数据，进行格式归一化处理；将处理后的服务流量数据，在多个目标数据库进行流量回放，得到流量回放信息，所述流量回放信息表征所述源数据库和目标数据库的兼容性以及所述目标数据库的查询性能。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标流量采集模式，采集所述源数据库的服务流量数据，包括：在确定开启了所述源数据库的审计日志的情况下，监听所述审计日志；基于监听到的审计日志，得到所述源数据库的查询数据和所述查询数据对应的上下文数据，作为所述服务流量数据。3.根据权利要求2所述的方法，其特征在于，所述基于监听到的审计日志，得到所述源数据库的查询数据和所述查询数据对应的上下文数据，包括：解析监听到的审计日志，对解析结果进行过滤和排序处理，得到所述源数据库的查询数据和所述查询数据对应的上下文数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标流量采集模式，采集所述源数据库的服务流量数据，包括：基于应用程序记录的所述源数据库的访问日志，得到所述源数据库的查询数据和所述查询数据对应的上下文数据，作为所述服务流量数据。5.根据权利要求4所述的方法，其特征在于，所述基于应用程序记录的所述源数据库的访问日志，得到所述源数据库的查询数据和所述查询数据对应的上下文数据，包括：将所述源数据库的访问日志中记录的动态的查询语句和对应的绑定变量进行组合，得到可执行的查询语句；将所述可执行的查询语句和所述访问日志中记录的上下文数据，作为所述源数据库的查询数据和所述查询数据对应的上下文数据。6.根据权利要求4所述的方法，其特征在于，所述基于应用程序记录的所述源数据库的访问日志，得到所述源数据库...

【专利技术属性】
技术研发人员：陈荣耀，赵可可，王腾，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：