一种数据库的迁移方法、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种数据库的迁移方法、系统及计算机可读存储介质，方法包括：配置主数据库的迁移信息并且配置备数据库的迁移信息；并行启动备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；基于Binlog增量读取进程读取二进制日志文件以生成中继日志文件；基于Binlog增量转换进程读取中继日志文件，并对中继日志文件进行格式转换以生成转换日志文件；基于Binlog增量写入进程对转换日志文件进行解析，并将解析后的转换日志文件写入备数据库。本发明专利技术实现了主数据库的数据到备数据库的迁移，解决了随着人工智能平台运行时间增长，主数据库响应缓慢、占用存储空间大的问题。空间大的问题。空间大的问题。

【技术实现步骤摘要】
一种数据库的迁移方法、系统及计算机可读存储介质


[0001]本专利技术涉及数据库
，尤其涉及一种数据库的迁移方法、系统及计算机可读存储介质。

技术介绍

[0002]人工智能平台通常使用MySQL数据库存储业务数据，包括审计日志、用户信息、业务信息等。随着平台长时间运行会产生很多数据，尤其是审计日志相关的数据，从而导致MySQL响应缓慢、存储空间持续增长的问题。针对目前的场景分析得出数据基本都是归档数据，用户不经常使用，但是从安全角度来说不能直接删除(可能会用于输出相关的业务报表)。基于此，经过充分的调研和技术验证，本专利技术提出一种数据迁移策略，将MySQL数据库的归档数据迁移到另一个数据库，在不影响原有业务的基础上提高了MySQL数据库的吞吐量，减少了MySQL数据库的磁盘占用空间，同时通过另外的数据库对MySQL数据库的数据进行备份，增加了数据的安全性，并且降低了维护成本和技术风险，提高了人工智能平台在同类产品中的竞争力。

技术实现思路

[0003]有鉴于此，本专利技术提出了一种数据库的迁移方法、系统及计算机可读存储介本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的迁移方法，其特征在于，包括：配置主数据库的迁移信息以获取所述主数据库的二进制日志文件，并且配置备数据库的迁移信息以从所述主数据库读取待迁移数据；并行启动所述备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；基于所述Binlog增量读取进程读取所述二进制日志文件以生成中继日志文件；基于所述Binlog增量转换进程读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件；基于所述Binlog增量写入进程对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库。2.根据权利要求1所述的方法，其特征在于，配置主数据库和备数据库的迁移信息包括：修改主数据库的配置文件以获取所述主数据库的二进制日志文件，并为所述二进制日志文件配置基于语句复制的策略，并为所述主数据库建立账号；基于主数据库信息在所述备数据库创建配置文件，其中，所述配置文件包括：备数据库的账号信息，主数据库的地址、账号信息、二进制日志文件的偏移位置。3.根据权利要求2所述的方法，其特征在于，读取所述二进制日志文件以生成中继日志文件包括：读取所述备数据库的配置文件，从所述配置文件获取所述主数据库的地址、账号信息以建立所述备数据库与所述主数据库的连接；从所述配置文件获取所述二进制日志文件的偏移位置，基于所述二进制日志文件的偏移位置并间隔预设周期从所述二进制日志文件读取待迁移数据；将每个预设周期读取的所述待迁移数据分别写入对应的中继日志文件，并将所述对应的中继日志文件的索引信息加入到中继缓存队列中；在每个所述预设周期将所述索引信息加入所述中继缓存队列后，更新所述二进制日志文件的偏移位置。4.根据权利要求3所述的方法，其特征在于，读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件，包括：从所述中继缓存队列依次读取所述中继日志文件的索引信息，基于所述索引信息从对应的中继日志文件中获取待迁移数据；基于预设转换格式对所述待迁移数据...

【专利技术属性】
技术研发人员：孙辽东，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：