MySQL聚合为PostgreSQL数据库的设备、系统、方法、存储介质技术方案

MySQL数据库聚合为PostgreSQL数据库的设备，用于将源端MySQL数据库进行分库后聚合成目标端PostgreSQL数据库，其特征在于，包括：前置设定部；多源异步复制部；同步检查部；数据聚合部；数据抽取部；全量同步部；SQL语句生成部；数据一致性校验部。本发明专利技术通过将分库分表后的MySQL数据库或者表聚合为PostgreSQL，从而使得已经采用了关系型数据库管理系统MySQL数据库能够聚合转化为PostgreSQL数据库，从而使得数据库在OLAP场合下的查询性能比原先的MySQL数据库在OLAP上的性能提高数倍。将分库分表的数据(库)进行聚合得到了PostgreSQL聚合库，这样因为只需要查询一个库，只需要编写一个库的查询代码，所以查询代码的编写时间也能够得到节约，操作简单，方便对数据库管理员顺畅的使用。

Devices, systems, methods, and storage media of MySQL aggregated into PostgreSQL database

【技术实现步骤摘要】
MySQL聚合为PostgreSQL数据库的设备、系统、方法、存储介质
本专利技术涉及数据库转换领域，具体涉及一种将MySQL数据库聚合转换为PostgreSQL的设备、方法和系统。
技术介绍
当今的数据处理大致可以分成两大类：联机事务处理OLTP(on-linetransactionprocessing)、联机分析处理OLAP(On-LineAnalyticalProcessing)。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。具体来讲，OLTP，也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答，因此该系统也称为实时系统(RealtimeSystem)。衡量联机事务处理系统OLTP的一个重要性能指标是系统性能，具体体现为实时响应时间(ResponseTime)，即用户在终端上送入数据之本文档来自技高网...

【技术保护点】
1.一种MySQL数据库聚合为PostgreSQL数据库的设备，用于将源端MySQL数据库进行分库后聚合成目标端PostgreSQL数据库，其特征在于，包括：/n多源异步复制部，用于输入多个分片复制参数并通过多个端口进行多源头的异步复制，得到多个分库分表的MySQL数据库表；/n同步检查部，用于检查每一个所述端口下的异步复制是否出现异常；/n数据聚合部，用于对所有的所述多源头的异步复制得到的所述MySQL数据库表进行聚合，得到MySQL数据聚合库表；/n数据抽取部，用于对所述MySQL数据聚合库表的库表结构进行收集，并通过预定的MySQL与PostgreSQL的数据类型的转换关系进行转换，并将...

【技术特征摘要】
1.一种MySQL数据库聚合为PostgreSQL数据库的设备，用于将源端MySQL数据库进行分库后聚合成目标端PostgreSQL数据库，其特征在于，包括：
多源异步复制部，用于输入多个分片复制参数并通过多个端口进行多源头的异步复制，得到多个分库分表的MySQL数据库表；
同步检查部，用于检查每一个所述端口下的异步复制是否出现异常；
数据聚合部，用于对所有的所述多源头的异步复制得到的所述MySQL数据库表进行聚合，得到MySQL数据聚合库表；
数据抽取部，用于对所述MySQL数据聚合库表的库表结构进行收集，并通过预定的MySQL与PostgreSQL的数据类型的转换关系进行转换，并将转换后的结果翻译成PostgreSQL的表结构；
全量同步部，用于将MySQL数据库中的数据全量同步到PostgreSQL数据库中并生成同步后的增量数据；
SQL语句生成部，用于对所述多源异步复制部在复制过程中产生的日志文件进行解析，并根据所述增量数据基于所述转换关系进行转换，最后得到在PostgreSQL中可执行的SQL语句。


2.根据权利要求1所述的MySQL数据库聚合为PostgreSQL数据库的设备，其特征在于，还包括：
前置设定部，用于对数据库聚合前的日志文件存储参数进行设定，文件存储参数包括：文件的存储格式、文件的存储地址以及文件复制的模式；以及
数据一致性校验部，用于对MySQL数据库中的数据和聚合后的PostgreSQL数据库中的数据进行数据一致性检验。


3.根据权利要求2所述的MySQL数据库聚合为PostgreSQL数据库的设备，其特征在于，其中，所述数据一致性校验部具有：
hash值校验单元，用于通过字符串拼接每一行的数据，用md5算法求出源端的和目标端的hash值，如果在源端和目标端该行数据的hash值相同，则一致性检验通过；或
总行数校验单元，用于比对源端MySQL数据库和目标端PostgreSQL数据库中每一张表的总行数，行数相同即判断为数据一致即一致性检验通过。


4.根据权利要求1所述的MySQL数据库聚合为PostgreSQL数据库的设备，其特征在于：
其中，所述同步检查部包括第一至第四单元：
第一单元，用于对所述多源异步复制部中接收到的每一个所述端口进行数量统计；
第二单元，用于使得所述端口连接MySQL数据库并得到主从同步状态信息；
第三单元，用于判断该端口上连接的设备是否包含有第二主库，如果有就由第一单元进行处理，如果没有就进入第四单元；
第四单元，用于进一步判断SQL线程和输入输出线程是否出现异常，如果出现异常，所述多源异步复制部就停止复制；
第五单元,控制所述第二、第三、第四单元重复运行直至遍历每一个所述端口。


5.一种MySQL数据库聚合为PostgreSQL数据库的系统，用于将源端MySQL数据库进行分库后聚合成目标端PostgreSQL数据库，其特征在于，包括至少一个运行MySQL的MySQL设备和至少一个运行PostgreSQL的PostgreSQL设备，其特征在于：
其中，所述M...

【专利技术属性】
技术研发人员：陈阳，张文明，陈少杰，
申请(专利权)人：武汉斗鱼网络科技有限公司，
类型：发明
国别省市：湖北;42