一种基于Zabbix的传输表空间自动迁移方法和系统技术方案

本发明专利技术提供一种基于Zabbix的传输表空间自动迁移方法和系统，所述方法包括：通过Zabbix连接需要迁移源端数据库Oracle，获取所述源端数据库的表空间，检查所述表空间是否自包含，若是自包含，则通过Zabbix调用传输表空间XTTS迁移进程；创建XTTS迁移进程中需要的相关目录，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复，并进行多次增量备份恢复；从源端数据库导出元数据，在目标端数据库进行分组加载，并进行一致性校验。通过自动构建XTTS传输表空间进行迁移，通过Zabbix进行集中调度，根据数据迁移子任务个数派生出相应数量的XTTS子进程。减少了停机时间，节约了存储成本。

A Method and System of Transport Table Space Automatic Migration Based on Zabbix

【技术实现步骤摘要】
一种基于Zabbix的传输表空间自动迁移方法和系统
本专利技术涉及数据库迁移
，更具体地，涉及一种基于Zabbix的传输表空间自动迁移方法和系统。
技术介绍
OracleDatabase，又名OracleRDBMS，或简称Oracle。Oracle数据库已经作为一种广泛采用的数据库(database)应用在各行各业中，承载企业生产活动，但随着云技术的普及，X86架构得到广泛使用，原先许多小机系统都在迁移X86平台，实现云化，然而迁移时业务停机时间长，存储空间需求大，动辄百TB，降低了业务迁移效率，增加了迁移成本。在oracle中，通过迁移数据库减少停机时间及存储空间，从而有效的节约成本。以数据量20T为例，如果使用传统的EXPDP或者EXP数据泵进行数据库迁移，首先导出数据需要最少10T的存储，假如在主机网络等各种条件都最优的情况下，数据导出时间20小时，传输数据需要10小时，导入数据需要40小时。总结下来，一个20T的数据库迁移需要10T存储，70小时的业务停机时间。传统EXDP技术迁移效率完全由主机和数据库性能决定的，其稳定性相差甚远，且对于数据迁移过程中故障无法预见，故障时可能造成数据的丢失。严重时，在线热备导致业务系统瘫痪，数据库可用性降低，因此除了保证数据传输的一致性外，知晓业务传输耗时和可能出现的故障，有助于业务关键点决策；一般10T的数据耗时40小时，大大增加了核心业务停机时间，影响业务连续性；当备份过程中，出现不可预知故障且处理难度较大时，这就需要维护人员具有较高的技术能力，丰富的运维故障经验，对现场环境熟悉，熟悉业务知识，优先保障哪种业务，若有自动化备份管理平台，将会缩短数据迁移时间，降低故障概率。同时有效的告警触发机制，帮助维护人员快速作出处理，所以对维护人员的技术水平也存在依赖。如果工程师的技术水平没办法同时达到这两个方面，将对企业生产降低感知，延迟故障的修复进度。比如备份过程中，操作人员一不小心rm*误操作，删除大量数据文件，造将成不可挽回的损失，对公司、客户、安全造成重大影响，工程师经验缺乏或者错误操作，删除生产服务器上的数据，直接反映操作缺乏监管、权限管控不合理等问题。因此员工权限和安全管理必须加强，提高自动化水平，减少人为误操作；一块512G企业级SSD固态盘单价为8万人名币，若满足10T的数据迁移，总计80万，且SSD盘不可重复使用，造成资源浪费，成本压力增加。
技术实现思路
本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种基于Zabbix的传输表空间自动迁移方法和系统，解决了现有技术中数据传输效率低、人为误操作风险大，且大量浪费SSD空间的问题。根据本专利技术的一个方面，提供一种传输表空间自动迁移方法，包括：通过Zabbix连接需要迁移源端数据库Oracle，获取所述源端数据库的表空间，检查所述表空间是否自包含，若是自包含，则通过Zabbix调用传输表空间XTTS迁移进程；创建XTTS迁移进程中需要的相关目录，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复，并进行多次增量备份恢复；从源端数据库导出元数据，在目标端数据库进行分组加载，并进行一致性校验。作为优选的，通过Zabbix连接源端数据库，获取需要迁移源端数据库的表空间，具体包括：从Zabbix获取连接信息，连接至源端数据库，获取需要迁移远端数据库的表空间、版本、用户、总量，确定迁移数据的大小，所述迁移数据包括表空间的数量，索引，无效对象、函数、序列。作为优选的，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复具体还包括：通过dbms_file_transfer方法将XTTS的对应的数据文件从源端数据库传输到目标端数据库的最终位置，将数据从源端数据库传到目标端数据库，并进行格式转换。作为优选的，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复前还包括：校验迁移环境信息，所述迁移环境信息包括用户、目录、proc、数据量、源端数据库新增表、源端数据库新增用户、源端数据库新增存储过程、清理旧表。作为优选的，创建传输表空间XTTS迁移过程中需要的相关目录具体包括：创建传输表空间XTTS迁移过程中需要的相关目录，使目标端数据库的目录大小与源端数据库对应的目录大小相等，并在目标端数据库建立指向源端数据库的链接DBLINK。作为优选的，所述元数据包括Oracle表元数据、Oracle文件元数据、Oracle过程元数据、Oracle脚本元数据。作为优选的，并进行一致性校验具体包括：对原端数据库和目标端数据库的信息进行对比，分析源端数据库和目标端数据库的差异值，基于所述差异值判断源端数据库和目标端数据库相同；若相同则判断迁移工作完成，若不同则进行迁移报错。一种传输表空间自动迁移系统，包括：ZabbixServer调度平台，用于通过Zabbix连接需要迁移源端数据库Oracle，获取所述源端数据库的表空间，检查所述表空间是否自包含，若是自包含，则通过Zabbix调用传输表空间XTTS迁移进程；XTTS子任务进程模块，用于创建XTTS迁移进程中需要的相关目录，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复，并进行多次增量备份恢复；从源端数据库导出元数据，在目标端数据库进行分组加载，并进行一致性校验。一种传输表空间自动迁移设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述传输表空间自动迁移方法。一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述传输表空间自动迁移方法。本专利技术提出一种基于Zabbix的传输表空间自动迁移方法和系统，通过自动构建XTTS传输表空间进行迁移，通过Zabbix进行集中调度，XTTS会与Zabbix软件构建API通信连接，Zabbix根据数据迁移子任务个数派生出相应数量的XTTS子进程，数据迁移流程由各个子进程并行地处理对应的任务。每个XTTS子进程在处理过程中，将调用zabbix软件提供的应用程序接口API来实现对应XTTS的任务处理，在XTTS初始化阶段对源端数据库和目标端数据库进行是否全量备份、迁移的用户、迁移表空间、是否自包含、对象信息等检验，对现有数据库的迁移工作提供了更加便捷，有效的迁移技术，减少了停机时间，节约了存储成本，有限避免风险。附图说明图1为根据本专利技术实施例的传输表空间自动迁移方法示意图；图2为根据本专利技术实施例的数据调用展示图；图3为根据本专利技术实施例的Zabbix调用流程示意图；图4为根据本专利技术实施例的Zabbix调用结果分析示意图；图5为根据本专利技术实施例的传输表空间的自动化迁移系统架构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。zabbix(音同zaebix)是一个基于WEB界面的提供分布式系统监视以及本文档来自技高网...

【技术保护点】
1.一种传输表空间自动迁移方法，其特征在于，包括：通过Zabbix连接需要迁移源端数据库Oracle，获取所述源端数据库的表空间，检查所述表空间是否自包含，若是自包含，则通过Zabbix调用传输表空间XTTS迁移进程；创建XTTS迁移进程中需要的相关目录，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复，并进行多次增量备份恢复；从源端数据库导出元数据，在目标端数据库进行分组加载，并进行一致性校验。

【技术特征摘要】
1.一种传输表空间自动迁移方法，其特征在于，包括：通过Zabbix连接需要迁移源端数据库Oracle，获取所述源端数据库的表空间，检查所述表空间是否自包含，若是自包含，则通过Zabbix调用传输表空间XTTS迁移进程；创建XTTS迁移进程中需要的相关目录，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复，并进行多次增量备份恢复；从源端数据库导出元数据，在目标端数据库进行分组加载，并进行一致性校验。2.根据权利要求1所述的传输表空间自动迁移方法，其特征在于，通过Zabbix连接源端数据库，获取需要迁移源端数据库的表空间，具体包括：从Zabbix获取连接信息，连接至源端数据库，获取需要迁移远端数据库的表空间、版本、用户、总量，确定迁移数据的大小，所述迁移数据包括表空间的数量，索引，无效对象、函数、序列。3.根据权利要求1所述的传输表空间自动迁移方法，其特征在于，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复具体还包括：通过dbms_file_transfer方法将XTTS的对应的数据文件从源端数据库传输到目标端数据库的最终位置，将数据从源端数据库传到目标端数据库，并进行格式转换。4.根据权利要求1所述的传输表空间自动迁移方法，其特征在于，通过XTTS的形式对源端数据库到目标端数据库进行全量备份恢复前还包括：校验迁移环境信息，所述迁移环境信息包括用户、目录、proc、数据量、源端数据库新增表、源端数据库新增用户、源端数据库新增存储过程、清理旧表。5.根据权利要求1所述的传输表空间自动迁移方法，其特征在于，创建传输表空间XTTS迁移过程中需要的相关目录具体包括：创建传输表空间XTTS迁移过程中需要的相关目录，使目标端数据库的目录大小与源端数据库对应的目录大小相等，并...

【专利技术属性】
技术研发人员：李永辉，裴照华，郭强，鄢兵安，彭庆军，王峥，李远，
申请(专利权)人：中国移动通信集团公司，中国移动通信集团河南有限公司，
类型：发明
国别省市：北京,11