一种传统数据库到分布式数据库的数据移植方法技术

本发明专利技术提供的一种传统数据库到分布式数据库的数据移植方法包括：历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移植程序；历史明细处理，提前1天处理历史明细，在迁出系统通过批量调度作业系统执行历史明细移植程序；业务数据处理，停机后执行，迁出系统先将主机数据备份恢复至备机，在主机、备机同时进行迁出处理；数据检核、核对，迁出系统完成迁出处理后，需做迁出文件检核，保证迁出准确无误后，根据约定的规则生成迁出报表；目标系统迁入，检核通过后，迁入系统将目标数据转发至目标系统。实现了从传统数据库到分布式数据库的大量、高效数据移植方案。案。案。

【技术实现步骤摘要】
一种传统数据库到分布式数据库的数据移植方法


[0001]本专利技术涉及数据库领域，尤其涉及一种传统数据库到分布式数据库的数据移植方法。

技术介绍

[0002]金融行业基于技术、成本等原因多选择传统集中式数据库用于业务系统的数据存储，如ORACEL、DB2、INFORMIX等，随着信息技术的迅猛发展，各行各业产生的数据量呈爆炸式增长，传统集中式数据库的局限性在面对大规模数据处理中逐渐显露，传统数据库性能受服务器性能约束，上限难以突破，难以应对突发高访问需求。
[0003]分布式数据库是在集中式数据库的基础上发展起来的，是分布式系统与传统数据库技术结合的产物，能够突破传统数据库的瓶颈，具有透明性、数据冗余性、易于扩展性等特点，还具备高可靠、高可用、低成本等优势。
[0004]随着行业发展趋势，越来越多的金融系统从集中式数据库转向分布式数据库，在此过程中面临的最大文件就是数据移植，且金融行业核心系统对停机时间有严格要求，因此核心类系统数据库切换的一大痛点在与数据移植时间。
[0005]因源系统、目标系统不同，数据移植人员偏好不同，不同金融系统的数据移植执行方案各有千秋，无统一的设计模式。

技术实现思路

[0006]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种传统数据库到分布式数据库的数据移植方法。
[0007]根据本专利技术的一个方面，提供了一种传统数据库到分布式数据库的数据移植方法包括：
[0008]历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移植程序；
[0009]历史明细处理，提前1天处理历史明细，在迁出系统通过批量调度作业系统执行历史明细移植程序；
[0010]业务数据处理，停机后执行，迁出系统先将主机数据备份恢复至备机，在主机、备机同时进行迁出处理；
[0011]数据检核、核对，迁出系统完成迁出处理后，需做迁出文件检核，保证迁出准确无误后，根据约定的规则生成迁出报表；
[0012]目标系统迁入，检核通过后，迁入系统将目标数据转发至目标系统。
[0013]可选的，所述历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移植程序具体包括：
[0014]将2022年全年历史报表导出为数据文件，迁出完成后通知迁入执行；
[0015]将数据文件传输至中间库系统并加载数据，迁入系统通过Kettle调用报表处理作
业，将数据准换至新系统格式的报表信息，并转发至目标系统存储。
[0016]可选的，所述历史明细处理，提前1天处理历史明细，在迁出系统通过批量调度作业系统执行历史明细移植程序具体包括：
[0017]将前三个月的历史交易明细导出为数据文件，迁出完成后通知迁入执行；将数据文件传输至中间库系统并加载数据，迁入系统通过Kettle调用历史明细处理作业，将数据准换至新系统格式的历史明细信息，并转发至目标系统存储。
[0018]可选的，所述业务数据处理，停机后执行，迁出系统先将主机数据备份恢复至备机，在主机、备机同时进行迁出处理具体包括：
[0019]在主机、备机同时进行迁出处理，根据两台机器的性能，分配对应的调度作业，最终保证两者能同时完成数据导出；
[0020]将数据文件传输至中间库系统并加载数据，迁入系统通过Kettle调用移植处理作业，进行数据检核、业务数据转换，将数据准换至新系统格式的业务数据信息，并转发至目标系统存储。
[0021]可选的，所述数据检核、核对，迁出系统完成迁出处理后，需做迁出文件检核，保证迁出准确无误后，根据约定的规则生成迁出报表具体包括：
[0022]迁入系统在导入迁入数据后先做数据检核，检核通过后执行数据转换，数据转换完成后需对目标数据做数据检核，检核通过后，根据约定的规则生成迁入报表；
[0023]通过技术工具对迁出迁入报表进行核对，另需要对报表进行人工抽样核对。
[0024]可选的，所述目标系统迁入，检核通过后，迁入系统将目标数据转发至目标系统具体包括：
[0025]目标系统迁入，检核通过后，迁入系统将目标数据转发至目标系统，目标系统获取到全量业务数据，开始新系统业务。
[0026]本专利技术提供的一种传统数据库到分布式数据库的数据移植方法包括：历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移植程序；历史明细处理，提前1天处理历史明细，在迁出系统通过批量调度作业系统执行历史明细移植程序；业务数据处理，停机后执行，迁出系统先将主机数据备份恢复至备机，在主机、备机同时进行迁出处理；数据检核、核对，迁出系统完成迁出处理后，需做迁出文件检核，保证迁出准确无误后，根据约定的规则生成迁出报表；目标系统迁入，检核通过后，迁入系统将目标数据转发至目标系统。实现了从传统数据库到分布式数据库的大量、高效数据移植方案。
[0027]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0028]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]图1为本专利技术实施例提供的一种传统数据库到分布式数据库的数据移植方法的流
程图。
具体实施方式
[0030]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0031]本专利技术的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0032]下面结合附图和实施例，对本专利技术的技术方案做进一步的详细描述。
[0033]本实施例的迁出系统为INFORMIX系统，迁出通过嵌入式C语言程序编写的批量调度作业系统将迁出系统业务数据导出为数据文件，数据传输通过sftp将文件从迁出系统传输至中间库系统，数据转换在中间库系统执行，通过开源工具Kettle调用存储过程实现作业调度、并发处理、日志监控，最后使用Kettle将中间库数据转发至目标系统完成迁入。
[0034]数据移植分为迁出系统迁出、数据文件传输、数据转换、目标系统迁入四部分工作执行。
[0035]如图1所示，基于时间、性能等考虑，将移植方法包括：
[0036]历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种传统数据库到分布式数据库的数据移植方法，其特征在于，所述数据移植方法包括：历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移植程序；历史明细处理，提前1天处理历史明细，在迁出系统通过批量调度作业系统执行历史明细移植程序；业务数据处理，停机后执行，迁出系统先将主机数据备份恢复至备机，在主机、备机同时进行迁出处理；数据检核、核对，迁出系统完成迁出处理后，需做迁出文件检核，保证迁出准确无误后，根据约定的规则生成迁出报表；目标系统迁入，检核通过后，迁入系统将目标数据转发至目标系统。2.根据权利要求1所述的一种传统数据库到分布式数据库的数据移植方法，其特征在于，所述历史报表处理，提前N天处理历史报表，在迁出系统通过批量调度作业系统执行报表移植程序具体包括：将2022年全年历史报表导出为数据文件，迁出完成后通知迁入执行；将数据文件传输至中间库系统并加载数据，迁入系统通过Kettle调用报表处理作业，将数据准换至新系统格式的报表信息，并转发至目标系统存储。3.根据权利要求1所述的一种传统数据库到分布式数据库的数据移植方法，其特征在于，所述历史明细处理，提前1天处理历史明细，在迁出系统通过批量调度作业系统执行历史明细移植程序具体包括：将前三个月的历史交易明细导出为数据文件，迁出完成后通知迁入执行；将数据文件传输至中间库系统并加载数据，迁入系统通过Kettle调用历史明细处...

【专利技术属性】
技术研发人员：张金毅，
申请(专利权)人：天津银行股份有限公司，
类型：发明
国别省市：