一种系统间数据迁移方法及装置制造方法及图纸

本发明专利技术/发明专利技术提供一种系统间数据迁移方法及装置，该系统间数据迁移方法包括：根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序；根据源系统和目标系统的数据库类型导出源系统的待迁移数据；调用迁移程序将待迁移数据迁移至目标系统。通过实施本发明专利技术，自动生成风格统一、质量可靠的迁移程序，减少系统间数据迁移的人力投入，大幅减少开发工作量，提高生产效率。

【技术实现步骤摘要】

本专利技术涉及数据处理技术，具体的讲是一种系统间数据迁移方法及装置。
技术介绍
计算机技术的发展日新月异，旧系统在使用较长一段时间后，在功能性、技术先进性、可扩展性和易用性等方面逐渐无法适应企业要求，在使用新的技术和架构搭建新的系统后，可以更好的为企业服务。由于新的系统和旧的系统存在技术和架构上的差异，旧系统的存量数据不能使用已有的技术方案直接平移到新的系统，需要按照一定的规则编写迁移程序，将旧系统的数据经过程序处理后再导入到新系统,以满足新系统的使用要求。为了保证系统对客户服务的连续性，新旧系统需要在较短的时间内平稳过渡，投产时间窗非常有限。在旧系统规模庞大，存储信息的数据表成百上千，数据表保存上亿级别的记录且单条记录的信息段也较多的情况下，现有的数据迁移，迁移效率低，无法确保在有限的投产时间窗内完成新旧系统间的数据迁移；迁移过程出现错误中断频率较高，需要人工接管；迁移过程中出现错误中断，排除错误后无法在中断处继续迁移，只能全部重新开始；没有统一的日志记录规范，迁移完成后没有有效的手段对数据迁移正确性进行核对；依靠开发人员手工编写迁移程序，工作量巨大，有限的开发资源无法在项目周期内完成任务。大量重复机械的人工编码容易引入非技术性缺陷。不同开发人员的程序风格各异，质量参差不齐，无法保证数据迁移的准确性，且不利于对移行结果进行统一的校验。
技术实现思路
本专利技术实施例提供了一种系统间数据迁移方法，包括：根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序；根据源系统和目标系统的数据库类型导出源系统的待迁移数据；调用所述迁移程序将所述待迁移数据迁移至所述的目标系统。在一实施例中，上述的系统间数据迁移方法还包括：对迁移后的数据进行数据校验，核对所述迁移后的数据的基本信息与所述待迁移数据的基本信息是否一致；如果是，则迁移成功；否则迁移失败；其中，所述的基本信息至少包括：所述迁移后的数据及待迁移数据的数据量、关键信息、总账及分账信息。在一实施例中，上述的根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序，包括：根据所述源系统和目标系统确定迁移规范及配置信息模板；根据所述待迁移数据及所述配置信息模板生成配置信息表；根据所述迁移规范及配置信息表生成所述的迁移程序。在一实施例中，上述的调用所述迁移程序将所述待迁移数据迁移至所述的目标系统，包括：根据所述待迁移数据的存储特征选取并行条件将所述待迁移数据划分成多个待处理子任务；调用所述迁移程序，按照一预设并行数及各所述待处理子任务的并行参数并行处理所述的待处理子任务，以将所述待迁移数据并行迁移至所述的目标系统。在一实施例中，上述的系统间数据迁移方法还包括：对每一所述待迁移数据添加处理标志附属信息，用以区分已迁移数据，当数据迁移过程中断时，根据所述处理标志附属信息对所述已迁移数据之外的数据继续进行数据迁移。本专利技术实施例还提供一种系统间数据迁移装置，包括：迁移程序生成单元，用于根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序；待迁移数据导出单元，用于根据源系统和目标系统的数据库类型导出源系统的待迁移数据；数据迁移单元，用于调用所述迁移程序将所述待迁移数据迁移至所述的目标系统。在一实施例中，上述的系统间数据迁移装置还包括：数据校验单元，用于对迁移后的数据进行数据校验，核对所述迁移后的数据的基本信息与所述待迁移数据的基本信息是否一致；如果是，则表示迁移成功；否则表示迁移失败；其中，所述的基本信息至少包括：所述迁移后的数据及待迁移数据的数据量、关键信息、总账及分账信息。在一实施例中，上述的迁移程序生成单元具体用于：根据所述源系统和目标系统确定迁移规范及配置信息模板；根据所述待迁移数据及所述配置信息模板生成配置信息表；根据所述迁移规范及配置信息表生成所述的迁移程序。在一实施例中，上述的数据迁移单元具体用于：根据所述待迁移数据的存储特征选取并行条件将所述待迁移数据划分成多个待处理子任务；调用所述迁移程序，按照一预设并行数及各所述待处理子任务的并行参数并行处理所述的待处理子任务，以将所述待迁移数据并行迁移至所述的目标系统。在一实施例中，上述的系统间数据迁移装置还包括：断点续做单元，用于对每一所述待迁移数据添加处理标志附属信息，用以区分已迁移数据，当数据迁移过程中断时，所述断点续做单元根据所述处理标志附属信息对所述已迁移数据之外的数据继续进行数据迁移。本专利技术实施例的有益效果在于，通过构建代码生成器生成风格统一、质量可靠的迁移程序，减少系统间数据迁移的人力投入，大幅减少开发工作量，提高生产效率。为让本专利技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例的系统间数据迁移方法的流程图；图2为根据本专利技术实施例中生成迁移程序的具体过程的流程示意图；图3为根据本专利技术实施例的并行处理调度过程示意图；图4为根据本专利技术实施例的系统间数据迁移装置的机构示意图；图5为源系统及目标系统间进行数据迁移的整个过程的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术主要实现一种系统间数据迁移方法及装置，在数据迁移的过程中通过对各个环节进行技术优化，实现投入更少的人力，在更短的时间内更稳定的实现数据迁移。如图1所示，本专利技术实施例的系统间数据迁移方法主要包括：步骤S101：根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序；步骤S102：根据源系统和目标系统的数据库类型导出源系统的待迁移数据；步骤S103：调用迁移程序将待迁移数据迁移至目标系统。通过上述的步骤S101至步骤S103，本专利技术实施例的系统间数据迁移方法套用模板自动生成高质量的迁移程序，减少系统间数据迁移的人力投入，大幅减少开发工作量，提高生产效率。以下结合示例，对本专利技术实施例的系统间数据迁移方法中的各步骤进行具体说明。上述的步骤S101，根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序。在本专利技术实施例中，是套用模板自动生成高质量的迁移程序，生成该迁移程序的具体过程如图2所示。步骤S201：制定迁移程序应该遵循的通用迁移规范。不同的系统不同的场景可以根据实际情况制定合适的规范，包括但不限于以下规范中的一种或多种：◆输入输出参数规范。相同的场景使用相同个数、相同顺序、相同类型的参数，统一形式，方便调用。参数规范的制定需考虑并发执行、日志记录的需要。举例：IN_AREA_CODE IN VARCHAR2,--日期IN_BATCH_DATE IN VARCHAR2,--地区，支持按地区并发OUT_FLAG OUT VARCHAR2,--错误标识，1-正常本文档来自技高网...

【技术保护点】
一种系统间数据迁移方法，其特征在于，所述的系统间数据迁移方法包括：根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序；根据源系统和目标系统的数据库类型导出源系统的待迁移数据；调用所述迁移程序将所述待迁移数据迁移至所述的目标系统。

【技术特征摘要】
1.一种系统间数据迁移方法，其特征在于，所述的系统间数据迁移方法包括：根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序；根据源系统和目标系统的数据库类型导出源系统的待迁移数据；调用所述迁移程序将所述待迁移数据迁移至所述的目标系统。2.根据权利要求1所述的系统间数据迁移方法，其特征在于，所述的系统间数据迁移方法还包括：对迁移后的数据进行数据校验，核对所述迁移后的数据的基本信息与所述待迁移数据的基本信息是否一致；如果是，则迁移成功；否则迁移失败；其中，所述的基本信息至少包括：所述迁移后的数据及待迁移数据的数据量、关键信息、总账及分账信息。3.根据权利要求1所述的系统间数据迁移方法，其特征在于，根据待迁移数据和预先设置的迁移规范及配置信息模板生成迁移程序，包括：根据所述源系统和目标系统确定迁移规范及配置信息模板；根据所述待迁移数据及所述配置信息模板生成配置信息表；根据所述迁移规范及配置信息表生成所述的迁移程序。4.根据权利要求1所述的系统间数据迁移方法，其特征在于，调用所述迁移程序将所述待迁移数据迁移至所述的目标系统，包括：根据所述待迁移数据的存储特征选取并行条件将所述待迁移数据划分成多个待处理子任务；调用所述迁移程序，按照一预设并行数及各所述待处理子任务的并行参数并行处理所述的待处理子任务，以将所述待迁移数据并行迁移至所述的目标系统。5.根据权利要求1所述的系统间数据迁移方法，其特征在于，所述的系统间数据迁移方法还包括：对每一所述待迁移数据添加处理标志附属信息，用以区分已迁移数据，当数据迁移过程中断时，根据所述处理标志附属信息对所述已迁移数据之外的数据继续进行数据迁移。6.一种系统间数据迁移装置，...

【专利技术属性】
技术研发人员：管涛，贾琳飞，戚云琪，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11