数据迁移的方法和系统技术方案

本发明专利技术公开了一种数据迁移的方法和系统，旨在解决现有的数据迁移操作复杂，效率低下，成本高昂，对海量数据迁移几乎难以实现的缺陷。该方法包括以下的步骤：读取需要迁移的磁带中的源数据；检测源数据磁带格式；识别出磁带格式后，根据该磁带格式结构，对数据进行转换和处理，提取其中的有效数据；检测数据文件格式，所述文件格式是指数据还原到磁盘上的存储格式；识别出数据文件格式后，对其中的记录和字段进行转换和处理，同时根据转换策略，在记录和字段之间添加标签，生成中间文件，再将生成的中间文件打包输出到目标存储单元中。本发明专利技术用于将超过一定时间期限的磁带源数据迁移到新的目标存储单元上的场合。

【技术实现步骤摘要】

本专利技术涉及计算机系统数据处理领域，具体而言，是一种磁带数据迁移的方法和 系统。
技术介绍
在金融、保险等诸多行业的计算机应用系统中，存在大量备份输出到磁带、磁盘、 光盘或本领域已知的任何存储单元(下面简称为磁带)上的历史数据，这些历史数据作为 企事业单位珍贵的信息资料和数字资产，需要长期保存和利用。但是，一方面由于磁带有一 定生命周期，随着保存时间的增加，磁带会逐渐老化，超过一定期限后，磁带上的数据存在 损坏或丢失的风险；另一方面，随着计算机硬件和软件技术的发展和升级，原有的备份系统 和平台(如数据库系统、业务系统等)逐渐的退出应用或被新的系统取代，而在原系统下备 份的数据则需要经过转换处理才能在新的系统环境下使用。因此，需要定期将超过一定时 间期限的原磁带数据迁移到新的目标存储单元上，在迁移的操作中，根据应用场景还需要 对数据的编码进行转换和处理，以保证数据在新的环境下能正确的保存、读取和使用。现有的磁带数据迁移方式是首先在源数据备份平台和系统环境中，将磁带数据 还原读取到计算机的磁盘存储单元中，然后利用原平台的数据恢复命令再对磁盘存储单元 中的数据转换和处理成所需的格式后，再输出到新的目标存储单元上。该方式虽然能够完 成数据的迁移，但也存在着一个致命的缺陷由于各种磁带上保存的数据时间跨度大，每个 时间段所用的软、硬件平台版本都有所区别，因此数据所涉及的软、硬件平台种类繁多，而 随着系统的升级更新，原有的设备和环境已被替换或淘汰，为了迁移在这些平台环境下备 份的原磁带数据，需要投入和耗费大量的人力和设备资源创建一个与原备份数据相同的平 台环境，然后才能将其中备份的数据迁移到新的目标存储单元上，这种方式不仅操作相当 复杂，而且效率极其低下，成本十分高昂，因此，对于海量数据迁移来说几乎难以实现和完 成。
技术实现思路
本专利技术的目的在于针对现有磁带和其他存储单元中的数据迁移过程依赖于源数 据特定的平台和环境，因此使迁移工序复杂、效率低下、成本高昂的问题，而提供一种新的 数据迁移方法和系统，以简化迁移工序，提高迁移效率，大大降低迁移的成本，使海量数据 迁移变得简单易行。为了实现上述的目的，本专利技术提出了一种新的数据迁移的方法和系统。本专利技术的 核心是源数据的迁移不需要依赖特定的平台和应用系统，而是通过对磁带格式和文件格式 的自动检测和解码，提供一个通用的数据迁移平台，在这个平台下，可对所有已知格式的磁 带数据进行迁移。上述的数据迁移系统包括一个或多个数据读取模块，一个格式特征库，一个格式 检测模块，一个数据转换模块，一个或多个打包输出模块。数据读取模块用于读取需要迁移的源数据。格式特征库是用于存储磁带格式和文件格式特征匹配规则，每种格式对应一条 或多条匹配规则，这些规则能够唯一识别对应格式的数据；格式检测模块是用于检测数据 的磁带格式和文件格式，当收到检测请求时，系统根据格式特征库中的匹配规则，对输入数 据进行格式匹配，输出匹配结果；数据转换模块是根据格式检测结果，对指定格式的数据解 码和转换。生成中间文件；数据打包输出模块是将中间文件打包输出到目标存储单元中。数据读取模块从原存储单元读取源数据，该源数据输入到格式检测模块中，当格 式检测模块收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹 配，输出匹配结果；该结果输入到数据转换模块中，在数据转换模块中对指定格式的数据解 码和转换，生成中间文件；该中间文件输入到数据打包输出模块中，打包后存储到目标存储 单元中，完成数据的迁移。基于上述迁移系统，本专利技术提出了一种数据迁移方法，本方法包括以下的步骤1、读取需要迁移的原磁带中的数据。2、检测源数据磁带格式，所述磁带格式是指数据在磁带上的存储格式，其中至少 包含一个或若干个数据块，可能还包含若干个用于描述磁带格式和数据信息的标签。识别 出磁带格式后，根据该磁带格式结构，对数据进行转换和处理，提取其中的有效数据。3、检测数据文件格式，所述文件格式是指数据还原到磁盘上的存储格式，常见的 文件格式是结构化的数据集，在结构化的文件结构中，一个文件包含若干条记录，每条记录 包含若干字段。识别出数据文件格式后，对其中的记录和字段进行转换和处理，同时根据转 换策略，在记录和字段之间添加标签(Tag)，生成中间文件。4、将步骤3中生成的中间文件打包输出到目标存储单元中。本专利技术的有益效果是，与现有技术相比较，本专利技术中采用了自动识别数据的磁带 格式、文件格式，并对其进行解码和转换，生成中间文件，然后再打包输出。使得数据迁移过 程不依赖于特定的备份平台和应用系统，可以在一个平台上对其它所有平台的数据进行迁 移，实现了跨平台的数据迁移，降低了迁移过程的复杂度，提高了迁移效率，降低了迁移成 本，是海量数据迁移的优选方法。为了使本专利技术更加清晰和便于理解，下面通过附图和实施例对其做进一步详细说 明。附图说明图1为本专利技术的实施例之系统示意方框图。图2为本专利技术所述数据迁移方法的流程图；图3为图2中的磁带格式解码流程图；图4为图2中的文件格式解码流程图。具体实施例方式参看图1。本专利技术的数据迁移系统包括一个或多个数据读取模块20，对于磁带数 据迁移，常用的读取模块为与磁带型号兼容的磁带驱动器；一个格式特征库30，格式特征 库是用于存储磁带格式和文件格式特征匹配规则，每种格式对应一条或多条匹配规则，这 些规则能够唯一识别对应格式的数据；一个格式检测模块40，格式检测模块是用于检测数据的磁带格式和文件格式；一个数据转换模块50，数据转换模块是根据格式检测结果，对 指定格式的数据解码和转换，生成中间文件；一个或多个打包输出模块60，数据打包输出 模块是将中间文件打包输出到目标存储单元中。数据读取模块20从原存储单元10中读取 需要迁移的源数据，源数据可以包括文件、文件系统、程序、多媒体文件、数据库、数据集、逻 辑目录和逻辑卷等。该源数据输入到格式检测模块40中，当格式检测模块40收到检测请 求时，系统根据格式特征库30中的匹配规则，对输入数据进行格式匹配，输出匹配结果；该 结果输入到数据转换模块50中，在数据转换模块50中对指定格式的数据解码和转换，生成 中间文件；该中间文件输入到数据打包输出模块60中，打包后存储到目标存储单元70中， 完成数据的迁移。参照图2所示，本专利技术所述数据迁移方法包括以下的步骤步骤101，读取原磁带数据，将需要迁移的数据从原磁带转移到计算机内存单元 中，在一个具体的实施方案中，该项操作可由磁带驱动器或其它可存取磁带数据的设备完 成。计算机读出的数据中，包含了磁带格式和文件格式等附加信息，将这种带磁带格式的数 据称之为原始磁带数据。步骤102，磁带格式解码，首先对原始磁带数据进行磁带格式检测和识别，然后根 据识别结果，按照磁带格式的结构，对原始磁带数据进行解码和转换，过滤其中的磁带格式 的附加信息，生成文件数据。步骤103，文件格式解码，首先对文件数据进行文件格式检测和识别，然后根据识 别结果，按照文件格式的结构，对文件数据进行解码和转换，生成中间文件。步骤104，数据打包输出，按照预定的打包输出策略，将中间文件重新组织输出到 目标存储单元，所述输出策略可以选择下列其中的一种或两种的组合1、根据文件中数据内容本文档来自技高网...

【技术保护点】
１．一种数据迁移的系统，其特征是包括：一个或多个数据读取模块，数据读取模块用于读取需要迁移的源数据；一个格式特征库，格式特征库是用于存储磁带格式和文件格式特征匹配规则，每种格式对应一条或多条匹配规则，这些规则能够唯一识别对应格式的数据；一个格式检测模块，格式检测模块是用于检测数据的磁带格式和文件格式，当收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹配，输出匹配结果；一个数据转换模块，数据转换模块是根据格式检测结果，对指定格式的数据解码和转换。生成中间文件；一个或多个打包输出模块，数据打包输出模块是将中间文件打包输出到目标存储单元中；数据读取模块从原存储单元读取源数据，该源数据输入到格式检测模块中，当格式检测模块收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹配，输出匹配结果；该结果输入到数据转换模块中，在数据转换模块中对指定格式的数据解码和转换，生成中间文件；该中间文件输入到数据打包输出模块中，打包后存储到目标存储单元中，完成数据的迁移。

【技术特征摘要】

【专利技术属性】
技术研发人员：张建平，范国华，冯利来，
申请(专利权)人：深圳市智骏数据科技有限公司，
类型：发明
国别省市：94[中国|深圳]