一种数据机房迁移技术方法技术

本发明专利技术公开了一种数据机房迁移技术方法，包括：构建存储池；数据迁移预处理；将目标数据分割为第一子数据和第二子数据；所述第一子数据存储至所述第一存储池，所述第二子数据存储至所述第二存储池；目标数据迁移；当所述元数据服务器应答更新完成，从所述第一存储池删除所述第一子数据，并进行迁移验证。本发明专利技术所述的一种数据机房迁移技术方法，把数据对新系统影响降到最低，在数据转换过程中最大程度避免由数据质量造成的异常中止，保障数据迁移的顺利实施，有效提高文件迁移效率，同时降低文件迁移出错概率，进一步丰富文件分层迁移场景，提升存储系统稳定性，减小虚拟机服务的切换时间，提高系统的处理性能。提高系统的处理性能。提高系统的处理性能。

【技术实现步骤摘要】
一种数据机房迁移技术方法


[0001]本专利技术涉及数据迁移
，特别涉及一种数据机房迁移技术方法。

技术介绍

[0002]对金融企业而言，机房搬迁是一项高风险、高复杂性的系统性工程。在服务器设备机房搬迁过程中如何保障业务系统连续运行，同时避免发生安全生产事件，是技术人员需要面对的艰巨考验。
[0003]金融企业典型的业务系统一般采用双机热备架构部署，日常由主服务器(简称主机)对外服务，应急情况下切换至热备服务器(简称热备机)对外服务。传统机房搬迁方案如下：对主机实施数据备份后，搬迁当日先做主备切换，保证业务系统对外正常服务；然后对原主机实施物理搬迁(通常需要3
‑
5小时)，新机房上架验证正常后实施主、备机数据同步；同步完成后再实施主备切换，恢复到原主机对外服务的初始状态。在物理搬迁过程中如遇主机故障无法快速修复的情况，需在保持热备机对外服务的同时，使用备份数据应急重建主机。
[0004]但大数据量(100T以上量级)服务器的机房搬迁无法采用上述方案：一是数据备份时间过长，影响搬迁进度安排；二是源关系数据库中数据无法保证完美无缺，可能存在错误或格式不符合目标数据库要求，可能存在隐患，造成新系统无法正常运行，造成难以承受的后果。故此，我们提出了一种数据机房迁移技术方法。

技术实现思路

[0005]本专利技术的主要目的在于提供一种数据机房迁移技术方法，可以有效解决
技术介绍
中的问题。
[0006]为实现上述目的，本专利技术采取的技术方案为：一种数据机房迁移技术方法，包括以下步骤：步骤一、构建存储池：预先构建存储性能不同的第一存储池和第二存储池，所述第一存储池的存储性能优于所述第二存储池；步骤二、数据迁移预处理；步骤三、目标数据分隔：将目标数据分割为第一子数据和第二子数据；所述第一子数据存储至所述第一存储池，所述第二子数据存储至所述第二存储池；步骤四、目标数据迁移：当接收到所述目标数据的迁移指令，将从所述第一存储池读取的所述第一子数据写入至所述第二存储池，同时向元数据服务器发送更新所述目标数据的存储位置信息的请求；步骤五、迁移验证：当所述元数据服务器应答更新完成，从所述第一存储池删除所述第一子数据，并进行迁移验证。
[0007]优选的，在所述步骤二中，所述数据迁移预处理具体包括（1）数据验证：
①
防止异常错误造成数据迁移中止，例如：数字中存在字母、字符串
截断、非法日期类型等；
②
审核数据是否满足目标数据库要求；（2）数据清洗：数据清洗对象不仅包含无效数据，也包含违反规则数据和精度不符合指定范围数据，在数据验证阶段确定不符合规则数据，进行清洗或更正。
[0008]优选的，在所述步骤三中，所述将目标数据分割为第一子数据和第二子数据，具体包括：（1）当接收到待写入的目标数据，判断所述目标数据是否大于预设容量阈值；（2）若所述目标数据大于预设容量阈值，将所述目标数据分割为第一子数据和第二子数据；所述第一子数据的空间占用容量值小于所述第二子数据；（3）若所述目标数据小于等于预设容量阈值，将所述目标数据存储至所述第一存储池。
[0009]优选的，在所述步骤四中，所述将从所述第一存储池读取的所述第一子数据写入至所述第二存储池，具体包括以下步骤：（1）在从所述第一存储池中读取所述第一子数据；（2）判断是否从所述第一存储池成功读取所述第一子数据；（3）若从所述第一存储池成功读取所述第一子数据，则将所述第一子数据写入至所述第二存储池；（4）若从所述第一存储池没有成功读取所述第一子数据，则删除所述第二存储池中的垃圾数据，同时发送迁移失败信息。
[0010]优选的，在所述步骤四中，在所述将从所述第一存储池读取的所述第一子数据写入至所述第二存储池之后，还包括：判断所述第一子数据是否成功写入至所述第二存储池；若所述第一子数据没有成功写入至所述第二存储池，则删除所述第二存储池中的垃圾数据，同时发送迁移失败信息。
[0011]优选的，在所述步骤四中，所述向元数据服务器发送更新所述目标数据的存储位置信息的请求之后，还包括：判断所述元数据服务器是否成功更新元数据；若所述元数据服务器未成功更新元数据，则删除所述第二存储池中的垃圾数据，同时发送迁移失败信息；若所述元数据服务器成功更新元数据，则删除所述第一存储池的垃圾数据。
[0012]优选的，所述删除所述第一存储池的垃圾数据之后，还包括：若所述第一存储池中的数据删除操作成功完成，则数据迁移成功；若所述第一存储池中的数据删除操作未成功完成，则数据迁移失败，下次执行数据迁移操作时继续删除所述第一存储池中的垃圾数据。
[0013]优选的，在所述步骤四中，所述向元数据服务器发送更新所述目标数据的存储位置信息的请求包括：向元数据服务器发送更新数据池为所述第二存储池的指令。
[0014]优选的，在所述步骤五中，所述迁移验证方法具体包括系统验证、网络验证、业务验证三方面；所述系统验证需检查迁移后的服务器能否正常开启进入操作系统及系统内其他配置信息与迁移前收集的信息对照无误等；所述网络验证需核查虚拟机的IP 地址是否和源服务器地址保持一致 （如 MAC 地址也需要保持一致），网络连接是否正常及其他安全组信息是否与之前一致；所述业务验证需检查系统内安装的业务系统是否完好，业务运行是否正常，云硬盘内数据资源是否有丢失。
[0015]与现有技术相比，本专利技术具有如下有益效果：1、本专利技术在目标数据分隔前，通过对数据进行预处理，通过验证数据有效性，更正存在的错误，清洗无效数据，减少数据冗余，提高数据质量，尽可能把数据对新系统影响降到最低，在数据转换过程中最大程度避免由数据质量造成的异常中止，保障数据迁移的顺利实施。
[0016]2、本专利技术将待写入的目标数据分割为两部分，各自存储在存储性能不同的第一存储池和第二存储池中，文件分层数据迁移时，只读取性能更优的第一存储池的数据并写入至第二存储池，元数据修改2个存储池为1个存储池，删除时只删除第一存储池中的数据，这样分层的读、写、改元数据、删老数据操作的数据就只有第一存储池的数据，而非文件的全部数据，从而可有效提高文件迁移效率，同时降低文件迁移出错概率，进一步丰富文件分层迁移场景，提升存储系统稳定性。
[0017]3、本专利技术通过对数据进行系统验证、网络验证和业务验证三个方面验证，优化资源利用率，使迁移过程可以结合平台自身的资源调度策略，降低采购成本和运营成本，同时保留选择任何应用程序、操作系统和硬件的自由，在保证迁移成功的前提下提高效率，减小虚拟机服务的切换时间，提高系统的处理性能。
附图说明
[0018]图1为本专利技术一种数据机房迁移技术方法的流程图。
具体实施方式
[0019]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。
[0020]在本专利技术的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据机房迁移技术方法，其特征在于：包括以下步骤：步骤一、构建存储池：预先构建存储性能不同的第一存储池和第二存储池，所述第一存储池的存储性能优于所述第二存储池；步骤二、数据迁移预处理；步骤三、目标数据分隔：将目标数据分割为第一子数据和第二子数据；所述第一子数据存储至所述第一存储池，所述第二子数据存储至所述第二存储池；步骤四、目标数据迁移：当接收到所述目标数据的迁移指令，将从所述第一存储池读取的所述第一子数据写入至所述第二存储池，同时向元数据服务器发送更新所述目标数据的存储位置信息的请求；步骤五、迁移验证：当所述元数据服务器应答更新完成，从所述第一存储池删除所述第一子数据，并进行迁移验证。2.根据权利要求1所述的一种数据机房迁移技术方法，其特征在于：在所述步骤二中，所述数据迁移预处理具体包括：（1）数据验证：
①
防止异常错误造成数据迁移中止，例如：数字中存在字母、字符串截断、非法日期类型等；
②
审核数据是否满足目标数据库要求；（2）数据清洗：数据清洗对象不仅包含无效数据，也包含违反规则数据和精度不符合指定范围数据，在数据验证阶段确定不符合规则数据，进行清洗或更正。3.根据权利要求1所述的一种数据机房迁移技术方法，其特征在于：在所述步骤三中，所述将目标数据分割为第一子数据和第二子数据，具体包括：（1）当接收到待写入的目标数据，判断所述目标数据是否大于预设容量阈值；（2）若所述目标数据大于预设容量阈值，将所述目标数据分割为第一子数据和第二子数据；所述第一子数据的空间占用容量值小于所述第二子数据；（3）若所述目标数据小于等于预设容量阈值，将所述目标数据存储至所述第一存储池。4.根据权利要求1所述的一种数据机房迁移技术方法，其特征在于：在所述步骤四中，所述将从所述第一存储池读取的所述第一子数据写入至所述第二存储池，具体包括以下步骤：（1）在从所述第一存储池中读取所述第一子数据；（2）判断是否从所述第一存储池成功读取所述第一子数据；（3）若从所述第一存储池成功读取所述第一子数据，则将所述第一子数据写...

【专利技术属性】
技术研发人员：许阳，王军，陈文锋，
申请(专利权)人：上海迈裕信息科技有限公司，
类型：发明
国别省市：