一种快速校验集群间的数据迁移的方法及装置制造方法及图纸

本发明专利技术公开了一种快速校验集群间的数据迁移的方法及装置。所述快速校验集群间的数据迁移的方法，包括：获取数据迁移的相关集群的校对数据表；将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中；将所述校验型数据模型中数据内容发送到多个计算机中；将所述多个计算机反馈的结果写入结果库；将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示。本发明专利技术可避免了对数据表进行切割，同时极大的加速了对迁移数据的准确性的核对过程，还可根据用户需求直接对数据表中某些特定数据列进行核对。

A method and device for quickly verifying data migration between clusters

【技术实现步骤摘要】
一种快速校验集群间的数据迁移的方法及装置
本专利技术涉及计算机集群
，特别涉及一种快速校验集群间的数据迁移的方法及装置。
技术介绍
在计算机集群的使用过程中，经常需要在计算机集群之间进行数据迁移。迁移的数据量往往是海量的数据，这就需要在迁移以后进行校验。在发送方的计算机集群和接受方的计算机集群都有一个与该次数据迁移相关的数据表，校验也是通过核对该数据表之中的内容是否一致。但是，海量的数据迁移，也带来了该数据表中海量的数据量，动辄很多个GB的数据量，是无法直接进行核对的。需要对该数据表进行切割，但是如何选择合适的切割点，也是困扰业界的一个课题。无法直接的对数据表中某些特定数据列进行定制化的对比。使用一台设备进行关于该数据表的单线程的核对任务，效率也不尽如意人。如何妥善的解决上述问题，就成为了业界亟待解决的课题。
技术实现思路
本专利技术提供一种快速校验集群间的数据迁移的方法及装置，用以避免了对数据表进行切割，同时极大的加速了对迁移数据的准确性的核对过程，还可根据用户需求直接对数据表中某些特定数据列进行核对。根据本本文档来自技高网...

【技术保护点】
1.一种快速校验集群间的数据迁移的方法，其特征在于，包括：/n获取数据迁移的相关集群的校对数据表；/n将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中；/n将所述校验型数据模型中数据内容发送到多个计算机中；/n将所述多个计算机反馈的结果写入结果库；/n将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示。/n

【技术特征摘要】
1.一种快速校验集群间的数据迁移的方法，其特征在于，包括：
获取数据迁移的相关集群的校对数据表；
将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中；
将所述校验型数据模型中数据内容发送到多个计算机中；
将所述多个计算机反馈的结果写入结果库；
将所述结果库中的校验结果通过web页面或者相应的展示文件进行展示。


2.如权利要求1所述的方法，其特征在于，所述获取数据迁移的相关集群的校对数据表，包括：
分析出数据迁移相关的发送方集群和接受方集群的数量，其中，所述发送方集群和所述接受方集群的数量都可以为多个；
获取数据迁移的各个发送方集群和各个接受方集群的校对数据表。


3.如权利要求1所述的方法，其特征在于，所述将所述数据迁移的相关集群的校对数据表中的数据，有选择性的存储在校验型数据模型中，包括：
根据预设的过滤器，对所述校对数据表进行过滤式读取；
将过滤式读取的数据存储在预设的校验型数据模型中。


4.如权利要求1所述的方法，其特征在于，所述将所述校验型数据模型中数据内容发送到多个计算机中，包括：
将所述存入数据后的校验数据模型转化为多个分布式内存型数据集合；
将所述多个分布式内存型数据集合发送到多个计算机，并附带令接收端的计算机进行校验运算的指令。


5.如权利要求1所述的方法，其特征在于，所述将所述多个计算机反馈的结果写入结果库，包括：
收集所述多个计算机的校验运算的结果；
拼接所述多个计算机的校验运算的结果并写入结果库。


6...

【专利技术属性】
技术研发人员：马强，
申请(专利权)人：无线生活杭州信息科技有限公司，
类型：发明
国别省市：浙江;33