一种数据库迁移数据的验证方法及系统技术方案

本发明专利技术披露了一种数据库迁移数据的验证方法及系统，其中系统除了包括各类型的源数据库和目标数据库外，还包括：数据分块模块分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；数据块管理模块对该样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。本发明专利技术通过将源数据库和目标数据库各自通过样本抽取获得的块基本信息进行比对，来验证数据库的迁移数据，大大减轻了以往大量数据比对的重负。

【技术实现步骤摘要】
【专利摘要】本专利技术披露了一种数据库迁移数据的验证方法及系统，其中系统除了包括各类型的源数据库和目标数据库外，还包括：数据分块模块分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；数据块管理模块对该样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。本专利技术通过将源数据库和目标数据库各自通过样本抽取获得的块基本信息进行比对，来验证数据库的迁移数据，大大减轻了以往大量数据比对的重负。【专利说明】 一种数据库迁移数据的验证方法及系统
本专利技术涉及对计算机数据库数据进行提取、转换及加载01-11181:1011-108(11118)技术，尤其涉及对数据库迀移数据进行验证的方法及系统。
技术介绍
数据验证是指，数据提供方为保证数据的完整性用一种指定的算法对源数据库的原始数据计算出一个校验值，数据接收方用同样的算法对目标数据库的迀移数据计算校验值，如果与数据提供方对原始数据计算的校验值相同，说明迀移的数据是完整的。 随着云计算、大数据等新型技术的发展，对数据验证的高效和精准要求越来越高。由于应用中数据量的增加速度远远超过数据验证分析技术发展的步伐，如何有效地提高数据库系统对数据的验证效率和确保数据的完整性，已成为数据库系统急需解决的技术问题。 传统数据库对数据的验证方法一般通过基本的结构化查询语言(3亂，8^1-110^111-6(101161-7 的语句或脚本对源数据库的原始数据和目标数据库的迀移数据进行人工比对查询，它不仅包括对基本数据库对象(数据库结构、表、存储过程、视图、索引以及触发器)的约束及规则运用等，且还包括对数据库其它特有设置的检查，譬如默认设置、游标、内置函数、系统变量等。可见这种方式是通过查询大量的数据实现的，由此会极大地影响验证的效率和准确性，造成数据库迀移周期过长，并使得业务长时间暂停；更严重的是它往往无法针对大的数据对象进行快速、高效的验证。显见得传统的数据验证方法的各局限性已成为云计算、大数据技术发展的瓶颈。 综上所述，需要提供一种验证数据库迀移数据的方法及系统，能够有效地提高对数据库系统的验证效率并保证数据的完整性。
技术实现思路
本专利技术所要解决的技术问题是提供一种数据库迀移数据的验证方法及系统，能够有效地提高对数据库系统的验证效率并保证数据的完整性。 为了解决上述技术问题，本专利技术提供了一种验证数据库迀移数据的系统，除了包括各类型的源数据库和目标数据库外，还包括相互连接的数据分块模块和数据块管理模块，其中: 数据分块模块，用于分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块； 数据块管理模块，用于对该样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迀移数据完整性的结论。 进一步地， 数据分块模块抽取数据包括全量抽取和/或增量抽取；该全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；该增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式； 数据块管理模块分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。 进一步地，该系统还包括相互连接的数据统计分析模块以及数据比对验证模块，其中: 数据块管理模块还与数据统计分析模块连接，若比对的块基本信息一致，则将迀移数据初步完整的结论发给数据统计分析模块；若比对的块基本信息不一致，则发出迀移数据不完整的告警； 数据统计分析模块分别与各类型的源数据库和目标数据库连接，用于在收到迀移数据初步完整的结论后将源数据库与目标数据库中的表、视图以及序列各模式的数据进行分析计算，生成一个或多个分析数值记录； 数据比对验证模块，用于对源数据库与目标数据库的分析数值记录进行比对，以验证迀移数据的完整性。 进一步地， 数据统计分析模块将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录； 数据比对验证模块对源数据库与目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对，若比对结果未出现差异则验证迀移数据完整，若比对结果出现差异则验证迀移数据不完整。 进一步地， 数据统计分析模块用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及哈希记录或统计分析数值记录进行读写操作； 数据比对验证模块用多个进程或线程同时分别对多个源数据库和目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。 为了解决上述技术问题，本专利技术提供了一种验证数据库迀移数据的方法，包括: 数据抽取步骤:分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块； 初步验证步骤:对样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迀移数据完整性的结论。 进一步地， 数据抽取步骤中抽取数据包括全量抽取和/或增量抽取；全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式； 初步验证步骤分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。 进一步地，将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迀移数据完整性的结论，具体包括: 若比对的块基本信息一致，则得出迀移数据初步完整的结论；若比对的块基本信息不一致，则发出迀移数据不完整的告警； 在得出迀移数据初步完整的结论后，还包括: 统计分析步骤:将源数据库与所述目标数据库中的表、视图以及序列各模式的数据进行统计分析计算，生成一个或多个分析数值记录； 最终验证步骤:对源数据库与目标数据库的数据生成的分析数值记录进行比对，得到最终的迀移数据完整性的验证结论。 进一步地， 统计分析步骤中将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录； 最终验证步骤中将对源数据库与目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对，若比对结果未出现差异则最终验证迀移数据完整，若比对结果出现差异则最终验证迀移数据不完整。 进一步地， 在统计分析步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及哈希记录或所述统计分析数值记录进行读写操作； 在最终验证步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。 本专利技术通过将源数据库和目标数据库各自通过样本抽取获得的本文档来自技高网...

【技术保护点】
一种验证数据库迁移数据的系统，包括各类型的源数据库和目标数据库，其特征在于还包括相互连接的数据分块模块和数据块管理模块，其中：数据分块模块，用于分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；数据块管理模块，用于对所述样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨光，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11