【技术实现步骤摘要】
数据迁移的校验方法和装置
本申请涉及互联网技术,尤其涉及一种数据迁移的校验方法和装置。
技术介绍
随着互联网技术的发展,线上购物已经成为很普遍的购物方式,而对于用于提供商品信息的云平台,则需要存储大量的商品信息,以便在用户进行商品购买时将商品信息展示给用户。在对商品信息进行存储的一些场景中,后台开发人员将商品信息的源数据存储在例如Oracle数据库(OracleDatabase)这样的源数据库中,再将商品信息的源数据迁移至线上使用的分布式关系型数据库(DistributeRelationalDatabaseService,简称DRDS)中,以提供线上的商品信息的展示。一般的,为了保证源数据迁移前后的数据总数、数据表中重点字段的总数或重点字段的部分值等具有一致性,需要对迁移前后的数据进行校验。然而,现有技术中对数据迁移前后的校验的方法一般是后台开发人员根据自身经验进行人工校验,即后台开发人员调取源数据库和DRDS数据库中的数据表后,再对两种数据表中包含的信息进行人工识别,一一比对。而对于校验后的结果,则需要后台开发人员 ...
【技术保护点】
1.一种数据迁移的校验方法,其特征在于,包括:/n接收第一校验指令,所述第一校验指令包含待校验数据表的第二描述信息,所述待校验数据表包括N个待校验迁移数据,N为大于零的整数,所述N个待校验迁移数据的描述信息之间的第一相似度大于或等于第一预设相似度;/n获取与所述N个待校验迁移数据对应的N个第一描述信息;其中,所述N个第一描述信息为所述N个待校验迁移数据对应的N个源数据的描述信息,所述N个源数据是源数据库中的数据,所述N个源数据从所述源数据库迁移至目标数据库后形成所述N个待校验迁移数据;/n分别计算所述N个第一描述信息与所述第二描述信息之间的N个第二相似度;/n当N个所述第二 ...
【技术特征摘要】
1.一种数据迁移的校验方法,其特征在于,包括:
接收第一校验指令,所述第一校验指令包含待校验数据表的第二描述信息,所述待校验数据表包括N个待校验迁移数据,N为大于零的整数,所述N个待校验迁移数据的描述信息之间的第一相似度大于或等于第一预设相似度;
获取与所述N个待校验迁移数据对应的N个第一描述信息;其中,所述N个第一描述信息为所述N个待校验迁移数据对应的N个源数据的描述信息,所述N个源数据是源数据库中的数据,所述N个源数据从所述源数据库迁移至目标数据库后形成所述N个待校验迁移数据;
分别计算所述N个第一描述信息与所述第二描述信息之间的N个第二相似度;
当N个所述第二相似度均大于或等于第二预设相似度时,显示数据迁移结果为成功。
2.根据权利要求1所述的方法,其特征在于,还包括:
当N个所述第二相似度中至少一个所述第二相似度小于所述第二预设相似度时,显示所述至少一个第二相似度对应的迁移数据,和/或所述至少一个第二相似度对应的源数据,和/或所述至少一个第二相似度对应的第一描述信息。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取所述源数据库中与所述N个第一描述信息对应的源数据集,所述源数据集中包括S个源数据,每个源数据对应一个第一描述信息,S为大于零的整数,N小于或等于S;
所述当N个所述第二相似度均大于或等于第二预设相似度时,显示数据迁移结果为成功包括:
当N个所述第二相似度均大于或等于第二预设相似度,且N与S相等时,显示数据迁移校验结果为成功。
4.根据权利要求3所述的方法,其特征在于,还包括:
当N小于S时,显示所述S个源数据中的丢失数据,或显示所述S个源数据中的丢失数据的第一描述信息,所述丢失数据的数据量为S与N的差值。
5.根据权利要求1所述的方法,其特征在于,所述分别计算所述N个第一描述信息与所述第二描述信息之间的N个第二相似度包括:
将所述待校验数据表对应的N个第一描述信息转换为N个第一词向量;
将所述待校验数据表的第二描述信息转换为第二词向量;
将N个所述第一词向量和所述第二词向量输入至词向量模型中,得到N个所述第二相似度。
6.根据权利要求1所述的方法,其特征在于,所述目标数据库中存储有多个数据表,所述方法还包括:
将所述目标数据库中至少两个迁移...
【专利技术属性】
技术研发人员:张婷婷,刘春龙,秦国涛,李路鹏,张明莉,曹多,李若曦,吴天威,
申请(专利权)人:中国联合网络通信集团有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。