数据处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法及装置。所述数据处理方法会在目标数据库中查询迁移数据，以及会在与所述目标数据库具有数据迁移关系的源数据库中查询与所述迁移数据对应的源数据，并将所述迁移数据和所述源数据转换为预设数据结构，再将所述迁移数据与所述源数据进行比较以确定目标数据，根据所述目标数据确定对迁移数据的迁移检测结果。其中，所述目标数据为源数据与迁移数据间存在差异的数据。通过所述方法可以提高对于迁移数据的检测效率，以及提高对于迁移数据的检测准确率。以及提高对于迁移数据的检测准确率。以及提高对于迁移数据的检测准确率。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本专利技术涉及计算机
，具体涉及一种数据处理方法及装置。

技术介绍

[0002]随着大数据相关应用领域的不断发展，数据对于系统的存储需求和分析处理需求越来越高。当原有系统无法满足当前的数据需求时，就需要进行系统升级，并通过数据迁移将原有系统中的数据迁移到存储容量更大，性能更好的新系统中。
[0003]为了能够对迁移前后数据的一致性和正确性进行检测，现有技术通常会由人工抽取一部分迁移数据进行比对验证，但这种方式的检测效率较低，同时检测准确率也较差。

技术实现思路

[0004]有鉴于此,本专利技术实施例提供了一种数据处理方法及装置，以提高对于迁移数据的检测效率，以及提高对于迁移数据的检测准确率。
[0005]第一方面，本专利技术实施例公开了一种数据处理方法，所述方法包括：
[0006]在目标数据库中查询迁移数据；
[0007]在源数据库中查询与所述迁移数据对应的源数据，所述源数据库为与所述目标数据库具有数据迁移关系的数据库；
[0008]将所述迁移数据和所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：在目标数据库中查询迁移数据；在源数据库中查询与所述迁移数据对应的源数据，所述源数据库为与所述目标数据库具有数据迁移关系的数据库；将所述迁移数据和所述源数据转换为预设数据结构；将所述迁移数据与所述源数据进行比较以确定目标数据，所述目标数据为所述源数据与所述迁移数据间存在差异的数据；根据所述目标数据确定对所述迁移数据的迁移检测结果。2.根据权利要求1所述的方法，其特征在于，所述将所述迁移数据与所述源数据进行比较以确定目标数据包括：确定所述源数据与所述迁移数据间的交集数据；将所述源数据与所述交集数据进行比较以确定所述目标数据。3.根据权利要求2所述的方法，其特征在于，所述将所述源数据与所述交集数据进行比较以确定所述目标数据包括：将所述交集数据追加到所述源数据中；对追加所述交集数据后的源数据进行数据去重以确定所述目标数据。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述将所述迁移数据和所述源数据转换为预设数据结构包括：将所述迁移数据和所述源数据转换为基于Pandas的DataFrame数据结构。5.根据权利要求4所述的方法，其特征在于，所述根据所述目标数据确定对所述迁移数据的迁移检测结果包括：响应于检测到不存在所述目标数据，确定对所述迁移数据的迁移检测结果为迁移成功；以及响应于检测到存在所述目标数据，确定对所述迁移数据的迁移检测结果为迁移失败。6.根据权利要求5所述的方法，其特征在于，在确定对所述迁移数据的迁移检测结果为...

【专利技术属性】
技术研发人员：曾玉，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：