本申请涉及数据处理技术领域，揭露一种基于字段类型的数据处理方法、装置、设备及存储介质，其中方法包括接收数据迁移指令，获取数据迁移指令对应的待迁移数据；识别待迁移数据中的字段类型；匹配字段类型对应的预设配置文件，获取字段类型对应的预设校验规则和预设修正规则；在对待迁移数据迁移过程中，通过预设校验规则对迁移数据进行校验处理，得到异常数据；通过预设修正规则对异常数据进行修正处理，得到修正数据；将修正数据重新加入到待迁移数据中进行数据迁移，并输出修正数据对应的日志信息。本申请还涉及区块链技术，待迁移数据存储于区块链中。本申请通过在数据迁移过程中对数据进行校验和修正，以提高数据迁移的效率。率。率。
【技术实现步骤摘要】
基于字段类型的数据处理方法、装置、设备及存储介质
[0001]本申请涉及数据处理
，尤其涉及一种基于字段类型的数据处理方法、装置、设备及存储介质。
技术介绍
[0002]随着开源数据库的应用和云计算的发展，出现了越来越多的数据跨数据库迁移的需求。所谓的数据迁移是指，根据提供的数据迁移的工具，按照指定的步骤和规则，将一种数据库(源数据库)的数据导出，以其他语句或者数据文件的形式，装载到目标数据库中。
[0003]在现有的数据迁移方式中，直接根据预设的迁移规则，对数据进行迁移。但是，在数据迁移过程中，由于数据是跨数据库迁移的，往往会产生一些异常数据，导致数据迁移过程中断，这时候需要重新修改数据的映射程序，这样导致了数据迁移效率低下。现亟需一种能够在数据迁移对数据进行校验和修正，以提高数据迁移的效率的方法。
技术实现思路
[0004]本申请实施例的目的在于提出一种基于字段类型的数据处理方法、装置、设备及存储介质，在数据迁移过程中对数据进行校验和修正，以提高数据迁移的效率。
[0005]为了解决上述技术问题，本申请实施例提供一种基于字段类型的数据处理方法，包括：
[0006]接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据；
[0007]识别所述待迁移数据中的字段类型；
[0008]匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则；
[0009]在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据；
[0010]通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据；
[0011]将所述修正数据重新加入到所述待迁移数据中进行数据迁移，并输出所述修正数据对应的日志信息。
[0012]为了解决上述技术问题，本申请实施例提供一种基于字段类型的数据处理装置，包括：
[0013]待迁移数据获取模块，用于接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据；
[0014]字段类型识别模块，用于识别所述待迁移数据中的字段类型；
[0015]预设规则获取模块，用于匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则；
[0016]待迁移数据校验模块，用于在对所述待迁移数据迁移过程中，通过所述预设校验
规则对所述迁移数据进行校验处理，得到异常数据；
[0017]异常数据修正模块，用于通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据；
[0018]修正数据加入模块，用于将所述修正数据重新加入到所述待迁移数据中进行数据迁移，并输出所述修正数据对应的日志信息。
[0019]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于字段类型的数据处理方法。
[0020]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于字段类型的数据处理方法。
[0021]本专利技术实施例提供了一种基于字段类型的数据处理方法、装置、设备及存储介质。本专利技术实施例通过接收数据迁移指令，并根据数据迁移指令，获取数据迁移指令对应的待迁移数据；识别待迁移数据中的字段类型；匹配字段类型对应的预设配置文件，并对预设配置文件进行解析，以获取字段类型对应的预设校验规则和预设修正规则；在对待迁移数据迁移过程中，通过预设校验规则对迁移数据进行校验处理，得到异常数据；通过预设修正规则对异常数据进行修正处理，得到修正数据；将修正数据重新加入到待迁移数据中进行数据迁移，并输出修正数据对应的日志信息，实现在数据迁移过程中，对待迁移数据进行校验，得到异常数据，并对异常数据进行及时的修正，使得对待迁移数据的迁移过程不中断，有利于提高数据迁移的效率。
附图说明
[0022]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请实施例提供的基于字段类型的数据处理方法的应用环境示意图；
[0024]图2根据本申请实施例提供的基于字段类型的数据处理方法的一实现流程图；
[0025]图3是本申请实施例提供的基于字段类型的数据处理方法中子流程的一实现流程图；
[0026]图4是本申请实施例提供的基于字段类型的数据处理方法中子流程的又一实现流程图；
[0027]图5是本申请实施例提供的基于字段类型的数据处理方法中子流程的又一实现流程图；
[0028]图6是本申请实施例提供的基于字段类型的数据处理方法中子流程的又一实现流程图；
[0029]图7是本申请实施例提供的基于字段类型的数据处理方法中子流程的又一实现流程图；
[0030]图8是本申请实施例提供的基于字段类型的数据处理方法中子流程的又一实现流程图；
[0031]图9是本申请实施例提供的基于字段类型的数据处理装置示意图；
[0032]图10是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0033]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0034]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0035]为了使本
的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0036]下面结合附图和实施方式对本专利技术进行详细说明。
[0037]请参阅图1，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于字段类型的数据处理方法，其特征在于，包括：接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据；识别所述待迁移数据中的字段类型；匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则；在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据；通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据；将所述修正数据重新加入到所述待迁移数据中进行数据迁移，并输出所述修正数据对应的日志信息。2.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据，包括：在对所述待迁移数据迁移过程中，通过正则匹配的方式，将所述预设校验规则与对应所述字段类型的待迁移数据进行匹配，得到匹配结果；若所述匹配结果为所述待迁移数据与所述预设校验规则不匹配，则将所述匹配结果对应的待迁移数据作为所述异常数据。3.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，在所述在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据之前，所述方法还包括：解析所述数据迁移指令，获取所述待迁移数据对应的迁移规则；将所述待迁移数据进行封装，得到封装数据；根据所述迁移规则，将所述封装数据往目标数据库进行迁移。4.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据，包括：接收所述数据迁移指令；解析所述数据迁移指令，获取源数据表的名称和源数据库的名称；根据所述源数据表的名称和源数据库的名称，构建并执行查询语句以获取所述待迁移数据。5.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述识别所述待迁移数据中的字段类型，包括：遍历所述待迁移数据，获取所述待迁移数据中所有的字段类型标志；通过所述字段类型标志，判断出...
【专利技术属性】
技术研发人员：刘杰，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。