数据处理方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种数据处理方法、装置、电子设备和存储介质，可以应用于大数据技术领域。该方法包括：响应于接收到来自第一数据库的源数据，解析源数据，得到解析数据，解析数据包括待处理数据；确定与待处理数据相匹配的M个处理步骤和M个数据库接口，数据库接口与处理步骤存在唯一对应关系，M大于等于1；利用M个数据库接口调用N个第二数据库，以便N个第二数据库执行M个处理步骤，N大于等于1；以及接收N个处理结果，并向第一数据库返回N个处理结果，N个处理结果来自N个第二数据库。N个处理结果来自N个第二数据库。N个处理结果来自N个第二数据库。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质


[0001]本公开涉及大数据
，具体涉及一种数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]在数据库改造的应用场景中，开发人员会将源数据库的数据或服务迁移至新数据库，迁移过程中对数据进行改造，以保证迁移的数据或服务适应新数据库。或者，在涉及多个数据库的数据处理场景中，将源数据库的源数据处理为适应新数据库结构的数据，例如，改造数据表。
[0003]现有技术中，涉及多个数据库的数据迁移或数据处理场景，一般由开发人员改造源数据库或目标数据库，或者手动改造待迁移的数据，以保证迁移后或处理后的数据被正常调用。但是，改造数据库或改造数据涉及的处理步骤复杂，导致数据处理时间长、成本高、效率低。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种数据处理方法、装置、电子设备和存储介质。
[0005]根据本公开的第一个方面，提供了一种数据处理方法，包括：
[0006]响应于接收到来自第一数据库的源数据，解析源数据，得到解析数据，解析数据包括待处理数据；
[0007]确定与待处理数据相匹配的M个处理步骤和M个数据库接口，数据库接口与处理步骤存在唯一对应关系，M大于等于1；
[0008]利用M个数据库接口调用N个第二数据库，以便N个第二数据库执行M个处理步骤，N大于等于1；以及
[0009]接收N个处理结果，并向第一数据库返回N个处理结果，N个处理结果来自N个第二数据库。
[0010]根据本公开的实施例，其中，确定与待处理数据相匹配的M个处理步骤和M个数据库接口，包括：
[0011]根据待处理数据的处理类型，确定执行路径，处理类型表征对待处理数据执行的操作类型；
[0012]根据执行路径，确定M个处理步骤；以及
[0013]根据待处理数据的驱动信息，确定与处理步骤对应的数据库接口。
[0014]根据本公开的实施例，其中，执行路径包括传输路径和处理路径；处理步骤包括传输步骤；
[0015]根据执行路径，确定M个处理步骤，包括：
[0016]在确定执行路径为传输路径的情况下，确定与待处理数据相匹配的传输步骤；
[0017]在确定执行路径为处理路径的情况下，确定待处理数据的第一配置参数，第一配
置参数表征待处理数据的处理逻辑；将第一配置参数与第二配置参数进行匹配，确定M个处理步骤，第二配置参数表征预先确定的标准处理逻辑。
[0018]根据本公开的实施例，其中，根据待处理数据的驱动信息，确定与处理步骤对应的数据库接口，包括：
[0019]根据驱动信息，确定与待处理数据相匹配的数据库类型；以及
[0020]根据数据库类型和M个处理步骤，确定M个数据库接口，M个数据库接口用于调用N个第二数据库。
[0021]根据本公开的实施例，其中，解析数据还包括数据类型；在确定与待处理数据相匹配的M个处理步骤和M个数据库接口之前，还包括：
[0022]根据数据类型，对待处理数据进行校验，得到校验结果；以及
[0023]在确定校验结果为通过的情况下，将待处理数据存储至数据传输区的数据队列。
[0024]根据本公开的实施例，其中，数据类型包括文件和代码命令语句；
[0025]根据数据类型，对待处理数据进行校验，得到校验结果，包括：
[0026]在确定数据类型为文件的情况下，根据待处理数据的校验码，确定待处理数据的数据长度；
[0027]在确定数据长度满足预设条件的情况下，确定校验结果为通过；
[0028]在确定数据类型为代码命令语句的情况下，确定校验结果为通过。
[0029]根据本公开的实施例，其中，处理结果包括执行结果和执行数据，执行数据包括N个第二数据库对待处理数据进行处理后得到的数据；
[0030]接收N个处理结果，并向第一数据库返回N个处理结果，包括：
[0031]按照时间戳，将N个处理结果存储至结果队列；以及
[0032]基于结果队列，向第一数据库批量返回N个处理结果。
[0033]本公开的第二方面提供了一种数据处理装置，包括：
[0034]解析模块，用于响应于接收到来自第一数据库的源数据，解析源数据，得到解析数据，解析数据包括待处理数据；
[0035]确定模块，用于确定与待处理数据相匹配的M个处理步骤和M个数据库接口，数据库接口与处理步骤存在唯一对应关系，M大于等于1；
[0036]调用模块，用于利用M个数据库接口调用N个第二数据库，以便N个第二数据库执行M个处理步骤，N大于等于1；以及
[0037]结果返回模块，用于接收N个处理结果，并向第一数据库返回N个处理结果，N个处理结果来自N个第二数据库。
[0038]本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述数据处理方法。
[0039]本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述数据处理方法。
[0040]本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。
[0041]本公开的实施例通过响应于接收到来自第一数据库的源数据，解析源数据，得到
应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0057]在本公开的技术方案中，所涉及的数据(如包括但不仅限于用户个人信息)的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0058]在数据迁移场景中，需要将源数据库的存量数据和服务迁移至新数据库。针对新数据库，源数据库的存量数据也就是源数据。源数据库的数据库类型和新数据库的数据库类型不同，为了保证源数据库的服务在新数据库正常运行，新数据库能够调用并使用源数据库的源数据，现有技术一般采用下述方法。
[0059]作为一种方法，可以根据新数据库的数据库类型、数据库结构等信息，在源数据库修改源数据的存储形式和服务的程序代码。在完成对源数据和服务的修改之后，将修改后的服务和数据迁移至新数据库，使得新数据库可以正常调用数据和服务。作为另一种方法，可以根据源数据库的数据库类型、数据库结构等信息，在接收到来自源数据库的源数据和服务之后，根据源数据库的数据库类型、数据库结构等信息，在新数据库修改源数据的存储形式和服务的程序代码，使得新数据库可以正常调用数据和服务。
[0060]然而，现有技术种对源数据库或服务的处理都依赖于源数据库或新数据库，对源数据或服务的处理也只能适用于上述源数据库和新数据库。在将源数据库的数据或者新数据库的数据迁移至其他数据库时，仍需重新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：响应于接收到来自第一数据库的源数据，解析所述源数据，得到解析数据，所述解析数据包括待处理数据；确定与所述待处理数据相匹配的M个处理步骤和M个数据库接口，所述数据库接口与所述处理步骤存在唯一对应关系，M大于等于1；利用所述M个数据库接口调用N个第二数据库，以便所述N个第二数据库执行所述M个处理步骤，N大于等于1；以及接收N个处理结果，并向所述第一数据库返回所述N个处理结果，所述N个处理结果来自所述N个第二数据库。2.根据权利要求1所述的方法，其中，所述确定与所述待处理数据相匹配的M个处理步骤和M个数据库接口，包括：根据所述待处理数据的处理类型，确定执行路径，所述处理类型表征对所述待处理数据执行的操作类型；根据所述执行路径，确定所述M个处理步骤；以及根据所述待处理数据的驱动信息，确定与所述处理步骤对应的数据库接口。3.根据权利要求2所述的方法，其中，所述执行路径包括传输路径和处理路径；所述处理步骤包括传输步骤；所述根据所述执行路径，确定所述M个处理步骤，包括：在确定所述执行路径为传输路径的情况下，确定与所述待处理数据相匹配的传输步骤；在确定所述执行路径为处理路径的情况下，确定所述待处理数据的第一配置参数，所述第一配置参数表征所述待处理数据的处理逻辑；将所述第一配置参数与第二配置参数进行匹配，确定所述M个处理步骤，所述第二配置参数表征预先确定的标准处理逻辑。4.根据权利要求2所述的方法，其中，所述根据所述待处理数据的驱动信息，确定与所述处理步骤对应的数据库接口，包括：根据所述驱动信息，确定与所述待处理数据相匹配的数据库类型；以及根据所述数据库类型和所述M个处理步骤，确定所述M个数据库接口，所述M个数据库接口用于调用所述N个第二数据库。5.根据权利要求1所述的方法，其中，所述解析数据还包括数据类型；在所述确定与所述待处理数据相匹配的M个处理步骤和M个数据库接口之前，还包括：根据所述数据类型，对所述待处理数据进行校验，得到校验结果；以及在确定所述校验结果为...

【专利技术属性】
技术研发人员：周鹏飞，廖江亮，张树湘，唐明艳，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：