数据处理方法及相关设备技术

本申请提供了一种数据处理方法，该方法确定目标处理业务后，确定与该目标处理业务相关的主表及次表，将次表中的数据记录提取到文件中，并按照主表的键值字段对文件中的数据记录进行排序，排序后的数据记录再存储至临时数据表中，这样临时数据表中的数据记录便与主数据表中数据记录的排序方式相同，即均按照主表的键值字段排序。数据库的预读缓存机制可以按照主表的键值字段读取主数据表中的数据记录到内存后，也可以将临时数据表中相同键值字段的数据记录读取到内存中，从而提高了在内存中同时访问到两个数据表中数据记录的概率，进而提高了数据访问效率。另外，本申请还提供了一种数据处理设备，用以保证所述方法在实际中的应用及实现。

Data processing methods and related equipment

This application provides a data processing method. After determining the target processing service, the method determines the main table and subtable related to the target processing service. The data records in the secondary table are extracted into the file, and the data records in the file are arranged in accordance with the key value fields of the main table, and the sorting data records are stored to the file. In the temporary data table, the data records in the temporary data table are the same as the data records in the main data table, which are all sorted according to the key value fields of the main table. The preread cache mechanism of the database reads the data from the main table to memory in accordance with the key value field of the main table, and reads the data records of the same key value field in the temporary data table to memory, thus improving the probability of accessing the data records in the two data tables at the same time in memory. Data access efficiency. In addition, the application also provides a data processing device to ensure the application and implementation of the method in practice.

【技术实现步骤摘要】
数据处理方法及相关设备
本申请涉及数据库
，更具体地，是数据处理方法及相关设备。
技术介绍
数据库，是建立在计算机存储设备上的仓库，用来按照数据结构来组织、存储和管理数据。数据库管理的一个非常重要的对象是数据表，数据表存储在磁盘等非易失性存储介质中。数据表中包含有若干条数据记录，当业务处理程序(也可称为主程序)需要读取数据表中的数据记录时，会向数据库发送读取指令，数据库可以将非易失性存储介质中的数据记录读取至内存中，在内存中对数据记录进行处理。业务处理程序需要的数据可能存储在多张数据表的字段中，其中包含的字段与业务处理程序所处理的流程最为相关的数据表称为主表，其他数据表称为次表。在区分主表及次表的情况下，业务处理程序在内存中处理数据记录时是以主表为主，即按照内存中主表数据记录的存储顺序，依次对数据记录进行处理，且当读取到一条数据记录时，需要在次表中读取该条数据记录相关的其他字段。但是，次表中的其他字段若并未保存在内存中，数据库需要从磁盘中读取这些字段至内存中。可见，目前的数据处理效率需要多次访问磁盘，处理效率较低。
技术实现思路
有鉴于此，本申请提供了一种数据处理方法，用于解决数据处理过程中主表与次表数据不同步导致的数据处理效率较低的技术问题。为实现所述目的，本申请提供的技术方案如下：第一方面，本申请提供了一种数据处理方法，包括：确定目标处理业务；确定与所述目标处理业务关联的主数据表，并确定所述主数据表中用于指示数据记录排序的键值字段；确定与所述目标处理业务关联的次数据表，并将所述次数据表中的数据记录提取到文件中；其中所述数据记录中包含主数据表中的键值字段；按照所述键值字段对所述文件中的数据记录进行排序；将所述排序后的数据记录存储至目标数据表中。第二方面，本申请提供了一种数据处理装置，包括：处理业务确定模块，用于确定目标处理业务；主表键值确定模块，用于确定与所述目标处理业务关联的主数据表，并确定所述主数据表中用于指示数据记录排序的键值字段；次表数据提取模块，用于确定与所述目标处理业务关联的次数据表，并将所述次数据表中的数据记录提取到文件中；其中所述数据记录中包含主数据表中的键值字段；次表数据排序模块，用于按照所述键值字段对所述文件中的数据记录进行排序；次表数据保存模块，用于将所述排序后的数据记录存储至目标数据表中。本申请提供了一种数据处理方法，该方法确定目标处理业务后，确定与该目标处理业务相关的主表及次表，将次表中的数据记录提取到文件中，并按照主表的键值字段对文件中的数据记录进行排序，排序后的数据记录再存储至临时数据表中，这样临时数据表中的数据记录便与主数据表中数据记录的排序方式相同，即均按照主表的键值字段排序。数据库的预读缓存机制可以按照主表的键值字段读取主表中的数据记录到内存后，也可以将临时数据表中相同键值字段的数据记录读取到内存中，从而提高了在内存中同时访问到两个数据表中数据记录的概率，进而提高了数据访问效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请提供的数据处理方法的一种流程图；图2为本申请提供的数据处理方法的又一种流程图；图3为本申请提供的对文件中的数据记录进行笛卡尔积处理的一种示意图；图4为本申请提供的对文件中的数据记录进行排序的一种示意图；图5为本申请提供的数据处理装置的一种结构示意图；图6为本申请提供的数据处理装置的另一种结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。数据库中一个重要的处理对象为数据表，数据表存储在磁盘等非易失性存储介质中。业务处理程序可以处理业务，在处理业务时需要使用到数据表中的数据记录。当业务处理程序需要使用数据表中的数据记录时，会向数据库发送指令，以使数据库将数据记录从非易失性存储介质读取至内存中。业务处理程序需要的数据可能存储在多个数据表中，这些数据表中某个数据表与业务处理程序最为相关，该数据表可以称为主数据表(可以简称为主表)，其余数据表可以称为次数据表(可以简称为次表)。次数据表中会包含与主数据表中的数据相关的详细数据。需要说明的是，通常地数据表具有多个字段，其中某个字段用于指示数据记录的排序，该字段可以称为键值字段。数据表存储数据时可以按照键值字段的值的某种变化顺序存储。例如，数据表为客户信息表，键值字段为客户编号，数据表存储数据记录时可以按照客户编号由小到大的顺序依次存储。数据库具有预读缓存机制，即当需要读取某条数据记录到内存时，会将包含该条数据记录的前和/或后多条数据记录同时读取到内存中，这样若业务处理程序恰好需要读取的是该条数据记录的下一条数据记录，便可以直接在内存中获得，而无需再访问非易失性存储介质，从而可以提高数据读取效率。主数据表与次数据表之间具有关联关系，即次数据表中包含主数据表中的键值字段。业务处理程序对主数据表及次数据表的关联处理是，按照主数据表中键值字段的顺序，依次访问主数据表中的各个数据记录，当访问到主数据表中的某条数据记录时，需要依据该条数据记录中的键值字段，从次数据表中提取该键值字段对应的数据记录。然而，次数据表自身也具有键值字段，且次数据表的键值字段与主数据表的键值字段通常不同。例如，主数据表为银行系统中的账户信息表，账户信息表主要包含账号、利率、利息增量、应付利息等字段，其中账号为键值字段，也就是说账户信息表中的数据记录是按照账号由小到大的顺序依次排序的；次数据表包括客户信息表，客户信息表主要包含客户编号、客户名称、客户类别、客户地址、客户税码、账号等字段，其中客户编号为键值字段，也就是说客户信息表中的数据记录是按照客户编号由小到大的顺序依次排序的。在这种情况下，数据库的预读缓存机制便不能起到有效的作用。例如，业务处理程序需要访问主数据表中的某条数据记录，该条数据记录可以称为第一数据记录，数据库可以将第一数据记录及其之后的10条数据记录全部读取至内存中，业务处理程序直接从内存中得到第一数据记录。得到主数据表中的第一数据记录后，还需要得到该条数据记录在次数据表中关联的数据记录，次数据表中的该条数据记录可以称为第二数据记录。业务处理程序首先在内存的次数据表中，查找包含第一数据记录的键值字段的第二数据记录，若未查找到，则需要数据库从非易失性存储介质中读取第二数据记录到内存中。需要说明的是，基于预读缓存机制，数据库不仅读取第二数据记录，还可以将第二数据记录之后的10条数据记录。但是，由于主数据表与次数据表的键值字段不同，则预先读取至内存中的主数据表数据记录与次数据表数据记录可能并不对应，也就是说，内存中的主数据表数据记录的键值字段极有可能并不包含在内存中的次数据表数据记录中。这样，业务处理程序按照主数据表中的键值字段读取下一条数据记录时，便不会在内存中的次本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：确定目标处理业务；确定与所述目标处理业务关联的主数据表，并确定所述主数据表中用于指示数据记录排序的键值字段；确定与所述目标处理业务关联的次数据表，并将所述次数据表中的数据记录提取到文件中；其中所述数据记录中包含主数据表中的键值字段；按照所述键值字段对所述文件中的数据记录进行排序；将所述排序后的数据记录存储至目标数据表中。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：确定目标处理业务；确定与所述目标处理业务关联的主数据表，并确定所述主数据表中用于指示数据记录排序的键值字段；确定与所述目标处理业务关联的次数据表，并将所述次数据表中的数据记录提取到文件中；其中所述数据记录中包含主数据表中的键值字段；按照所述键值字段对所述文件中的数据记录进行排序；将所述排序后的数据记录存储至目标数据表中。2.根据权利要求1所述的数据处理方法，其特征在于，在所述将所述次数据表中的数据记录提取到文件中之后，所述按照所述键值字段对所述文件中的数据记录进行排序之前，还包括：若所述次数据表为多个，则将多个所述次数据表对应的文件中的数据记录进行关联操作，并将关联操作后的数据记录保存在目标文件中；则所述按照所述键值字段对所述文件中的数据记录进行排序，包括：按照所述键值字段对所述目标文件中的数据记录进行排序。3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述次数据表中的数据记录提取到文件中，包括：在所述次数据表包含的字段中，确定所述目标处理业务所需的业务字段以及与所述键值字段具有关联关系的关联字段；将所述次数据表中包含所述关联字段及所述业务字段的数据记录提取到文件中。4.根据权利要求1所述的数据处理方法，其特征在于，在将所述次数据表中的数据记录提取到文件中之后，且按照所述键值字段对所述文件中的数据记录进行排序之前，还包括：若所述目标处理业务需要所述次数据表中多个字段的处理结果，则将所述多个字段对应的数据记录进行综合处理，得到目标字段及目标字段对应的数据记录，并将所述目标字段及目标字段对应的数据记录保存在文件中。5.根据权利要求1所述的数据处理方法，其特征在于，还包括：接收到对目标处理业务的处理指令后，按照所述键值字段将所述主数据表中的数据记录及所述目标数据表中的数据记录读取至内存中；依据所述目标处理业务对应的处理方式，对所述主数据表中的数据记录及所述目标数据表中的数据记录进行处理操作。6.一种数据处理装置，其特征在于，包括：处理业务确定模块，用于确定目标处理业务；主表键值确定模块，用于确定与所述目...

【专利技术属性】
技术研发人员：杜世琼，帅红波，王焰炜，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11