数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术的实施例提供了一种数据处理方法、装置、电子设备及存储介质，涉及大数据技术领域。该方法包括：从目标数据库的关联查询请求中获取待查询数据的信息，目标数据库为非关系型数据库；基于待查询数据的信息从目标数据库的数据表中确定一个主表以及至少一个辅表；基于待查询数据的信息从主表中获取主表记录数据，主表记录数据包括主表数据以及至少一个辅表的数据标识；基于数据标识从至少一个辅表中查询辅表数据；以及将查询到的辅表数据与主表记录数据进行组合并返回组合后的数据。本发明专利技术实施例的技术方案能够提高对多个数据表的关联查询的数据处理效率，降低关联查询的时间复杂度，便于设置辅表的查询条件。

Data Processing Method, Device, Electronic Equipment and Storage Media

The embodiment of the present invention provides a data processing method, device, electronic device and storage medium, and relates to the technical field of large data. The method includes: obtaining the information of the data to be queried from the related query request of the target database, and the target database is a non-relational database; determining a main table and at least one auxiliary table from the data table of the target database based on the information of the data to be queried; and obtaining the main table from the main table based on the information of the data to be queried. Recording data, the main table record data includes the main table data and the data identification of at least one auxiliary table; querying the auxiliary table data from at least one auxiliary table based on the data identification; and combining the queried auxiliary table data with the main table record data and returning the combined data. The technical scheme of the embodiment of the present invention can improve the data processing efficiency of the association query of multiple data tables, reduce the time complexity of the association query, and facilitate setting the query conditions of auxiliary tables.

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本专利技术涉及大数据
，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。
技术介绍
随着大数据技术的发展，关系型数据库难以满足海量数据、高并发的处理需求，出现了一些非关系型数据库。目前，非关系型数据库大多不支持多表关联查询。MongoDB数据库虽然提供了数据库级别的多表关联查询方法$lookup，但是，通过$lookup方法进行多表关联查询的查询效率较低，难以满足实际应用中的需求。因此，需要提供一种能够解决上述问题中的一个或多个问题的数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术实施例的目的在于提供一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术实施例的第一方面，提供了一种数据处理方法，包括：从目标数据库的关联查询请求中获取待查询数据的信息，所述目标数据库为非关系型数据库；基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表；基于所述待查询数据的信息从所述主表中获取主表记录数据，所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识；基于所述数据标识从所述至少一个辅表中查询辅表数据；以及将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。在本专利技术的一些实施例中，基于前述方案，在基于所述数据标识从所述至少一个辅表中查询辅表数据之后，所述数据处理方法还包括：将从所述辅表中查询到的辅表数据转换成键值对形式的辅表数据；将所述键值对形式的辅表数据存储到内存存储单元。在本专利技术的一些实施例中，基于前述方案，所述数据处理方法还包括：遍历所述主表记录数据，从所述主表记录数据中获取所述至少一个辅表的数据标识；基于所述数据标识从所述内存存储单元存储的所述键值对形式的辅表数据中查找辅表数据。在本专利技术的一些实施例中，基于前述方案，基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表，包括：基于所述待查询数据的信息确定所述目标数据库中的多个待查询数据表；确定所述多个待查询数据表中的待查询数据之间的逻辑结构关系；基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表。在本专利技术的一些实施例中，基于前述方案，所述逻辑结构关系为树形结构关系，基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表，包括：基于所述待查询数据之间的树形结构关系确定所述多个待查询数据表之间的树形结构关系；将所述多个待查询数据表之间的树形结构关系中处于主干处的数据表作为主表，将处于分支处的数据表作为辅表。在本专利技术的一些实施例中，基于前述方案，将查询到的辅表数据与所述主表记录数据进行组合，包括：将查询到的辅表数据插入到所述主表记录数据中。在本专利技术的一些实施例中，基于前述方案，所述目标数据库为MongoDB数据库。根据本专利技术实施例的第二方面，提供了一种数据处理装置，包括：信息获取单元，用于从目标数据库的关联查询请求中获取待查询数据的信息，所述目标数据库为非关系型数据库；主辅表确定单元，用于基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表；主表查询单元，用于基于所述待查询数据的信息从所述主表中获取主表记录数据，所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识；辅表查询单元，用于基于所述数据标识从所述至少一个辅表中查询辅表数据；数据组合单元，用于将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。根据本专利技术实施例的第三方面，提供了一种电子设备，包括：处理器以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述第一方面所述的数据处理方法。根据本专利技术实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数据处理方法。在本专利技术的一些实施例所提供的技术方案中，一方面，基于待查询数据的信息确定主表和辅表，从主表中获取主表数据以及辅表的数据标识，能够基于辅表的数据标识将主表数据与辅表数据进行关联；另一方面，基于数据标识从辅表中查询数据，将查询到的辅表数据与主表记录数据进行组合后返回，能够实现对非关系型数据库中多个数据表的关联查询，并且提高了关联查询的数据处理效率，降低了关联查询的时间复杂度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了根据本专利技术的一些实施例的数据处理方法的流程示意图；图2示出了根据本专利技术的一些实施例确定主表与辅表的流程示意图；图3示出了根据本专利技术的一些实施例定义的处理主表和辅表数据的类的代码示意图；图4示出了根据本专利技术的一些实施例对目标数据库进行关联查询的流程示意图；图5示出了根据本专利技术的一些实施例的数据处理装置的示意框图；图6示出了适于用来实现本专利技术实施例的电子设备的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本专利技术将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1示出了根据本专利技术的一些实施例的数据处理方法的流程示意图。该数据处理方法应用于非关系型数据库。参照图1所示，在步骤S110中，从目标数据库的关联查询请求中获取待查询数据的信息，所述目标数据库为非关系型数据库。在示例实施例中，目标数据库为非关系型数据库例如MongoDB数据库本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：从目标数据库的关联查询请求中获取待查询数据的信息，所述目标数据库为非关系型数据库；基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表；基于所述待查询数据的信息从所述主表中获取主表记录数据，所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识；基于所述数据标识从所述至少一个辅表中查询辅表数据；以及将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从目标数据库的关联查询请求中获取待查询数据的信息，所述目标数据库为非关系型数据库；基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表；基于所述待查询数据的信息从所述主表中获取主表记录数据，所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识；基于所述数据标识从所述至少一个辅表中查询辅表数据；以及将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。2.根据权利要求1所述的数据处理方法，其特征在于，在基于所述数据标识从所述至少一个辅表中查询辅表数据之后，所述数据处理方法还包括：将从所述辅表中查询到的辅表数据转换成键值对形式的辅表数据；将所述键值对形式的辅表数据存储到内存存储单元。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据处理方法还包括：遍历所述主表记录数据，从所述主表记录数据中获取所述至少一个辅表的数据标识；基于所述数据标识从所述内存存储单元存储的所述键值对形式的辅表数据中查找辅表数据。4.根据权利要求1所述的数据处理方法，其特征在于，基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表，包括：基于所述待查询数据的信息确定所述目标数据库中的多个待查询数据表；确定所述多个待查询数据表中的待查询数据之间的逻辑结构关系；基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表。5.根据权利要求4所述的数据处理方法，其特征在于，所述逻辑结构关系为树形结构关系，基于所述...

【专利技术属性】
技术研发人员：徐宝田，沈寅，
申请(专利权)人：斑马网络技术有限公司，
类型：发明
国别省市：上海,31