数据查询方法与装置制造方法及图纸

本公开提供一种数据查询方法与装置。数据查询方法包括：持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；存储所述多个宽表以供展示查询。本公开提供的数据查询方法能够解决多表关联查询到速度瓶颈问题，提高查询速度。

Data query method and device

The present disclosure provides a data query method and device. The data query method includes: continuously receiving the operation data from multiple databases that include multiple data elements of a plurality of data objects; temporary storage and processing of the operating data, so that each operating data value in the operating data is uniquely coded; all data elements of a data object are obtained. After that, a data record about the data object is added to a wide table in a plurality of wide tables, and the plurality of wide tables are stored for display. The data query method provided by this public address can solve the problem of multi table associative queries to speed bottleneck and improve query speed.

【技术实现步骤摘要】
数据查询方法与装置
本公开涉及数据库
，具体而言，涉及一种数据查询方法与装置。
技术介绍
物流行业每天产生海量的物流信息，因此，有效管理与查询这些物流信息成为一项必要且紧迫的工作。在现有技术中，查询物流信息的方式通常包括建立由复杂的SQL语句构成的监控报表，但是，这种方式无法实现对物流信息数据进行多节点实时监控。在其他查询物流信息的方式中，还包括基于多个数据库多表关联查询+WEB页面展示的方式开发数据报表。但是，随着业务量的大幅度增加，通过多个数据库进行多表关联查询的方式会由于待查询数据量过大而导致查询超时，在查询速度上遇到瓶颈。此外，由于考虑到系统的稳定性，物流公司通常会对各个业务系统进行拆分，相关的物流信息数据也会被存储到不同的数据库或者其他存储介质中去，现有的数据查询方法在这种数据聚合度不高的情况下，无法实现复杂的多表、多数据库组合查询。因此，需要一种能对复杂数据来源的海量物流信息进行快速查询的数据查询方法。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种数据查询方法与装置，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。根据本公开的第一方面，提供一种数据查询方法。包括：持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；存储所述多个宽表以供展示查询。在本公开的一种示例性实施例中，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。在本公开的一种示例性实施例中，还包括：根据所述操作数据的来源判断所述数据对象所属的宽表。在本公开的一种示例性实施例中，所述使所述操作数据中的每个操作数据值具有唯一编码包括：当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。在本公开的一种示例性实施例中，所述存储所述多个宽表包括：以分库分表方式存储每个宽表。在本公开的一种示例性实施例中，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。在本公开的一种示例性实施例中，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。根据本公开的第二方面，提供一种数据查询装置，包括：数据收集模块，用于持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；数据暂存模块，用于暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；数据添加模块，用于当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；数据存储模块，用于存储所述多个宽表以供展示查询。在本公开的一种示例性实施例中，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。在本公开的一种示例性实施例中，所述数据添加模块还用于根据所述操作数据的来源判断所述数据对象所属的宽表。在本公开的一种示例性实施例中，所述使所述操作数据中的每个操作数据值具有唯一编码包括：当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。在本公开的一种示例性实施例中，所述数据存储模块包括：以分库分表方式存储每个宽表。在本公开的一种示例性实施例中，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。在本公开的一种示例性实施例中，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。本公开提供的数据查询方法通过同时接收多个数据库的数据，暂存数据并对数据进行异步加工以生成查询便利性高的宽表，避免了对海量数据进行多表关联查询，克服了数据来源复杂的数据的查询速度瓶颈。此外，通过使用分库分表的方式对宽表进行最小粒度的存储，解决了在存储海量数据的情况下，单表查询数据量过大导致的查询速度缓慢问题。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示意性示出本公开示例性实施例中一种数据查询方法的流程图。图2示意性示出本公开示例性实施例中数据查询方法用于物流信息查询领域的工作示意图。图3示意性示出本公开示例性实施例中一种数据查询装置的方框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。下面结合附图对本公开示例实施方式进行详细说明。图1示意性示出本公开示例性实施例中一种数据查询方法的流程图。参考图1，数据查询方法100可以包括：步骤S102，持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素。步骤S104，暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码。步骤S106，当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录。步骤S108，存储所述多个宽表以供展示查询。本公开提供的数据查询方法通过同时接收多个数据库的数据，暂存数据并对数据进行异步加工以生成查询便利性高的宽表，避免了对海量数据进行多表关联查询，克服了数据来源复杂的数据的查询速度瓶颈。此外，通过使用分库分表的方式对宽表进行最小粒度的存储，解决了在存储海量数据的情况下，单表查询数据量过大导致的查询速度缓慢问题。下面对数据查询方法100的各步骤进行详细说明。步骤S102，持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素。在本公开的一种本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，包括：持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；存储所述多个宽表以供展示查询。

【技术特征摘要】
1.一种数据查询方法，其特征在于，包括：持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；存储所述多个宽表以供展示查询。2.根据权利要求1所述的数据查询方法，其特征在于，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。3.根据权利要求1所述的数据查询方法，其特征在于，还包括：根据所述操作数据的来源判断所述数据对象所属的宽表。4.根据权利要求1所述的数据查询方法，其特征在于，所述使所述操作数据中的每个操作数据值具有唯一编码包括：当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。5.根据权利要求1所述的数据查询方法，其特征在于，所述存储所述多个宽表包括：以分库分表方式存储每个宽表。6.根据权利要求5所述的数据查询方法，其特征在于，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。7.根据权利要求6所述的数据查询方法，其特征在于，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。8.一种数据查询装置，其特征在于，包括：数据收集...

【专利技术属性】
技术研发人员：武磊磊，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11