数据存储与查询方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供一种数据存储方法，包括以下步骤：响应于数据存储指令，生成表征多个数据表之间的索引关系的抽象树状结构，所述抽象树状结构包括多个节点，每个节点包括种类信息和映射信息，所述种类信息表征所述节点上要存储的数据的种类，所述映射信息用于表征与当前节点具有映射关系的其它节点；获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，形成全量树状结构；从所述全量树状结构中抽取每个节点的主键信息和映射信息，形成主键树状结构，其中所述主键信息与所述种类信息相对应；将所述全量树状结构存储到数据库，并将所述主键树状结构存储为倒排索引。

Data storage and query methods, devices, computer equipment and storage media

【技术实现步骤摘要】
数据存储与查询方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种不依赖于数据库性能的高速数据存储查询方法、装置、计算机设备及存储介质。
技术介绍
随着数据库技术的广泛普及,各类数据信息呈海量高速增长趋势。目前大多数计算机软件的应用场景都是关系型数据库,在关系复杂条件下的查询和存储,会消耗大量的数据库资源,包括存储空间和调用时间,因此在当前行业大数据背景下,随着数据量的增长,很容易到达数据库的瓶颈，严重影响到数据存储以及查询的效率。
技术实现思路
本专利技术的目的是提供一种不依赖于数据库性能的高速数据存储查询方法、系统、计算机设备及存储介质，用于解决现有技术存在的问题。为实现上述目的，本专利技术提供一种高速数据存储方法，包括以下步骤：响应于数据存储指令，生成表征多个数据表之间的索引关系的抽象树状结构，所述抽象树状结构包括多个节点，每个节点包括种类信息和映射信息，所述种类信息表征所述节点上要存储的数据的种类，所述映射信息用于表征与当前节点具有映射关系的其它节点；获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，形成全量树状结构；从所述全量树状结构中抽取每个节点的主键信息和映射信息，形成主键树状结构，其中所述主键信息与所述种类信息相对应；将所述全量树状结构存储到数据库，并将所述主键树状结构存储为倒排索引。进一步地，所述获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，形成全量树状结构的步骤包括：拆解抽象树状结构中的每一个节点，得到待更新数据表，根据所述待存储数据的种类向每张待更新数据表中增加数据。进一步地，所述主键树状结构中还保存有非主键索引，用于表征所述多个数据表中的非主键和主键之间的对应关系。为实现上述目的，本专利技术提供一种高速数据查询方法，包括以下步骤：响应于数据查询指令，获取以倒排索引方式保存的主键树状结构，所述主键树状结构包括多个节点，每个节点对应具有相同主键的一个或多个数据表；将要查询的字段输入所述主键树状结构，获取与所述字段相对应的节点；从与所述节点相对应的数据表中查询目标数据；按输出模式输出所述目标数据。进一步地，所述将要查询的字段输入所述主键树状结构，获取与所述字段相对应的节点的步骤包括以下步骤中的任一种：所述字段为主键，根据主键查询节点；所述字段为非主键，从索引表中查询与所述非主键对应的主键，并根据主键从主键树中查询节点。进一步地，所述按输出模式输出数据包括按指定模式输出数据或者按默认模式输出数据。为实现上述目的，本专利技术提供一种高速数据存储系统，包括：抽象树生成模块，适用于生成表征多个数据表之间的索引关系的抽象树状结构，所述抽象树状结构包括多个节点，每个节点包括种类信息和映射信息，所述种类信息表征所述节点上要存储的数据的种类，所述映射信息用于表征与当前节点具有映射关系的其它节点；全量树生成模块，适用于获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，，形成全量树状结构；主键树生成模块，适用于从所述全量树状结构中抽取每个节点的主键信息和映射信息，形成主键树状结构，其中所述主键信息与所述种类信息相对应；数据存储模块，适用于将所述全量树状结构存储到oracle数据库，并将所述主键树状结构存储为倒排索引。为实现上述目的，本专利技术提供一种数据查询系统，包括：主键树获取模块，适用于响应于数据查询指令，获取以倒排索引方式存储的主键树状结构，所述主键树状结构包括多个节点，每个节点对应具有相同主键的一个或多个数据表；节点获取模块，适用于将要查询的字段输入所述主键树状结构，获取与所述字段相对应的节点；数据查询模块，适用于从与所述节点相对应的数据表中查询目标数据；数据输出模块，适用于按输出模式输出所述目标数据。为实现上述目的，本专利技术还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。为实现上述目的，本专利技术还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。本专利技术提供的高速数据存储与查询方法、装置、计算机设备及存储介质，适用于数据处理
，为海量数据的存储与查询提供一种不依赖于数据库性能的自动化实现方案。本专利技术中的数据库将不再需要维护大量的关系数据和索引,而是引入了大数据背景的高速倒排索引框架ES(elasticsearch)来存储业务关系数据的主键信息，数据库中仅保留数据的细节以及关系的备份。当有查询请求时候，本专利技术会根据条件首先检索倒排索引框架ES，查询到主键信息，再由主键向数据库执行查询，屏蔽了所有的非主键数据库请求,极大提升了检索效率。附图说明图1为本专利技术的数据存储方法实施例一的流程图；图2为本专利技术的数据存储装置实施例一的程序模块示意图；图3为本专利技术的数据存储装置实施例一的硬件结构示意图；图4为本专利技术的数据查询方法实施例一的流程图；图5为本专利技术的数据查询装置实施例一的程序模块示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的高速数据存储与查询方法、装置、计算机设备及存储介质，适用于数据处理
，为海量数据的存储与查询提供一种不依赖于数据库性能的自动化实现方案。本专利技术主要包括数据存储和数据查询两大部分。在数据存储过程中，本专利技术首先获取各个数据表之间的逻辑关系及其主键，根据逻辑关系和主键生成包含多个节点的抽象树来表征上述逻辑关系，其中每个节点具有唯一的主键，并相应地与一个或多个数据表相对应。在进行数据存储时，本专利技术将待更新数据中的数据信息按照抽象树的结构存储到对应的各个节点下的数据表中，同时将仅包含了主键信息的抽象树(即主键树)存储为倒排索引(ES)的形式，并且将除主键之外的其它数据信息保存至oracle数据库。在进行数据查询时，本专利技术会先从倒排索引中调取主键树以明确带查询数据所在的节点，然后再根据节点信息从oracle数据库中查询与该节点所对应的一个或多个数据表。本专利技术的上述方案大大简化了数据查询过程，无需遍历所有的数据表进行查询，从而有效提高了数据存储和查询的效率。实施例一请参阅图1，本实施例的一种高速数据存储方法中，包括以下步骤：S1：响应于数据存储指令，生成表征多个数据表之间的索引关系的抽象树状结构，所述抽象树状结构包括多个节点，每个节点包括种类信息和映射信息，所述种类信息表征所述节点上要存储的数据的种类，所述映射信息用于表征与当前节点具有映射关系的其它节点。本步骤用于首先搭建一个进行数据存储的框架，这个框架已经安排好了不同数据表的存储位置以及数据表之间的映射关系，以便后续往相应的位置上存储具体数据。本专利技术将上述进行数据存储的框架称为抽象树状结构，该抽象树状结构包括多个节点，这里的节点表示的是数据表存储的位置，每个节点对应存储一张或者多张存储表。本专利技术中的节点是按照待存储数据本文档来自技高网...

【技术保护点】
1.一种数据存储方法，包括以下步骤：响应于数据存储指令，生成表征多个数据表之间的索引关系的抽象树状结构，所述抽象树状结构包括多个节点，每个节点包括种类信息和映射信息，所述种类信息表征所述节点上要存储的数据的种类，所述映射信息用于表征与当前节点具有映射关系的其它节点；获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，形成全量树状结构；从所述全量树状结构中抽取每个节点的主键信息和映射信息，形成主键树状结构，其中所述主键信息与所述种类信息相对应；将所述全量树状结构存储到数据库，并将所述主键树状结构存储为倒排索引。

【技术特征摘要】
1.一种数据存储方法，包括以下步骤：响应于数据存储指令，生成表征多个数据表之间的索引关系的抽象树状结构，所述抽象树状结构包括多个节点，每个节点包括种类信息和映射信息，所述种类信息表征所述节点上要存储的数据的种类，所述映射信息用于表征与当前节点具有映射关系的其它节点；获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，形成全量树状结构；从所述全量树状结构中抽取每个节点的主键信息和映射信息，形成主键树状结构，其中所述主键信息与所述种类信息相对应；将所述全量树状结构存储到数据库，并将所述主键树状结构存储为倒排索引。2.根据权利要求1所述的数据存储方法，其特征在于，所述获取待存储数据，根据所述待存储数据的种类将所述待存储数据存储到所述抽象树的对应节点上，形成全量树状结构的步骤包括：拆解抽象树状结构中的每一个节点，得到待更新数据表，根据所述待存储数据的种类向每张待更新数据表中增加数据。3.根据权利要求1所述的数据存储方法，其特征在于，所述主键树状结构中还保存有非主键索引，用于表征所述多个数据表中的非主键和主键之间的对应关系。4.一种数据查询方法，其特征在于，基于权利要求1-3任一数据存储方法，包括以下步骤：响应于数据查询指令，获取以倒排索引方式保存的主键树状结构，所述主键树状结构包括多个节点，每个节点对应具有相同主键的一个或多个数据表；将要查询的字段输入所述主键树状结构，获取与所述字段相对应的节点；从与所述节点相对应的数据表中查询目标数据；按输出模式输出所述目标数据。5.根据权利要求4所述的数据查询方法，其特征在于，所述将要查询的字段输入所述主键树状结构，获取与所述字段相对应的节点的步骤包括以下步骤中的任一种：所述字段为主键，根据主键查询节点；所述字段为非主键，从索引表中查询与...

【专利技术属性】
技术研发人员：黄晓龙，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44