一种数据查询方法、装置及设备制造方法及图纸

本申请提供一种数据查询方法、装置及设备，该方法包括：获取数据请求，所述数据请求包括多个关键字；根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；将所述执行计划发送给计算节点，以使所述计算节点获取所述执行计划中的索引标识对应的数据结构，并查询是否存在与所述数据结构对应的数据。通过本申请的技术方案，可以降低查询操作的计算复杂度比较低，节省数据湖分析系统的计算资源，提高处理性能，节省计算性能和用户成本。

【技术实现步骤摘要】
一种数据查询方法、装置及设备
本申请涉及互联网
，尤其涉及一种数据查询方法、装置及设备。
技术介绍
数据湖分析(DataLakeAnalytics)用于为用户提供无服务器化(Serverless)的查询分析服务，能够对海量的数据进行任意维度的分析和查询，数据湖分析支持高并发、低延时(毫秒级响应)、实时在线分析、海量数据查询等功能。目前，针对文本分析、内容过滤、内容拦截等需求，数据湖分析系统可以进行如下服务：接收用户输入的SQL(StructuredQueryLanguage，结构化查询语言)语句，这个SQL语句可以携带多个关键字。查询数据库的目标字段(如微博、博客、商品详情信息等)是否存在所述多个关键字，如目标字段的每行数据是否存在所述多个关键字，并根据查询结果进行处理。在上述方式中，查询操作的计算复杂度与每行数据的内容成正比，与关键字的数量成正比，与目标字段的行数成正比，如果每行数据的内容比较多，或者关键字比较多，或者目标字段的行数比较多，则查询操作需要消耗很长时间，计算复杂度比较高，而且，查询操作的工作量非常大，需要使用大量资源。
技术实现思路
本申请提供一种数据查询方法，所述方法包括：获取数据请求，所述数据请求包括多个关键字；根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；将所述执行计划发送给计算节点，以使所述计算节点获取所述执行计划中的索引标识对应的数据结构，并查询是否存在与所述数据结构对应的数据。本申请提供一种数据查询方法，所述方法包括：获取执行计划；其中，所述执行计划包括数据结构的索引标识，所述数据结构是根据数据请求包括的多个关键字生成的；获取所述执行计划中的所述索引标识对应的数据结构；查询是否存在与所述数据结构对应的数据。本申请提供一种数据查询方法，所述方法包括：获取数据请求，所述数据请求包括多个关键字；根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；针对待处理的执行计划，获取所述执行计划中的所述索引标识对应的数据结构，并查询数据库中是否存在与所述数据结构对应的数据。本申请提供一种数据查询方法，所述方法包括：获取数据请求，所述数据请求包括多个关键字；根据所述多个关键字生成数据结构；查询数据库中是否存在与所述数据结构对应的数据。本申请提供一种数据查询方法，应用于数据湖分析平台，所述数据湖分析平台用于为用户提供无服务器化的查询分析服务，所述方法包括：获取数据请求，所述数据请求包括多个关键字；根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；针对待处理的所述执行计划，获取所述执行计划中的所述索引标识对应的数据结构，并查询数据库中是否存在与所述数据结构对应的数据；其中，所述数据库包括所述数据湖分析平台提供的云数据库。本申请提供一种数据查询装置，所述装置包括：获取模块，用于获取数据请求，所述数据请求包括多个关键字；生成模块，用于根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；发送模块，用于将所述执行计划发送给计算节点，以使所述计算节点获取所述执行计划中的索引标识对应的数据结构，并查询数据库中是否存在与所述数据结构对应的数据。本申请提供一种数据查询装置，所述装置包括：获取模块，用于获取执行计划；其中，所述执行计划包括数据结构的索引标识，所述数据结构是根据数据请求包括的多个关键字生成的；获取所述执行计划中的所述索引标识对应的数据结构；查询模块，用于查询是否存在与所述数据结构对应的数据。本申请提供一种前端节点设备，包括：处理器和机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：获取数据请求，所述数据请求包括多个关键字；根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；将所述执行计划发送给计算节点，以使所述计算节点获取所述执行计划中的索引标识对应的数据结构，并查询是否存在与所述数据结构对应的数据。本申请提供一种计算节点设备，包括：处理器和机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：获取执行计划；其中，所述执行计划包括数据结构的索引标识，所述数据结构是根据数据请求包括的多个关键字生成的；获取所述执行计划中的所述索引标识对应的数据结构；查询是否存在与所述数据结构对应的数据。基于上述技术方案，本申请实施例中，针对待查询的多个关键字，可以根据多个关键字生成数据结构，并查询数据库中是否存在与该数据结构对应的数据。这样，查询操作的计算复杂度比较低，降低查询操作的时间开销，节省数据湖分析系统的计算资源，提高处理性能，节省计算性能和用户成本。附图说明为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其它的附图。图1是本申请一种实施方式中的数据查询方法的流程图；图2是本申请另一种实施方式中的数据查询方法的流程图；图3是本申请一种实施方式中的数据湖分析系统的结构示意图；图4是本申请一种实施方式中的数据查询方法的流程图；图5A和图5B是本申请一种实施方式中的数据结构的示意图；图6是本申请一种实施方式中的数据查询装置的结构图；图7是本申请一种实施方式中的前端节点设备的硬件结构图；图8是本申请另一种实施方式中的数据查询装置的结构图；图9是本申请一种实施方式中的计算节点设备的硬件结构图。具体实施方式在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，所述方法包括：/n获取数据请求，所述数据请求包括多个关键字；/n根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；/n根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；/n将所述执行计划发送给计算节点，以使所述计算节点获取所述执行计划中的索引标识对应的数据结构，并查询是否存在与所述数据结构对应的数据。/n

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：
获取数据请求，所述数据请求包括多个关键字；
根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；
根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；
将所述执行计划发送给计算节点，以使所述计算节点获取所述执行计划中的索引标识对应的数据结构，并查询是否存在与所述数据结构对应的数据。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多个关键字生成数据结构，为所述数据结构分配索引标识之后，所述方法还包括：
建立所述数据结构与所述索引标识的映射关系；
在指定存储位置存储所述映射关系，以使所述计算节点从所述指定存储位置的映射关系中获取所述执行计划中的索引标识对应的数据结构；
或者，将所述映射关系发送给所述计算节点，以使所述计算节点从自身的映射关系中获取所述执行计划中的索引标识对应的数据结构。


3.根据权利要求2所述的方法，其特征在于，
所述建立所述数据结构与所述索引标识的映射关系，包括：
在数据请求的上下文中建立所述数据结构与所述索引标识的映射关系。


4.根据权利要求1所述的方法，其特征在于，
所述根据所述多个关键字生成数据结构，包括：
基于特定算法，生成包括所述多个关键字的数据结构。


5.根据权利要求4所述的方法，其特征在于，
所述数据结构包括多模式匹配的数据结构；其中，所述多模式匹配的数据结构包括：字典树结构，或者，AC自动机结构，或者，双数组字典树结构。


6.一种数据查询方法，其特征在于，所述方法包括：
获取执行计划；其中，所述执行计划包括数据结构的索引标识，所述数据结构是根据数据请求包括的多个关键字生成的；
获取所述执行计划中的所述索引标识对应的数据结构；
查询是否存在与所述数据结构对应的数据。


7.根据权利要求6所述的方法，其特征在于，
所述获取所述执行计划中的所述索引标识对应的数据结构，包括：
若前端节点将映射关系存储在指定存储位置，则从所述指定存储位置的映射关系中，获取与所述索引标识对应的数据结构；或者，
若前端节点将映射关系发送给计算节点，则从所述计算节点本地存储的映射关系中，获取与所述索引标识对应的数据结构；
其中，所述映射关系为数据结构与索引标识的映射关系。


8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
启动多个实体，针对所述多个实体中的实体，获取所述执行计划中的所述索引标识对应的数据结构，并查询是否存在与所述数据结构对应的数据；
其中，所述实体包括：进程、或者线程、或者容器、或者虚拟机。


9.根据权利要求6所述的方法，其特征在于，所述执行计划还包括目标字段信息，所述查询是否存在与所述数据结构对应的数据，包括：
从所述数据库中确定与所述目标字段信息对应的目标字段；针对所述目标字段的数据行，查询所述数据行是否存在与所述数据结构对应的数据。


10.根据权利要求6所述的方法，其特征在于，所述执行计划还包括查询类型，所述查询是否存在与所述数据结构对应的数据，包括：
若所述查询类型是和类型，当数据行中包括与所述数据结构的所有关键字匹配的数据时，确定所述数据行存在与所述数据结构对应的数据；或者，
若所述查询类型是或类型，当数据行中包括与所述数据结构的任一关键字匹配的数据时，确定所述数据行存在与所述数据结构对应的数据。


11.根据权利要求6-10任一所述的方法，其特征在于，
所述数据结构包括多模式匹配的数据结构；其中，所述多模式匹配的数据结构包括：字典树结构，或者，AC自动机结构，或者，双数组字典树结构。


12.一种数据查询方法，其特征在于，所述方法包括：
获取数据请求，所述数据请求包括多个关键字；
根据所述多个关键字生成数据结构，为所述数据结构分配索引标识；
根据所述数据请求生成执行计划，所述执行计划包括所述索引标识；
针对待处理的执行计划，获取所述执行计划中的所述索引标识对应的数据结...

【专利技术属性】
技术研发人员：王烨，周祥，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY