基于大数据查询引擎的数据查询方法、装置、设备及介质制造方法及图纸

本申请涉及数据查询技术领域，揭露一种基于大数据查询引擎的数据查询方法、装置、设备及介质，其中方法包括通过对获取的SQL查询语句进行解析，以获取SQL查询语句中对应的查询表和过滤信息，然后获取查询表对应的关联文件信息，结合过滤信息生成目标查询表，并对SQL查询语句进行匹配处理，然后将目标查询表替换匹配后SQL查询语句中对应的查询表，得到目标SQL查询语句，通过大数据查询引擎对目标SQL查询语句进行数据查询，将得到查询结果发送给用户端。本申请还涉及区块链技术，查询结果存储于区块链中。本申请通过将关联文件信息和过滤条件加入到查询语句中，减小了数据查询范围，有利于提高对大数据的数据查询效率。

【技术实现步骤摘要】
基于大数据查询引擎的数据查询方法、装置、设备及介质
本申请涉及数据查询
，尤其涉及一种基于大数据查询引擎的数据查询方法、装置、设备及介质。
技术介绍
利用大数据技术查询分析大量的历史数据已经很成熟。其大数据技术查询存在有以下特点：数据量大，能够达到几GB到TB的数据量，甚至有些任务查询的数据可能或接近或者达到PB级别；大量的任务是包含类SQL的查询任务或者本身就是SQL查询，基本都是以类似SQL的方式来过滤源数据；大量的任务都会以日期来进行过滤数据。现有的大数据数据查询通过数据仓库技术进行数据清洗加工，或者以job方式提交定时任务提前计算来应用，然后通过数据扫描和数据映射的方式进行数据查询。然而，由于数据量较大，导致需要扫描大量的数据，这样导致数据查询的效率较低，导致查询时间较长。现亟需一种能够提高对大数据的数据查询效率的方法。
技术实现思路
本申请实施例的目的在于提出一种基于大数据查询引擎的数据查询方法、装置、设备及介质，以提高对大数据的数据查询效率。为了解决上述技术问题，本申请实施例提供一种基于大数据查询引擎的数据查询方法，包括：获取来自用户端的SQL查询语句；对所述SQL查询语句进行解析，以获取所述SQL查询语句中对应的查询表和过滤信息；获取所述查询表对应的关联文件信息，并根据所述关联文件信息和所述过滤信息，生成目标查询表；获取预设匹配规则，并通过所述预设匹配规则对所述SQL查询语句进行匹配处理，得到匹配后SQL查询语句；将所述目标查询表替换所述匹配后SQL查询语句中对应的查询表，得到目标SQL查询语句；通过大数据查询引擎对所述目标SQL查询语句进行数据查询，得到查询结果，并将所述查询结果发送给所述用户端。为了解决上述技术问题，本申请实施例提供一种基于大数据查询引擎的数据查询装置，包括：查询语句获取模块，用于获取来自用户端的SQL查询语句；查询语句解析模块，用于对所述SQL查询语句进行解析，以获取所述SQL查询语句中对应的查询表和过滤信息；目标查询表生成模块，用于获取所述查询表对应的关联文件信息，并根据所述关联文件信息和所述过滤信息，生成目标查询表；查询语句匹配模块，用于获取预设匹配规则，并通过所述预设匹配规则对所述SQL查询语句进行匹配处理，得到匹配后SQL查询语句；查询表替换模块，用于将所述目标查询表替换所述匹配后SQL查询语句中对应的查询表，得到目标SQL查询语句；查询结果生成模块，用于通过大数据查询引擎对所述目标SQL查询语句进行数据查询，得到查询结果，并将所述查询结果发送给所述用户端。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于大数据查询引擎的数据查询方法。为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于大数据查询引擎的数据查询方法。本专利技术实施例提供了一种基于大数据查询引擎的数据查询方法、装置、设备及介质。本专利技术实施例通过对获取的SQL查询语句进行解析，以获取SQL查询语句中对应的查询表和过滤信息，然后获取查询表对应的关联文件信息，并根据关联文件信息和过滤信息，生成目标查询表，实现将关联文件信息和过滤条件进行结合，缩小数据查询范围；再通过获取通过预设匹配规则对SQL查询语句进行匹配处理，得到匹配后SQL查询语句，并将目标查询表替换匹配后SQL查询语句中对应的查询表，得到目标SQL查询语句，最后通过大数据查询引擎对目标SQL查询语句进行数据查询，得到查询结果，并将查询结果发送给用户端，实现将关联文件信息和过滤条件加入到查询语句中，大大减小了数据查询范围，有利于提高对大数据的数据查询效率。附图说明为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的基于大数据查询引擎的数据查询方法的应用环境示意图；图2根据本申请实施例提供的基于大数据查询引擎的数据查询方法的一实现流程图；图3是本申请实施例提供的基于大数据查询引擎的数据查询方法中子流程的一实现流程图；图4是本申请实施例提供的基于大数据查询引擎的数据查询方法中子流程的又一实现流程图；图5是本申请实施例提供的基于大数据查询引擎的数据查询方法中子流程的又一实现流程图；图6是本申请实施例提供的基于大数据查询引擎的数据查询方法中子流程的又一实现流程图；图7是本申请实施例提供的基于大数据查询引擎的数据查询方法中子流程的又一实现流程图；图8是本申请实施例提供的基于大数据查询引擎的数据查询方法中子流程的又一实现流程图；图9是本申请实施例提供的基于大数据查询引擎的数据查询装置示意图；图10是本申请实施例提供的计算机设备的示意图。具体实施方式除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。为了使本
的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。下面结合附图和实施方式对本专利技术进行详细说明。请参阅图1，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便本文档来自技高网...

【技术保护点】
1.一种基于大数据查询引擎的数据查询方法，其特征在于，包括：/n获取来自用户端的SQL查询语句；/n对所述SQL查询语句进行解析，以获取所述SQL查询语句中对应的查询表和过滤信息；/n获取所述查询表对应的关联文件信息，并根据所述关联文件信息和所述过滤信息，生成目标查询表；/n获取预设匹配规则，并通过所述预设匹配规则对所述SQL查询语句进行匹配处理，得到匹配后SQL查询语句；/n将所述目标查询表替换所述匹配后SQL查询语句中对应的查询表，得到目标SQL查询语句；/n通过大数据查询引擎对所述目标SQL查询语句进行数据查询，得到查询结果，并将所述查询结果发送给所述用户端。/n

【技术特征摘要】
1.一种基于大数据查询引擎的数据查询方法，其特征在于，包括：
获取来自用户端的SQL查询语句；
对所述SQL查询语句进行解析，以获取所述SQL查询语句中对应的查询表和过滤信息；
获取所述查询表对应的关联文件信息，并根据所述关联文件信息和所述过滤信息，生成目标查询表；
获取预设匹配规则，并通过所述预设匹配规则对所述SQL查询语句进行匹配处理，得到匹配后SQL查询语句；
将所述目标查询表替换所述匹配后SQL查询语句中对应的查询表，得到目标SQL查询语句；
通过大数据查询引擎对所述目标SQL查询语句进行数据查询，得到查询结果，并将所述查询结果发送给所述用户端。


2.根据权利要求1所述基于大数据查询引擎的数据查询方法，其特征在于，所述对所述SQL查询语句进行解析，以获取所述SQL查询语句中对应的查询表和过滤信息包括：
通过对所述SQL查询语句进行解析，以获取所述SQL查询语句中的执行计划；
通过对所述执行计划进行元数据提取，得到所述执行计划中的元数据信息；
对所述元数据信息进行数据筛选处理，得到所述查询表和所述过滤信息。


3.根据权利要求1所述基于大数据查询引擎的数据查询方法，其特征在于，所述通过对所述SQL查询语句进行解析，以获取所述SQL查询语句中的执行计划包括：
通过词法分析器识别所述SQL查询语句中的关键词和标识符；
根据语法分析器对所述关键词和标识符进行语法搭建，生成语法树；
使用编译器对所述语法树进行编译解析，得到所述执行计划。


4.根据权利要求2所述基于大数据查询引擎的数据查询方法，其特征在于，所述对所述元数据信息进行数据筛选处理，得到所述查询表和所述过滤信息包括：
识别所述元数据信息中的表头信息、日期筛选信息和文件字段信息；
根据所述表头信息，以获取所述元数据信息中的所述查询表；
对所述日期筛选信息和所述文件字段信息进行组合，生成所述过滤信息。


5.根据权利要求1所述基于大数据查询引擎的数据查询方法，其特征在于，所述获取所述查询表对应的关联文件信息，并根据所述关联文件信息和所述过滤信息，生成目标查询表包括：
提取所述查询表中的文件信息，并根据所述文件信息获取所述关联文件信息；
将所述关联...

【专利技术属性】
技术研发人员：包云飞，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44