本发明专利技术涉及金融科技领域或者医疗领域中的数据处理，提供一种数据查询方法、装置、系统及存储介质。该方法读取主系统参数及辅助系统参数，将数据查询脚本转换为脚本语法树，对脚本语法树进行遍历，生成多个脚本执行计划及执行序号，依照执行序号对多个脚本执行计划进行处理，得到目标结果，在多个脚本执行计划的处理过程中，将所得到的中间结果存储至与辅助分布式文件系统，当监测到多个脚本执行计划完成处理时，将目标结果存储至主分布式文件系统，能够解决数据查询任务的执行效率低下的技术问题。此外，本发明专利技术还涉及区块链技术，所述中间结果可存储于区块链中。结果可存储于区块链中。结果可存储于区块链中。
【技术实现步骤摘要】
数据查询方法、装置、系统及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据查询方法、装置、系统及存储介质。
技术介绍
[0002]在金融科技或者医疗领域中，为了便于用户对金融数据或者医疗数据的查询，HIVE数据分析系统的查询功能应运而生。在HIVE数据分析系统执行数据查询功能时，通常将生成的中间结果存储在HDFS分布式文件系统中。当HDFS分布式文件系统的负载很大时，中间结果的写入，会进一步增大HDFS分布式文件系统的负载，从而导致数据查询任务的执行效率低下，降低数据查询任务的时效性。
技术实现思路
[0003]鉴于以上内容，有必要提供一种数据查询方法、装置、系统及存储介质，能够解决数据查询任务的执行效率低下的技术问题。
[0004]一方面，本专利技术提出一种数据查询方法，应用于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，所述数据查询方法包括：
[0005]读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；
[0006]将接收到的数据查询脚本转换为脚本语法树；
[0007]对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；
[0008]依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；
[0009]在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；
[0010]当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。
[0011]根据本专利技术优选实施例，所述读取多个配置文件及所述参数配置界面中的初始系统参数包括：
[0012]获取与所述参数配置界面对应的路径目录；
[0013]从所述路径目录中获取所述多个配置文件；
[0014]读取所述多个配置文件中与预设标签对应的信息作为第一参数，并读取所述参数配置界面中与所述预设标签对应的信息作为第二参数；
[0015]合并所述第一参数及所述第二参数，得到所述初始系统参数。
[0016]根据本专利技术优选实施例，所述将接收到的数据查询脚本转换为脚本语法树包括：
[0017]对所述数据查询脚本进行预处理，得到目标脚本；
[0018]对所述目标脚本进行词法分析，得到语法数组；
[0019]对所述语法数组进行语法分析并修正，得到所述脚本语法树。
[0020]根据本专利技术优选实施例，所述对所述目标脚本进行词法分析，得到语法数组包括：
[0021]扫描所述目标脚本中的脚本字符；
[0022]将所述脚本字符与预设词法规则进行匹配，得到所述脚本字符所对应的字符类型；
[0023]根据所述脚本字符及所述字符类型生成所述语法数组。
[0024]根据本专利技术优选实施例，所述对所述语法数组进行语法分析并修正，得到所述脚本语法树包括：
[0025]根据所述语法数组对所述目标脚本进行语法分析，判断所述目标脚本的语法是否正确；
[0026]若所述目标脚本的语法正确，则根据与所述目标脚本对应的代码规则，生成初始语法树；
[0027]基于所述初始语法树中的初始节点创建节点对象；
[0028]根据所述节点对象及所述初始语法树生成所述脚本语法树。
[0029]根据本专利技术优选实施例，所述依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果包括：
[0030]对于所述执行序号大于预设序号的脚本执行计划，基于该执行序号识别出目标序号；
[0031]从所述辅助分布式文件系统中获取与所述目标序号对应的中间结果作为输入数据；
[0032]基于所述输入数据，对该脚本执行计划进行处理，直至所述多个脚本执行计划完成处理，得到所述目标结果。
[0033]根据本专利技术优选实施例，所述将所述目标结果存储至与所述主系统参数对应的主分布式文件系统包括：
[0034]从所述数据查询脚本中识别出源查询数据库；
[0035]从多个所述主系统参数中筛选出与所述源查询数据库对应的目标系统参数；
[0036]定位出与所述目标系统参数对应的主分布式文件系统作为目标分布式文件系统；
[0037]识别出所述数据查询脚本的生成界面；
[0038]获取与所述生成界面对应的数据表；
[0039]定位所述数据表在所述目标分布式文件系统中的表路径；
[0040]将所述目标结果写入所述表路径中。
[0041]另一方面，本专利技术还提出一种数据查询装置，运行于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，所述数据查询装置包括：
[0042]读取单元，用于读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；
[0043]转换单元，用于将接收到的数据查询脚本转换为脚本语法树；
[0044]生成单元，用于对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；
[0045]处理单元，用于依照所述执行序号对所述多个脚本执行计划进行处理，得到目标
结果；
[0046]存储单元，用于在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；
[0047]所述存储单元，还用于当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。
[0048]另一方面，本专利技术还提出一种HIVE数据分析系统，所述HIVE数据分析系统包括：
[0049]存储器，存储计算机可读指令；及
[0050]处理器，执行所述存储器中存储的计算机可读指令以实现所述数据查询方法。
[0051]另一方面，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被HIVE数据分析系统中的处理器执行以实现所述数据查询方法。
[0052]由以上技术方案可以看出，本申请通过对所述多个配置文件及所述参数配置界面进行参数读取，不仅能够提高参数读取的全面性，还能够使得所述HIVE数据分析系统能够识别出所述主分布式文件系统及所述辅助分布式文件系统，从而避免因所述HIVE数据分析系统而造成无法对所述中间结果及所述目标结果的准确存储，进一步地，本申请在所述多个脚本执行计划的处理过程中，通过将所述中间结果存储至所述辅助分布式文件系统中，能够减少对所述主分布式文件系统的读写和删除操作，使得所述辅助分布式文件系统实现为所述主分布式文件系统的分流作用，提高了所述主分布式文件系统的性能，从而提高所述目标结果的生成效率，确保数据查询任务的时效性。本申请适用于金融科技领域，通本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据查询方法，应用于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，其特征在于，所述数据查询方法包括：读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；将接收到的数据查询脚本转换为脚本语法树；对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。2.如权利要求1所述的数据查询方法，其特征在于，所述读取多个配置文件及所述参数配置界面中的初始系统参数包括：获取与所述参数配置界面对应的路径目录；从所述路径目录中获取所述多个配置文件；读取所述多个配置文件中与预设标签对应的信息作为第一参数，并读取所述参数配置界面中与所述预设标签对应的信息作为第二参数；合并所述第一参数及所述第二参数，得到所述初始系统参数。3.如权利要求1所述的数据查询方法，其特征在于，所述将接收到的数据查询脚本转换为脚本语法树包括：对所述数据查询脚本进行预处理，得到目标脚本；对所述目标脚本进行词法分析，得到语法数组；对所述语法数组进行语法分析并修正，得到所述脚本语法树。4.如权利要求3所述的数据查询方法，其特征在于，所述对所述目标脚本进行词法分析，得到语法数组包括：扫描所述目标脚本中的脚本字符；将所述脚本字符与预设词法规则进行匹配，得到所述脚本字符所对应的字符类型；根据所述脚本字符及所述字符类型生成所述语法数组。5.如权利要求3所述的数据查询方法，其特征在于，所述对所述语法数组进行语法分析并修正，得到所述脚本语法树包括：根据所述语法数组对所述目标脚本进行语法分析，判断所述目标脚本的语法是否正确；若所述目标脚本的语法正确，则根据与所述目标脚本对应的代码规则，生成初始语法树；基于所述初始语法树中的初始节点创建节点对象；根据所述节点对象及所述初始语法树生成所述脚本语法树。6.如权利要求1所述的数据查询方法，其特征在于，所述依照...
【专利技术属性】
技术研发人员：刘潭义，张观成，万书武，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。