数据查询方法、装置、设备及计算机存储介质制造方法及图纸

本发明专利技术涉及金融科技(Fintech)技术领域，并公开了一种数据查询方法，该方法包括：将数据仓库中的目标数据转换为目标文件，并将所述目标文件导入至多个目标集群；若获取到数据查询指令，则基于所述数据查询指令同时对各所述目标集群进行数据查询，以获取查询结果，并在所述查询结果存在多个时，检测各所述查询结果中是否存在查询时长大于或等于预设时长的超时查询结果；若不存在，则对各所述查询结果进行合并处理，以获取目标查询结果，并输出所述目标查询结果。本发明专利技术还公开了一种数据查询装置、设备和一种计算机存储介质。本发明专利技术提高了数据查询的效率。

【技术实现步骤摘要】
数据查询方法、装置、设备及计算机存储介质
本专利技术涉及金融科技(Fintech)的数据查询
，尤其涉及数据查询方法、装置、设备及计算机存储介质。
技术介绍
随着计算机技术的发展，越来越多的技术(大数据、分布式、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。目前在进行数据查询时，都是采用单集群查询的方式，即应用通过hbase(分布式存储系统)接口对单个hbase集群进行查询，而hbase备用集群只在主集群不可用时才会被启用。并且当hbase主备集群间开启replication(复制)同步功能时，由于hbase是基于记录逐笔插入的方式，数据操作频繁，对hbase的region(区域)分区不断修改，导致内存碎片过多，资源占用过多，增加数据查询的延迟时间，也就是目前数据查询的方式容易造成数据查询的效率低下。并且由于hbase数据间数据是同步的，若发生主集群数据丢失故障，备用集群的数据也会受影响，导致查询结果的准确性降低。
技术实现思路
本专利技术的主要目的在于提出一种数据查询方法、装置、设备及计算机存储介质，旨在解决如何提高数据查询的效率和准确性的技术问题。为实现上述目的，本专利技术提供一种数据查询方法，所述数据查询方法包括如下步骤：将数据仓库中的目标数据转换为目标文件，并将所述目标文件导入至多个目标集群；若获取到数据查询指令，则基于所述数据查询指令同时对各所述目标集群进行数据查询，以获取查询结果，并在所述查询结果存在多个时，检测各所述查询结果中是否存在查询时长大于或等于预设时长的超时查询结果；若不存在，则对各所述查询结果进行合并处理，以获取目标查询结果，并输出所述目标查询结果。可选地，基于所述数据查询指令对各所述目标集群进行数据查询，以获取查询结果的步骤，包括：基于所述数据查询指令对各所述目标集群进行数据查询，并依次检测各所述目标集群是否反馈数据查询信息；若是，则将所述目标集群反馈的数据查询信息作为查询结果。可选地，基于所述数据查询指令同时对各所述目标集群进行数据查询的步骤，包括：检测各所述目标集群中是否存在正在进行维护的维护目标集群；若存在所述维护目标集群，则获取各所述目标集群中除维护目标集群之外的其它目标集群，并根据所述数据查询指令对所述其它目标集群进行数据查询。可选地，对各所述查询结果进行合并处理，以获取目标查询结果的步骤，包括：依次遍历各所述查询结果，将当前遍历的当前查询结果和各所述查询结果依次进行相似度检测，统计所述相似度检测的检测结果大于预设阈值的统计数量，若所述统计数量大于预设数量，则将所述当前查询结果作为有效查询结果，直至各所述查询结果遍历完成；若所述有效查询结果存在多个，则对各所述有效查询结果进行合并处理，以获取目标查询结果。可选地，将数据仓库中的目标数据转换为目标文件的步骤，包括：根据预设的数据转换方式对数据仓库中的目标数据进行分割，以获取多个分割数据；将各所述分割数据组装成预设的存储格式文件，并将具有各所述分割数据的存储格式文件导入至预设目录文件，以获取目标文件。可选地，将所述目标文件导入至多个目标集群的步骤，包括：确定各所述目标文件对应的目录，并获取各所述目标集群中的目标表；根据所述目录将所述目标文件同时导入至各所述目标表。可选地，检测各所述查询结果中是否存在查询时长大于或等于预设时长的超时查询结果的步骤之后，包括：若存在，则确定各所述查询结果中除超时查询结果之外的其它查询结果，并输出所述其它查询结果。此外，为实现上述目的，本专利技术还提供一种数据查询装置，所述数据查询装置包括：导入模块，用于将数据仓库中的目标数据转换为目标文件，并将所述目标文件导入至多个目标集群；检测模块，用于若获取到数据查询指令，则基于所述数据查询指令同时对各所述目标集群进行数据查询，以获取查询结果，并在所述查询结果存在多个时，检测各所述查询结果中是否存在查询时长大于或等于预设时长的超时查询结果；输出模块，用于若不存在，则对各所述查询结果进行合并处理，以获取目标查询结果，并输出所述目标查询结果。此外，为实现上述目的，本专利技术还提供一种数据查询设备，所述数据查询设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据查询程序，所述数据查询程序被所述处理器执行时实现如上所述的数据查询方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机存储介质，所述计算机存储介质上存储有数据查询程序，所述数据查询程序被处理器执行时实现如上所述的数据查询方法的步骤。本专利技术通过将数据仓库中的目标数据转换为目标文件，并将所述目标文件导入至多个目标集群；若获取到数据查询指令，则基于所述数据查询指令对各所述目标集群进行数据查询，以获取多个查询结果，并检测各所述查询结果中是否存在查询时长大于或等于预设时长的目标查询结果；若不存在，则对各所述查询结果进行合并处理，以确定所述合并处理的合并结果，并输出所述合并结果。通过将数据仓库中目标数据转换为目标文件，再将目标文件导入至多个目标集群，从而避免了现有技术中直接将数据按照逐字导入的方式至目标集群，使得内存碎片过多，占用过多的资源的现象发生，并在接收到数据查询指令时，会同时对各个目标集群进行数据查询，相对于现有技术的单集群查询的方式，提高了数据查询的效率，并且会对各个查询结果进行合并处理，并输出合并处理的合并结果，避免了由于某一个集群的故障而导致查询结果不准确的现象发生，提高了数据查询的准确性。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的数据查询设备结构示意图；图2为本专利技术数据查询方法第一实施例的流程示意图；图3为本专利技术数据查询装置的装置模块示意图；图4为本专利技术数据查询方法中数据写入集群的流程示意图；图5为本专利技术数据查询方法中的数据查询时序示意图；图6为本专利技术数据查询方法中流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的数据查询设备结构示意图。本专利技术实施例数据查询设备可以是PC机或服务器设备，其上运行有Java虚拟机。如图1所示，该数据查询设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，所述数据查询方法包括如下步骤：/n将数据仓库中的目标数据转换为目标文件，并将所述目标文件导入至多个目标集群；/n若获取到数据查询指令，则基于所述数据查询指令同时对各所述目标集群进行数据查询，以获取查询结果，并在所述查询结果存在多个时，检测各所述查询结果中是否存在查询时长大于或等于预设时长的超时查询结果；/n若不存在，则对各所述查询结果进行合并处理，以获取目标查询结果，并输出所述目标查询结果。/n

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述数据查询方法包括如下步骤：
将数据仓库中的目标数据转换为目标文件，并将所述目标文件导入至多个目标集群；
若获取到数据查询指令，则基于所述数据查询指令同时对各所述目标集群进行数据查询，以获取查询结果，并在所述查询结果存在多个时，检测各所述查询结果中是否存在查询时长大于或等于预设时长的超时查询结果；
若不存在，则对各所述查询结果进行合并处理，以获取目标查询结果，并输出所述目标查询结果。


2.如权利要求1所述的数据查询方法，其特征在于，所述基于所述数据查询指令对各所述目标集群进行数据查询，以获取查询结果的步骤，包括：
基于所述数据查询指令对各所述目标集群进行数据查询，并依次检测各所述目标集群是否反馈数据查询信息；
若是，则将所述目标集群反馈的数据查询信息作为查询结果。


3.如权利要求2所述的数据查询方法，其特征在于，所述基于所述数据查询指令同时对各所述目标集群进行数据查询的步骤，包括：
检测各所述目标集群中是否存在正在进行维护的维护目标集群；
若存在所述维护目标集群，则获取各所述目标集群中除维护目标集群之外的其它目标集群，并根据所述数据查询指令对所述其它目标集群进行数据查询。


4.如权利要求1所述的数据查询方法，其特征在于，所述对各所述查询结果进行合并处理，以获取目标查询结果的步骤，包括：
依次遍历各所述查询结果，将当前遍历的当前查询结果和各所述查询结果依次进行相似度检测，统计所述相似度检测的检测结果大于预设阈值的统计数量，若所述统计数量大于预设数量，则将所述当前查询结果作为有效查询结果，直至各所述查询结果遍历完成；
若所述有效查询结果存在多个，则对各所述有效查询结果进行合并处理，以获取目标查询结果。


5.如权利要求1所述的数据查询方法，其特征在于，所述将数据仓库中的目标数...

【专利技术属性】
技术研发人员：冼炳洪，黎聪，汤智煌，邹普，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44