数据查询方法、装置及存储介质制造方法及图纸

本申请公开了一种数据查询方法、装置及存储介质。数据查询方法用于数据查询平台包括：利用预设的数据抓取程序从互联网获取第一互联网数据，并在对第一互联网数据添加相应索引后将第一互联网数据存储于数据查询平台的数据库；接收数据查询请求；以及响应于数据查询请求，通过预先设置的数据库检索引擎在数据库中根据索引从第一互联网数据中检索与查询请求相关的数据库返回数据。求相关的数据库返回数据。求相关的数据库返回数据。

【技术实现步骤摘要】
数据查询方法、装置及存储介质


[0001]本申请涉及数据库
，特别是涉及一种数据查询方法、装置及存储介质。

技术介绍

[0002]金融数据查询平台可以为用户提供基于互联网大数据的金融数据的查询和分析。例如，用户通过终端设备向金融数据查询平台发送查询某个公司的金融数据的请求，金融数据查询平台可以根据用户需求在互联网的海量数据中获取与该公司相关的金融数据。
[0003]很多时候，金融数据查询平台本身并不产生金融数据，在接到用户的查询请求后，也需要从各个网站平台获取相关金融数据。例如，金融数据查询平台可能需要向第三方的金融机构来获取相关的金融数据。但是很多时候，这些网站平台没有提供封装调用的API接口，因此当金融数据查询平台收到用户的查询请求后，也只能通过互联网搜索的方式获取各个网站平台的金融数据，而不能直接调用各个网站平台的数据库。由于这种从互联网搜索的方式缺乏查询数据用的索引，因此当查询的数据量比较大的时候(例如6000多万条数据)，反馈的时间会非常长，导致出现不良的用户体验。
[0004]针对上述的现有技术中存在的在互联网的海量数据中进行查询检索的过程反馈时间过长，导致用户体验不佳的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本公开的实施例提供了一种数据查询方法、装置及存储介质，以至少解决现有技术中存在的在互联网的海量数据中进行查询检索的过程反馈时间过长，导致用户体验不佳的技术问题。
[0006]根据本公开实施例的一个方面，提供了一种数据查询方法，用于数据查询平台，包括：利用预设的数据抓取程序从互联网获取第一互联网数据，并在对第一互联网数据添加相应索引后将第一互联网数据存储于数据查询平台的数据库；接收数据查询请求；以及响应于数据查询请求，通过预先设置的数据库检索引擎在数据库中根据索引从第一互联网数据中检索与查询请求相关的数据库返回数据。
[0007]根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上所述的方法。
[0008]根据本公开实施例的另一个方面，还提供了一种数据查询装置，用于数据查询平台，其特征在于，包括：第一互联网数据获取模块，用于利用预设的数据抓取程序从互联网获取第一互联网数据，并在对第一互联网数据添加相应索引后将第一互联网数据存储于数据查询平台的数据库；查询请求接收模块，用于接收数据查询请求；以及数据库数据返回模块，用于响应于数据查询请求，通过预先设置的数据库检索引擎在数据库中根据索引从第一互联网数据中检索与查询请求相关的数据库返回数据。
[0009]根据本公开实施例的另一个方面，还提供了一种数据查询装置，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：利用预设
的数据抓取程序从互联网获取第一互联网数据，并在对所述第一互联网数据添加相应索引后将所述第一互联网数据存储于所述数据查询平台的数据库；接收数据查询请求；以及响应于所述数据查询请求，通过预先设置的数据库检索引擎在所述数据库中根据所述索引从所述第一互联网数据中检索与所述查询请求相关的数据库返回数据。
[0010]根据本公开的技术方案，数据查询平台首先从互联网的数据源获取互联网数据，然后对所获取的数据添加索引，并将添加索引后的数据保存至数据查询平台的数据库。从而在数据查询平台接收到用户的查询请求后，不是通过互联网搜索的方式获取互联网数据，而是根据索引在数据库中检索从互联网获取的数据，从而得到与查询请求相关的数据信息(即数据库返回数据)。因此与现有技术相比，由于本公开的技术方案提前将互联网数据更新至数据库并添加索引，因此可以根据添加的索引在数据库中检索与查询请求相关的数据，从而大大缩短了查询数据的时间。经过测试验证，按照现有技术查询300多万条数据大概需要10秒钟的时间，但是通过本公开的技术方案只需要2秒钟即可完成。从而，与现有技术相比，大大缩减了检索数据的时间，解决了现有技术中存在的在互联网的海量数据中进行数据查询反馈时间过长，导致用户体验不佳的技术问题。
附图说明
[0011]此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0012]图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
[0013]图2是根据本公开实施例1所述的数据查询系统的示意图；
[0014]图3是根据本公开实施例1所述的数据查询平台的模块架构示意图；
[0015]图4是根据本公开实施例1的第一个方面所述的数据查询方法的流程示意图；
[0016]图5是根据本公开实施例1所述的数据查询平台的线程池的示意图；
[0017]图6是根据本公开实施例1所述的数据查询平台的线程池以及线程等待队列的示意图；
[0018]图7是根据本公开实施例1所述的数据查询平台的数据暂存单元所管理的存储空间的示意图；
[0019]图8是根据本公开实施例2所述的数据查询装置的示意图；以及
[0020]图9是根据本公开实施例3所述的数据查询装置的示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0022]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]实施例1
[0024]根据本实施例，提供了一种数据查询方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0025]本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现数据查询方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法，用于数据查询平台，其特征在于，包括：利用预设的数据抓取程序从互联网获取第一互联网数据，并在对所述第一互联网数据添加相应索引后将所述第一互联网数据存储于所述数据查询平台的数据库；接收数据查询请求；以及响应于所述数据查询请求，通过预先设置的数据库检索引擎在所述数据库中根据所述索引从所述第一互联网数据中检索与所述查询请求相关的数据库返回数据。2.根据权利要求1所述的方法，其特征在于，利用预设的数据抓取程序从互联网获取第一互联网数据的操作，包括：获取将互联网数据存储于所述数据库的相关操作的历史信息；以及根据所述历史信息确定执行从所互联网获取所述第一互联网数据的操作的时间间隔。3.根据权利要求1所述的方法，其特征在于，还包括：响应于所述查询请求，利用预先设置的互联网检索引擎控制所述数据抓取程序从互联网获取与所述查询请求相关的第二互联网数据，其中所述第二互联网数据为所述数据库未同步的数据；以及将所述数据库检索数据以及所述第二互联网数据结合，生成与所述查询请求对应的检索返回数据。4.根据权利要求1所述的方法，其特征在于，响应于所述数据查询请求，通过预先设置的数据库检索引擎在所述数据库中根据所述索引从所述第一互联网数据中检索与所述查询请求相关的数据库返回数据的操作，包括：响应于所述数据查询请求，创建与所述数据查询请求对应的数据查询线程；将所述数据查询线程部署于预先设置的线程池中，其中所述线程池中部署有与所述数据查询线程并行运行的多个数据查询线程；以及通过与所述数据查询请求对应的数据查询线程，调用所述数据库检索引擎在所述数据库中检索所述数据库返回数据。5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至4中任意一项所述的方法。6.一种数据查询装置，用于数据查询平台，其特征在于，包括：第一互联网数据获取模块，用于利用预设的数据抓取程序从互联网获取第一互联网数据，并在对所述第一互联网数据添加相应索引后将所述第一互联网数据存储于所...

【专利技术属性】
技术研发人员：钱直儒，翟晓凯，葛旭，
申请(专利权)人：北京数秦科技有限公司，
类型：发明
国别省市：