数据处理及查询的方法和装置制造方法及图纸

本发明专利技术提供了数据处理及查询的方法和装置，该方法包括：将接收到的有效数据存储至相应时间窗口下的缓存区域中；针对任一缓存区域，创建所述缓存区域中的已存储的有效数据的数据集，并将该数据集发送至预置数据库；基于接收到的数据查询请求，从所述预置数据库和/或对应的缓存区域中的数据集中获取与所述查询请求相匹配的查询结果。本发明专利技术的技术方案使得用户能够实时获取到有效数据的查询结果，节省用户等待获取查询结果的时间，提升用户获取查询结果的体验度。

Methods and devices for data processing and querying

The present invention provides a method and device for data processing and query. The method includes: storing the received valid data in a cache area under the corresponding time window; creating a data set of the stored valid data in the cached area for any cache area, and sending the data set to a preset database; Based on the received data query request, the query results that match the query request are obtained from the data set in the preset database and / or the corresponding cache area. The technical scheme of the invention enables the user to obtain the query result of the effective data in real time, save the time for the user to wait for the result of the query, and improve the experience of the user to obtain the result of the query.

【技术实现步骤摘要】
数据处理及查询的方法和装置
本专利技术涉及大数据领域，具体而言，本专利技术涉及一种数据处理及查询的方法和一种数据处理及查询的装置。
技术介绍
随着互联网的发展，大数据技术的浪潮也正在席卷全球，成为一种新的生产力技术。大数据技术不仅仅指获得海量数据，更重要的意义是通过对海量数据的分析、整合来获得隐藏在数据背后的有价值的信息。由于大数据的特点就是数据的数量多，使得对大数据进行存储管理时面临着巨大的挑战，而这个问题可以通过分布式存储技术来解决。分布式存储技术是通过分布式存储系统将大数据分散存储在由多台独立的设备形成的设备集群上。由于分布式存储系统采用可扩展的系统结构，利用多台独立存储服务器分担存储负荷，利用位置服务器定位存储信息，这不但提高了分布式存储系统的可靠性、可用性和存取效率，还易于扩展。分布式存储系统在对大数据进行分析处理时，通过mapreduce算法对预置周期内的批量数据进行处理，但由于mapreduce算法对预置周期内的批量数据进行处理时，其处理过程非常复杂，且耗费的处理时间也非常久，一般需要大概五到六个小时，导致用户无法立即查询到当前数据的处理结果，且用户需要等待较长的时间，才能获取到该当前数据的处理结果，造成不良的用户体验。所以如何提高用户的体验度，是解决上述问题的关键。
技术实现思路
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：本专利技术的实施例提出了一种数据处理及查询的方法，包括：将接收到的有效数据存储至相应时间窗口下的缓存区域中；针对任一缓存区域，创建缓存区域中的已存储的有效数据的数据集，并将该数据集发送至预置数据库；基于接收到的数据查询请求，从预置数据库和/或对应的缓存区域中的数据集中获取与查询请求相匹配的查询结果。优选地，该方法还包括：基于窗口周期，依次划分连续时间窗口下的缓存区域；其中，将接收到的有效数据存储至相应时间窗口下的缓存区域中的步骤，包括：确定接收到的有效数据的时间标识；将有效数据存储至与其时间标识相应时间窗口下的缓存区域中。优选地，该方法还包括：对接收有效数据的时间窗口设置等待时间；其中，将接收到的有效数据存储至相应时间窗口下的缓存区域中的步骤，包括：在等待时间内接收到有效数据时，将有效数据存储至与该有效数据的时间标识相应时间窗口下的缓存区域中。优选地，该方法还包括：在超出等待时间后，相应的时间窗口下的缓存区域中不接收数据。优选地，基于接收到的数据查询请求，从预置数据库和/或任一缓存区域中的数据集中获取与查询请求相匹配的查询结果的步骤，包括：基于接收到的数据查询请求，从预置数据库的数据集中获取与查询请求相匹配的查询结果；若未从预置数据库的数据集中获取到相匹配的查询结果，从与数据查询请求对应的缓存区域中的数据集中获取相匹配的查询结果。优选地，基于接收到的数据查询请求，从预置数据库和/或任一缓存区域中的数据集中获取与查询请求相匹配的查询结果的步骤，还包括：若从预置数据库的数据集中获取到与数据查询请求相匹配的查询结果中的第一部分；从与数据查询请求对应的缓存区域中的数据集中获取相匹配的查询结果中的第二部分；其中，第一部分和第二部分形成完整查询结果。优选地，基于接收到的数据查询请求，从预置数据库和/或任一缓存区域中的数据集中获取与查询请求相匹配的查询结果的步骤，包括：若判断预置数据库的数据集中存在与数据查询请求相匹配的完整查询结果，获取完整查询结果。本专利技术的另一实施例提出了一种数据处理及查询的装置，包括：接收模块，用于将接收到的有效数据存储至相应时间窗口下的缓存区域中；创建模块，用于针对任一缓存区域，创建缓存区域中的已存储的有效数据的数据集，并将该数据集发送至预置数据库；获取模块，用于基于接收到的数据查询请求，从预置数据库和/或对应的缓存区域中的数据集中获取与查询请求相匹配的查询结果。优选地，该装置还包括：划分模块，用于基于窗口周期，依次划分连续时间窗口下的缓存区域；其中，接收模块，包括：确定单元，用于确定接收到的有效数据的时间标识；第一存储单元，用于将有效数据存储至与其时间标识相应时间窗口下的缓存区域中。优选地，该装置还包括：设置模块，用于对接收有效数据的时间窗口设置等待时间；其中，接收模块，还包括：第二存储单元，用于在等待时间内接收到有效数据时，将有效数据存储至与该有效数据的时间标识相应时间窗口下的缓存区域中。优选地，该装置还包括：停止接收模块，用于在超出等待时间后，相应的时间窗口下的缓存区域中不接收数据。优选地，获取模块，包括：第一获取单元，用于基于接收到的数据查询请求，从预置数据库的数据集中获取与查询请求相匹配的查询结果；第二获取单元，用于若未从预置数据库的数据集中获取到相匹配的查询结果，从与数据查询请求对应的缓存区域中的数据集中获取相匹配的查询结果。优选地，获取模块，还包括：第三获取单元，用于若从预置数据库的数据集中获取到与数据查询请求相匹配的查询结果中的第一部分；第四获取单元，用于从与数据查询请求对应的缓存区域中的数据集中获取相匹配的查询结果中的第二部分；其中，第一部分和第二部分形成完整查询结果。优选地，获取模块，还包括：第五获取单元，用于若判断预置数据库的数据集中存在与数据查询请求相匹配的完整查询结果，获取完整查询结果。本专利技术的技术方案中，将接收到的有效数据存储至相应时间窗口下的缓存区域中；并创建缓存区域中的已存储的有效数据的数据集，并将该数据集发送至预置数据库；能够实现对数据流进行实时处理，不会因为累积预置周期内的批量数据，造成只能对该批量数据进行非实时地处理的情况发生；同时，能够减少处理数据的时间。此外，本技术方案还基于数据查询请求，从预置数据库和/或对应的缓存区域中的数据集中获取与查询请求相匹配的查询结果；使得用户能够实时获取到有效数据的查询结果，节省用户等待获取查询结果的时间，提升用户获取查询结果的体验度。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术中的一个实施例的数据处理及查询的方法的流程示意图；图2为本专利技术中的一个优选实施例的将接收到的有效数据存储至相应时间窗口下的缓存区域中步骤的流程示意图；图3为本专利技术中的另一个优选实施例的未从预置数据库和/或任一缓存区域中的数据集中获取到与查询请求相匹配的查询结果的步骤的流程示意图；图4为本专利技术中的又一个优选实施例的从预置数据库和/或任一缓存区域中的数据集中获取到与查询请求相匹配的部分查询结果的步骤的流程示意图；图5为本专利技术中的另一个实施例的数据处理及查询的装置的结构框架示意图；图6为本专利技术中的一个优选实施例的接收模块的结构框架示意图；图7为本专利技术中的另一个优选实施例的未从预置数据库和/或任一缓存区域中的数据集中获取到与查询请求相匹配的查询结果时，获取模块的结构框架示意图；图8为本专利技术中的又一个优选实施例的从预置数据库和/或任一缓存区域中的数据集中获取到与查询请求相匹配的部分查询结果时，获取模块的结构框架示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似本文档来自技高网...

【技术保护点】
1.一种数据处理及查询的方法，其特征在于，包括：将接收到的有效数据存储至相应时间窗口下的缓存区域中；针对任一缓存区域，创建所述缓存区域中的已存储的有效数据的数据集，并将该数据集发送至预置数据库；基于接收到的数据查询请求，从所述预置数据库和/或对应的缓存区域中的数据集中获取与所述查询请求相匹配的查询结果。

【技术特征摘要】
1.一种数据处理及查询的方法，其特征在于，包括：将接收到的有效数据存储至相应时间窗口下的缓存区域中；针对任一缓存区域，创建所述缓存区域中的已存储的有效数据的数据集，并将该数据集发送至预置数据库；基于接收到的数据查询请求，从所述预置数据库和/或对应的缓存区域中的数据集中获取与所述查询请求相匹配的查询结果。2.根据权利要求1所述的方法，其中，还包括：基于窗口周期，依次划分连续时间窗口下的缓存区域；其中，所述将接收到的有效数据存储至相应时间窗口下的缓存区域中的步骤，包括：确定接收到的有效数据的时间标识；将所述有效数据存储至与其时间标识相应时间窗口下的缓存区域中。3.根据权利要求2所述的方法，其中，还包括：对接收有效数据的时间窗口设置等待时间；其中，所述将接收到的有效数据存储至相应时间窗口下的缓存区域中的步骤，包括：在所述等待时间内接收到有效数据时，将所述有效数据存储至与该有效数据的时间标识相应时间窗口下的缓存区域中。4.根据权利要求3所述的方法，其中，还包括：在超出所述等待时间后，相应的时间窗口下的缓存区域中不接收数据。5.根据权利要求1所述的方法，其中，所述基于接收到的数据查询请求，从所述预置数据库和/或任一缓存区域中的数据集中获取与所述查询请求相匹配的查询结果的步骤，包括：基于接收到的数据查询请求，从所述预置数据库的数据集中获取与所述查询请求相匹配的查询结果；若未从所述预置数据库的数据集中获取到相匹配的查询结果，从与所述数据查询请求对应的缓存区域中的数据集中获取相匹配的查询结果。6.根据权利要求5所述的方法...

【专利技术属性】
技术研发人员：倪传蕾，肖康，吴鑫，马庆祥，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11