分布式的数据分析系统及方法技术方案

本发明专利技术实施例提供了本发明专利技术实施例提供的一种分布式的数据分析系统，包括数据分析中心和至少一个Redis服务器；通过数据分析中心按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；针对每个子查询条件，生成一条对应的包含子查询条件及查询到数据的目标Redis服务器标识的查询指令，以使所述数据库102按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中。由数据分析中心在有查询指令完成后，从各个Redis服务器中获取各个子查询条件对应的待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。实现了边查询边分析的目的，减少了查询等待时间，提高了待分析数据的返回速度和数据分析效率。

Distributed data analysis system and method

An embodiment of the invention provides a distributed data analysis system provided by the embodiment of the invention, including a data analysis center and at least one Redis server; the query conditions are split into multiple sub query pieces by the data analysis center according to the preset conditions, and a single query condition is generated for each subquery condition. The bar corresponds to a query instruction of a subquery condition and a query to the target Redis server identity of the data to enable the database 102 to query the data according to the subquery conditions, and to store the query data to the Redis server identifier of the target Redis server identity. After the data analysis center has completed the query instruction, the data analysis is obtained from each Redis server, and the analyzed data are stored in the default storage device. It realizes the purpose of edge query analysis, reduces query waiting time, improves the return speed of analysis data and data analysis efficiency.

【技术实现步骤摘要】
分布式的数据分析系统及方法
本专利技术涉及数据分析
，特别是涉及一种分布式的数据分析系统及方法。
技术介绍
目前的数据分析技术，通常由数据分析服务器向存储了待分析数据的数据库直接发送能够获取所有待分析数据的查询条件，当所有待分析数据返回数据分析服务器后，再进行数据分析。由于数据分析需要大量待分析数据，并且数据库存储有海量数据，因此从数据库的海量数据中查询到待分析数据时需要较长的查询等待时间，并且所有待分析数据返回后该数据分析服务器才能开始数据分析，导致数据查询等待响应的时间过长，待分析数据的返回速度慢，进而影响数据分析效率。因此，如何减少大量数据的查询的查询等待时间，提高待分析数据的返回速度，提高数据分析效率，是对数据库中的数据进行数据分析时需要解决的问题。
技术实现思路
本专利技术实施例的目的在于提供一种分布式的数据分析系统及方法，以提高对数据库中的数据进行数据分析时的效率。具体技术方案如下：第一方面，本专利技术实施例提供了一种分布式的数据分析系统，所述系统包括：数据分析中心和至少一个Redis服务器；所述数据分析中心，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；每个Redis服务器，用于从数据库接收并存储已查询到的待分析数据；所述数据分析中心，在有查询指令完成后，从Redis服务器中获取各个子查询条件对应的待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。可选的，所述的数据分析中心，包括一个第一数据分析服务器和多个第二数据分析服务器；所述Redis服务器的数量与分析服务器的数量相同，且一一对应；所述第一数据分析服务器，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；按预设的分配原则，确定第一数据分析服务器和各个第二数据分析服务器需要处理的子查询条件；将各个第二数据分析服务器需要处理的子查询条件，分别发送给对应的第二数据分析服务器；所述第一数据分析服务器和各个第二数据分析服务器，针对每个自身要处理的子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；按预设时间间隔，逐一向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；所述第一数据分析服务器和各个第二数据分析服务器，从各自对应的Redis服务器中获取待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。可选的，所述的每个Redis服务器，进一步检测自身存储的数据量，当数据量小于预设数据量阈值时，向与其对应的数据分析服务器发送数据量不足通知；所述的第一数据分析服务器和第二数据分析服务器，进一步在接收到所述数据量不足通知后，向数据库发送未处理的查询指令。可选的，所述的数据分析中心，包括一个第一数据分析服务器和多个第二数据分析服务器；所述Redis服务器的数量与分析服务器的数量相同，且一一对应；所述第一数据分析服务器，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；按预设的分配原则，确定第一数据分析服务器和各个第二数据分析服务器需要处理的子查询条件；所述第一数据分析服务器，针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；按预设时间间隔，逐一向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；所述第一数据分析服务器和各个第二数据分析服务器，从各自对应的Redis服务器中获取待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。第二方面，本专利技术实施例提供了一种分布式的数据分析方法，应用于上述分布式的数据分析系统，包括：数据分析中心获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；每个Redis服务器，从数据库接收并存储已查询到的待分析数据；所述数据分析中心，在有查询指令完成后，从Redis服务器中获取各个子查询条件对应的待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。可选的，所述的数据分析中心，包括一个第一数据分析服务器和多个第二数据分析服务器；所述Redis服务器的数量与分析服务器的数量相同，且一一对应；所述第一数据分析服务器，获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；按预设的分配原则，确定第一数据分析服务器和各个第二数据分析服务器需要处理的子查询条件；将各个第二数据分析服务器需要处理的子查询条件，分别发送给对应的第二数据分析服务器；所述第一数据分析服务器和各个第二数据分析服务器，针对每个自身要处理的子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；按预设时间间隔，逐一向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；所述第一数据分析服务器和各个第二数据分析服务器，从各自对应的Redis服务器中获取待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。可选的，所述的每个Redis服务器，进一步检测自身存储的数据量，当数据量小于预设数据量阈值时，向与其对应的数据分析服务器发送数据量不足通知；所述的第一数据分析服务器和第二数据分析服务器，进一步在接收到所述数据量不足通知后，向数据库发送未处理的查询指令。可选的，所述的第一数据分析服务器和第二数据分析服务器，进一步接收数据库返回的查询指令完成响应；根据接收到的查询指令完成响应，确定已完成的子查询条件，并发送至指定的Redis服务器；所述指定的Redis服务器存储各个数据分析服务器已经完成的子查询条件；所述的第一数据分析服务器和第二数据分析服务器，进一步在向数据库发送待处理查询指令之前，从所述指定的Redis服务器查询该待处理查询指令之前的查询指令对应的子查询条件是否已经完成，仅在所述之前的查询指令对应的子查询条件完成时，向数据库发送所述待处理查询指令；在所述之前的查询指令对应的子查询条件未完成时，向数据库发送该未完成的子查询条件对应的查询指令。可选的，所述指定的Redis服务器，进一步接收用户发送的查询进度输出指令，将存储的各个数据分析服务器已经完成的子查询条件输出给用户。可选的，所本文档来自技高网...

【技术保护点】
1.一种分布式的数据分析系统，其特征在于，所述系统包括：数据分析中心和至少一个Redis服务器；所述数据分析中心，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；每个Redis服务器，用于从数据库接收并存储已查询到的待分析数据；所述数据分析中心，在有查询指令完成后，从Redis服务器中获取各个子查询条件对应的待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。

【技术特征摘要】
1.一种分布式的数据分析系统，其特征在于，所述系统包括：数据分析中心和至少一个Redis服务器；所述数据分析中心，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；每个Redis服务器，用于从数据库接收并存储已查询到的待分析数据；所述数据分析中心，在有查询指令完成后，从Redis服务器中获取各个子查询条件对应的待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。2.根据权利要求1所述的系统，其特征在于，所述的数据分析中心，包括一个第一数据分析服务器和多个第二数据分析服务器；所述Redis服务器的数量与分析服务器的数量相同，且一一对应；所述第一数据分析服务器，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；按预设的分配原则，确定第一数据分析服务器和各个第二数据分析服务器需要处理的子查询条件；将各个第二数据分析服务器需要处理的子查询条件，分别发送给对应的第二数据分析服务器；所述第一数据分析服务器和各个第二数据分析服务器，针对每个自身要处理的子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；按预设时间间隔，逐一向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；所述第一数据分析服务器和各个第二数据分析服务器，从各自对应的Redis服务器中获取待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。3.根据权利要求2所述的系统，其特征在于，所述的每个Redis服务器，进一步检测自身存储的数据量，当数据量小于预设数据量阈值时，向与其对应的数据分析服务器发送数据量不足通知；所述的第一数据分析服务器和第二数据分析服务器，进一步在接收到所述数据量不足通知后，向数据库发送未处理的查询指令。4.根据权利要求1所述的系统，其特征在于，所述的数据分析中心，包括一个第一数据分析服务器和多个第二数据分析服务器；所述Redis服务器的数量与分析服务器的数量相同，且一一对应；所述第一数据分析服务器，用于获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；按预设的分配原则，确定第一数据分析服务器和各个第二数据分析服务器需要处理的子查询条件；所述第一数据分析服务器，针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；按预设时间间隔，逐一向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标Redis服务器标识对应的Redis服务器中；所述第一数据分析服务器和各个第二数据分析服务器，从各自对应的Redis服务器中获取待分析数据进行数据分析，将分析后的数据存储至预设的存储设备中。5.一种分布式的数据分析方法，其特征在于，应用于权利要求1所述的分布式的数据分析系统，包括：数据分析中心获得待分析数据的查询条件；按预设的条件拆分规则，将所述查询条件拆分为多个子查询条件；针对每个子查询条件，生成一条对应的查询指令，所述查询指令中包含：子查询条件及查询到数据的目标Redis服务器标识；向数据库发送所述查询指令，以使所述数据库按所述子查询条件进行数据查询，将查询到的待分析数据存储至所述目标...

【专利技术属性】
技术研发人员：沈文策，
申请(专利权)人：福建中金在线信息科技有限公司，
类型：发明
国别省市：福建,35