数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及数据处理领域，并公开了一种数据处理方法、装置、计算机设备及存储介质，其中方法包括：获取业务数据，将所述业务数据导入至Druid数据库；获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据；若接收到数据查询指令，获取所述数据查询指令中的查询参数；根据所述查询参数查询所述分块数据，并返回相应的查询结果。该方法提高了数据查询速度，通过对数据的预处理使得亿级数据能够实现秒级查询，同时提高数据报表开发效率。

Data Processing Method, Device, Computer Equipment and Storage Media

This application relates to the field of data processing, and discloses a data processing method, device, computer equipment and storage medium. The method includes: obtaining business data, importing the business data into Druid database, obtaining predefined dimension information and block time information, and pre-aggregating and partitioning the business data according to the dimension information and block time information. Processing to obtain the block data and save the block data; if the data query instruction is received, the query parameters in the data query instruction are obtained; according to the query parameters, the block data is queried and the corresponding query results are returned. This method improves the speed of data query. By preprocessing the data, 100 million-level data can be queried in seconds, while improving the efficiency of data report development.

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质
本申请涉及互联网
，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。
技术介绍
目前，互联网保险行业对保险规则等数据的处理主要是利用大型关系型数据库进行存储处理，然后利用数据库进行实时多维的统计分析，但在数据量暴涨的今天，该处理方式已经存在不少的弊端。比如，大数据量的情况下，数据库的查询分析速度并不能满足保险规则业务的需求；业务数据报表制作比较专业；保险规则多样且复杂，数据库进行分析统计耗时较长，影响业务交付；数据库数据API并不完全适用于多维分析，实现功能较为复杂等等。因此，有必要提供一种数据处理方法以解决上述问题。
技术实现思路
本申请提供了一种数据处理方法、装置、计算机设备及存储介质，旨在提高数据的查询速度。本申请提供了一种数据处理方法，其包括：获取业务数据，将所述业务数据导入至Druid数据库；获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据；若接收到数据查询指令，获取所述数据查询指令中的查询参数；根据所述查询参数查询所述分块数据，并返回相应的查询结果。本申请提供了一种数据处理装置，其包括：获取导入单元，用于获取业务数据，将所述业务数据导入至Druid数据库；获取处理单元，用于获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据；参数获取单元，用于若接收到数据查询指令，获取所述数据查询指令中的查询参数；查询返回单元，用于根据所述查询参数查询所述分块数据，并返回相应的查询结果。本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任意一项所述的数据处理方法的步骤。本申请还提供了一种计算机存储介质，其中所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行本申请提供的任意实施例所述的数据处理方法的步骤。本申请实施例提供了数据处理方法、装置、计算机设备及存储介质。该方法通过获取业务数据，将所述业务数据导入至Druid数据库；获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据；若接收到数据查询指令，获取所述数据查询指令中的查询参数；根据所述查询参数查询所述分块数据，并返回相应的查询结果。该方法提高了数据查询速度，通过对数据的预处理使得亿级数据能够实现秒级查询，同时提高数据报表开发效率。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提供的一种数据处理方法的示意流程图；图2是图1中数据处理方法的子步骤示意流程图；图3是本申请另一实施例提供的一种数据处理方法的示意流程图；图4是本申请图3中数据处理方法的子步骤示意流程图；图5是本申请一实施例提供的一种数据处理装置的示意性框图；图6是本申请另一实施例提供的一种数据处理装置的示意性框图；图7是本申请一实施例提供的一种计算机设备的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1，图1是本申请一实施例提供的一种数据处理方法的示意流程图。该数据处理方法应用于服务器中，如图1所示，该数据处理方法包括步骤S101～S104。S101、获取业务数据，将所述业务数据导入至Druid数据库。具体地，所述业务数据为保险业务数据，保险业务数据可包括产险、养老险、人寿险和车险等险种对应的相关数据，所述保险业务数据保存在业务系统对应的数据库中，该数据库为传统的关系型数据库。在一实施例中，所述获取保险业务数据，具体包括：通过分布式系统从业务数据对应的数据库中获取业务数据。其中所述分布式系统中部署有Druid时序数据库，并将获取到的业务数据导入至Druid数据库中。其中，Druid数据库是一个MOLAP(MultidimensionalOn-LineAnalysisProcessing，多维联机分析处理)数据库，架构是MMDB架构，同时也是一个多节点的系统。同时也是一个内存数据库，面向列的存储。同时还支持多种插件，如Kafka插件、MySQL插件和HDFS插件等。其中，Druid数据库是一个多节点的系统，该系统包括同步节点Zookeeper、中枢节点Broker、实时节点Realtime、历史节点Historical和协调节点Coordinator。对于同步节点Zookeeper，每一个节点都或多或少与其相连，Zookeeper在其中负责同步作用，每一个节点不会做强关联工作，只需要用Zookeeper同步。在一个数据写入过程，有离线数据和批量数据。中枢节点Broker是查询节点，对外提供REST接口，接受来自外部客户端的查询，并将这些查询转发到Realtime和Historical节点，从这两个节点拿数据，然后将节点返回给Broker，将数据进行合并返回给客户端。这里Broker节点起到一个转发和合并的作用，合并过程需要规定的内存，推荐配置内存相对大一点。历史节点Historical节点是非实时数据进行处理存储和查询的地方，只响应Broker请求。在查询数据时现在本地找，然后在深度存储里查找，查找到后返回给Broker，没有与其他节点关联。在Zookeeper的管理下提供服务，并使用Zookeeper监视信号加载或删除新数据段。S102、获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据。其中，所述预定义的维度信息和分块时间信息为用户自定义的维度和数据分块时间，维度信息比如包括险种、用户、机构和渠道等信息；分块时间信息比如按照月、周、天或小时等不同周期时间进行数据分块对应的时间信息。其中，该预聚合分块处理主要包括将导入至Druid中的数据进行聚合去重处理和按照分块时间做切本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于分布式系统，其特征在于，包括：获取业务数据，将所述业务数据导入至Druid数据库；获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据；若接收到数据查询指令，获取所述数据查询指令中的查询参数；根据所述查询参数查询所述分块数据，并返回相应的查询结果。

【技术特征摘要】
1.一种数据处理方法，应用于分布式系统，其特征在于，包括：获取业务数据，将所述业务数据导入至Druid数据库；获取预定义的维度信息和分块时间信息，根据所述维度信息和分块时间信息对所述业务数据进行预聚合分块处理以得到分块数据，并保存所述分块数据；若接收到数据查询指令，获取所述数据查询指令中的查询参数；根据所述查询参数查询所述分块数据，并返回相应的查询结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述查询参数包括查询类型；所述根据所述查询参数查询所述分块数据，并返回相应的查询结果，包括：识别所述查询参数中的查询类型；根据查询类型与类型查询规则之间预设的对应关系，确定识别到的查询类型对应的类型查询规则；以及根据确定的类型查询规则查询所述分块数据并返回相应的查询结果。3.根据权利要求2所述的数据处理方法，其特征在于，所述查询类型包括：Top-N查询类型和Groupby查询类型。4.根据权利要求1所述的数据处理方法，其特征在于，在所述获取业务数据，将所述业务数据导入至Druid数据库之前，还包括：确定预设部署规则，按照所述预设部署规则将Druid数据库部署在分布式系统。5.根据权利要求1所述的数据处理方法，其特征在于，所述获取业务数据，将所述业务数据导入至Druid数据库，包括：通过Kafka获取业务数据，并将所述业务数据保存在Kafka消息队列中；以及实时从所述Kafka消息队列中读取所述业务数据并存储在Druid数据库中。6.一种数据处理装置，其特征在于，包括：获取导入单元，...

【专利技术属性】
技术研发人员：陈志兴，姚元武，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44