报表数据的处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及大数据平台的领域，提供了一种报表数据的处理方法、装置、计算机设备和存储介质，包括：从大数据平台获取待处理数据；对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内；将所述Druid内的预处理后的数据创建成数据集；根据报表要求到所述数据集中抽取对应的数据创建报表；本申请中提供的报表数据的处理方法、装置、计算机设备和存储介质，支持大数据的查看。

【技术实现步骤摘要】
报表数据的处理方法、装置、计算机设备和存储介质
本申请涉及大数据平台的
，特别涉及一种报表数据的处理方法、装置、计算机设备和存储介质。
技术介绍
目前，现有的报表数据是在大数据平台加工完成，再同步至关系型数据库中，需要经过一系列繁琐配置才能让业务看到报表数据，需要投入大量数据对接以及报表开发人力，浪费存储，且报表系统因为与关系型数据库关联，难以查看大数据量报表，需要减少维度才能分析数据的情况。
技术实现思路
本申请的主要目的为提供一种报表数据的处理方法、装置、计算机设备和存储介质，支持大数据的查看。为实现上述目的，本申请提供了一种报表数据的处理方法，包括以下步骤：从大数据平台获取待处理数据；对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内；将所述Druid内的预处理后的数据创建成数据集；根据报表要求到所述数据集中抽取对应的数据创建报表。进一步地，所述待处理数据包括实时数据和离线数据，所述从所述大数据平台获取待处理数据的步骤，包括：若从所述大数据平台获取所述实时数据，则通过kafka接收所述实时数据；若从所述大数据平台获取所述离线数据，则通过Hive接收所述离线数据。进一步地，所述对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内的步骤，包括：若所述待处理数据为所述实时数据，则通过所述kafka接收并发送至所述Druid存储，对所述Druid内的实时数据进行预处理；若所述待处理数据为所述离线数据，则通过所述Hive接收并对所述Hive中的数据进行预处理后发送至所述Druid存储。进一步地，所述对所述待处理数据进行预处理操作的步骤，包括：选择审核、筛选、排序、聚合以及汇总中的至少一中处理方法对所述待处理数据进行处理；根据报表要求，对预处理后的数据进行分类或者分组。进一步地，所述将所述Druid内的预处理后的数据创建成数据集的步骤，包括：根据报表要求，通过json串对所述Druid内预处理后的数据进行查询；将查询得到的数据创建为所述数据集。进一步地，所述根据报表要求到所述数据集中抽取对应的数据创建报表的步骤，包括：将抽取对应的所述数据按照指定的维度设置，形成展示报表。进一步地，所述若所述待处理数据为所述离线数据，则通过所述Hive接收并对所述Hive中的数据进行预处理后发送至所述Druid存储的步骤，包括：对所述Hive接收的所述离线数据进行预处理；将预处理后的离线数据通过Data自动导入Druid系统。本申请还提供了一种报表数据的处理装置，包括：获取模块，用于从大数据平台获取待处理数据；预处理模块，用于对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内；第一处理模块，用于将所述Druid内的预处理后的数据创建成数据集；第二处理模块，用于根据报表要求到所述数据集中抽取对应的数据创建报表。本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。本申请还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。本申请中提供的报表数据的处理方法、装置、计算机设备和存储介质，具有以下有益效果：本申请中提供的报表数据的处理方法、装置、计算机设备和存储介质，通过直接对接大数据平台，大数据平台获取待处理数据并进行预处理操作，创建数据集，并通过报表要求使用数据集的数据新建报表并展示，对业务可进行多维度的分析，时效性强，系统间的数据交互方便，数据共享便捷，可以提供同一的数据支持。附图说明图1是本申请一实施例中报表数据的处理方法步骤示意图；图2是本申请一实施例中报表数据的处理装置结构框图；图3是本申请一实施例中获取模块的结构框图；图4是本申请一实施例中预处理模块的结构框图；图5是本申请一实施例的计算机设备的结构示意框图。本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。参照图1，为本申请一实施例中提供了一种报表数据的处理方法，包括以下步骤：步骤S1，从大数据平台获取待处理数据。通过从大数据平台获取到所有原始数据形成数据源，在一实施例中，若需要获取到实时数据，直接通过kafka接入实时数据发送到Druid，对储存于Druid的数据进行加工处理，从而实现获取在线报表分析的数据。在另一实施例中，若需要获取到离线数据，将原始数据发送至Hive中，从Hive中提取原始数据经过初步加工处理，然后同步导入到Druid中保存，报表的分析平台利用Druid的多维分析，快速聚合，灵活过滤，毫秒级查询等特性对Druid进行查询，从而实现海量数据的即席查询及在线报表分析。Druid是能够对于大量的基于时序的数据进行聚合查询，是一个高效的数据查询系统，数据可以实时摄入，进入到Druid后立即可查，同时数据几乎是不可变。Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据。通过处理日志和日志聚合来解决，对于像Hadoop的一样的日志数据和离线分析系统，要求实时处理的限制，Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。具有高容错性的特点，为海量的数据提供了存储，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。可以通过类SQL语句快速实现简单的MapReduce统计，十分适合数据仓库的统计分析。如在一具体实施例中，寿险业务人员需要通过报表要求对寿险的数据进行分析，则可以根据存储于Druid内的数据信息建立多维度的报表，如根据时间维度获取包括寿险的保费、保险人信息、被保人信息等原始数据信息，还可以通过地域、人群等建立多维度的报表。步骤S2，对待处理数据进行预处理操作，且预处理后的数据存储于Druid内。对收集的所有数据(原始数据)进行加工处理，目的是为了提高数据分析的准确性，提高数据挖掘模型的质量，降低实际挖掘所需要的时间。由于获取到的原始数据是不完整或者不一致的，无法对原始数据进行分析或者分析的结果差强人意，不能满足业务使用者的需求，故需要对原始数据进行预处理，对获取的所有原始数据进行进一步处理包括如采用数据清理、数据集成，数据变换，数据归约的方法。首先对获取到的原始数据进行审核、筛选、排序、聚合、汇总等一项或者多项的处理，再对处理后的原始数据进行分类或者分组，形成完整、清楚的数据，之后再本文档来自技高网...

【技术保护点】
1.一种报表数据的处理方法，其特征在于，包括以下步骤：从大数据平台获取待处理数据；对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内；将所述Druid内的预处理后的数据创建成数据集；根据报表要求到所述数据集中抽取对应的数据创建报表。

【技术特征摘要】
1.一种报表数据的处理方法，其特征在于，包括以下步骤：从大数据平台获取待处理数据；对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内；将所述Druid内的预处理后的数据创建成数据集；根据报表要求到所述数据集中抽取对应的数据创建报表。2.根据权利要求1所述的一种报表数据的处理方法，其特征在于，所述待处理数据包括实时数据和离线数据，所述从所述大数据平台获取待处理数据的步骤，包括：若从所述大数据平台获取所述实时数据，则通过kafka接收所述实时数据；若从所述大数据平台获取所述离线数据，则通过Hive接收所述离线数据。3.根据权利要求2所述的一种报表数据的处理方法，其特征在于，所述对所述待处理数据进行预处理操作，且预处理后的数据存储于Druid内的步骤，包括：若所述待处理数据为所述实时数据，则通过所述kafka接收并发送至所述Druid存储，对所述Druid内的实时数据进行预处理；若所述待处理数据为所述离线数据，则通过所述Hive接收并对所述Hive中的数据进行预处理后发送至所述Druid存储。4.根据权利要求1所述的一种报表数据的处理方法，其特征在于，所述对所述待处理数据进行预处理操作的步骤，包括：选择审核、筛选、排序、聚合以及汇总中的至少一种处理方法对所述待处理数据进行处理；根据所述报表要求，对预处理后的数据进行分类或者分组。5.根据权利要求3所述的一种报表数据的处理方法，其特征在于，所述将所...

【专利技术属性】
技术研发人员：席旭亮，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44