一种多元化大数据统计报告自动生成方法、系统及可读介质技术方案

本发明专利技术涉及一种多元化大数据统计报告自动生成方法、系统及可读介质，包括以下步骤：S1对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于关键数据生成日志，对于非关键数据进行物理化备份；S2对数据源中的数据进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过步骤S1处理的数据存储至目标数据库；S3提取目标数据库中的数据，并对其进行分类，根据不同的数据类别对数据进行分析处理；S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项，从而生成统计报告。其操作简单，成本较低，计算量较小，能够快速准确的生成统计报告。速准确的生成统计报告。速准确的生成统计报告。

【技术实现步骤摘要】
一种多元化大数据统计报告自动生成方法、系统及可读介质


[0001]本专利技术涉及一种多元化大数据统计报告自动生成方法、系统及可读介质，属于数据处理


技术介绍

[0002]很多企业、机构或个人经常会在做辅助公司或领导决策的统计报告，因为整体业务不熟，不知道一个统计报告需由哪些统计内容构成，以及如何安排统计要素之间的关系、计算公式、报告样式。传统企业完成这项工作，通常会使用Excel表写出复杂的运算公式，来进行数据统计工作。在面对小数据的情况下，虽然可能过程繁琐，但还能基本胜任。而如果是基于大数据的复杂运算统计报告，那么使用传统的Excel表将无法完成繁重的数据处理任务。
[0003]这些事务在大型企业里可以通过购买昂贵的BI展示服务来获得，但是BI展示服务价格昂贵，其功能虽然很全面，但是很多功能并不是每次统计都需要的，从而造成一定程度的浪费。

技术实现思路

[0004]针对上述问题，本专利技术的目的是提供了一种多元化大数据统计报告自动生成方法、系统和可读介质，其操作简单，成本较低，计算量相对较小，可以快速、准确、个性化的生成统计报告。
[0005]为实现上述目的，本专利技术采取以下技术方案：一种多元化大数据统计报告自动生成方法，包括以下步骤：S1对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于关键数据生成日志，对于非关键数据进行物理化备份；S2对数据源中的数据进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过步骤S1处理的数据存储至目标数据库；S3提取目标数据库中的数据，并对其进行分类，根据不同的数据类别对数据进行分析处理；S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项，从而生成统计报告。
[0006]进一步，步骤S2中存储至目标数据库中的数据包括：业务数据、日志数据和文件数据。
[0007]进一步，步骤S3中将目标数据库的数据分为关系型数据、非关系数据和附件型数据三类。
[0008]进一步，对于关系型数据在分析时直接通过经过训练的结构化查询语句进行查询，并将查询的结果进行提取。
[0009]进一步，对于非关系型数据在分析时，将其进一步分为需要计算的数据和不需要计算的数据两类，对于不需要计算的数据直接从Hbase数据库的调用接口查询并提取数据；对于需要计算的数据采用spark进行分布式计算。
[0010]进一步，步骤S1中对数据源中的数据进行扫描，采用非触发周期性扫描方式，依据
数据源端的修改时间、数据大小、日志记录或操作记录变化标识确认数据发生变化继而进行操作。
[0011]进一步，步骤S1中生成的日志采用数据作业日志映射即时文本录入和数据表概括描述两种方式，并且将数据源中生成的日志与数据在分析处理过程中产生的日志分开，物理化备份采用增量数据留存和定期数据文件压缩两种方式。
[0012]进一步，步骤S3中采用数据增量采集、全量加载和数据拉链线性历史记录三种方式提取目标数据库中的数据。
[0013]本专利技术公开了一种多元化大数据统计报告自动生成系统，包括：数据处理模块，用于对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于关键数据生成日志，对于非关键数据进行物理化备份；监测模块，用于对数据源中的数据进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过数据处理模块处理的数据存储至目标数据库；数据分析模块，用于提取目标数据库中的数据，并对其进行分类，根据不同的数据类别对数据进行分析处理；报告生成模块，用于将经过分析处理的数据填入统计报告模板中的对应项，从而生成统计报告。
[0014]本专利技术还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现上述任一项的多元化大数据统计报告自动生成方法。
[0015]本专利技术由于采取以上技术方案，其具有以下优点：1、本方案中数据发现自主化，脱离以往的数据推送模式或手动传输模式，而是以数据源的变化为标识主动搜集数据。2、本方案中异常信息自动化，是以每个数据处理环节为基础，当异常发生时主动推送错误环节和错误内容给运维人员以便及时处理。3、数据信息配置化，不再以独立的作业脚本为运行模式，而是完整地配置出数据关系，以便整理数据链和了解数据当前状态。4、本方案中是以规范化的命名和存放地址指向已开发的数据脚本，更便于后期运维、统计和管理。
附图说明
[0016]图1是本专利技术一实施例中多元化大数据统计报告自动生成方法的示意图；
[0017]图2是本专利技术一实施例中对数据源中数据进行处理过程的示意图；
[0018]图3是本专利技术一实施例中步骤S3中对数据进行分析处理过程的示意图。
具体实施方式
[0019]为了使本领域技术人员更好的理解本专利技术的技术方向，通过具体实施例对本专利技术进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本专利技术，它们不应该理解成对本专利技术的限制。在本专利技术的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。
[0020]本专利技术采用数据一体化结构，关键性信息采用面向使用人员配置的方式，数据由生产出至处理结束，全程有监控和警报，关键信息会生成日志，并对某些非落地设定的数据可完成物理化备份，整体程序采用复合开发语言完成。该结构释放工作人员的定检工作，保证数据的可追溯性和可靠性，日志与系统警报作为一个整体贯穿数据处理的各个环节，数据加工环节多采用配置式的增益性开发，即在不满足现有功能对数据处理的情况下，仅需
要修改其中的工具文件和增加相应配置文件即可完成工作。下面通过具体实施例对本专利技术中方案进行进一步阐述。
[0021]实施例一
[0022]本实施例公开了一种多元化大数据统计报告自动生成方法，如图1、2所示，包括以下步骤：
[0023]S1对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于关键数据生成日志，对于非关键数据进行物理化备份。
[0024]对数据源中的数据进行扫描，采用非触发周期性扫描方式，依据数据源端的修改时间、数据大小、日志记录或操作记录变化标识确认数据发生变化继而进行操作。
[0025]生成的日志采用数据作业日志映射即时文本录入和数据表概括描述两种方式，并且将数据源中生成的日志与数据在分析处理过程中产生的日志分开，物理化备份采用增量数据留存和定期数据文件压缩两种方式。
[0026]S2对数据源中的数据采用Linux或Window端系统执行计划配置方式，进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过步骤S1处理的数据存储至目标数据库；
[0027]其中，如图3所示，存储至目标数据库中的数据包括：业务数据、日志数据和文件数据。将数据源的数据规范化、模板化，将步骤S1处理完的数据存入到目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多元化大数据统计报告自动生成方法，其特征在于，包括以下步骤：S1对数据源中的数据进行扫描，并根据数据重要性将数据分为关键数据和非关键数据，对于所述关键数据生成日志，对于所述非关键数据进行物理化备份；S2对所述数据源中的数据进行实时监控或周期性监控，若发现数据异常则向用户发出警报，同时暂停数据处理过程，并将经过步骤S1处理的数据存储至目标数据库；S3提取所述目标数据库中的数据，并对其进行分类，根据不同的数据类别对数据进行分析处理；S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项，从而生成统计报告。2.如权利要求1所述的多元化大数据统计报告自动生成方法，其特征在于，所述步骤S2中存储至目标数据库中的数据包括：业务数据、日志数据和文件数据。3.如权利要求1所述的多元化大数据统计报告自动生成方法，其特征在于，所述步骤S3中将目标数据库的数据分为关系型数据、非关系数据和附件型数据三类。4.如权利要求3所述的多元化大数据统计报告自动生成方法，其特征在于，对于所述关系型数据在分析时直接通过经过训练的结构化查询语句进行查询，并将查询的结果进行提取。5.如权利要求3所述的多元化大数据统计报告自动生成方法，其特征在于，对于所述非关系型数据在分析时，将其进一步分为需要计算的数据和不需要计算的数据两类，对于不需要计算的数据直接从Hbase数据库的调用接口查询并提取数据；对于需要计算的数据采用spark进行分布式计算。6.如权利要求1
‑
5任一项所述的多元化大数据统计报告自动生成方法，其特征在于，所述步骤S1中对数据源中的数据进行扫描，采用非触发周期性扫描方...

【专利技术属性】
技术研发人员：曹远，庞辛酉，罗静，张培，
申请(专利权)人：通号智慧城市研究设计院有限公司，
类型：发明
国别省市：