一种基于大数据处理的报表生成方法技术

本发明专利技术涉及报表生成方法技术领域，且公开了一种基于大数据处理的报表生成方法，包括数据采集，所述数据采用使用ETL技术，通过ETL分析和处理各个进行系统中的数据，在对信息进行合法性和完整性等数据清洗后，将数据转换成原始报表，通过展示层、接入层、服务层和资源层的四层系统架构，改变了传统的处理模式，使用原始库到基础库、结果库和报送库四层数据库方式进行数据的报送服务，进一步的提高了数据采集和维护的效率，转换完成的原始报表经过数据稽核后输出统计结果，生成报表，最后经过数据审批后报送至监管机构，本发明专利技术程序简单，自动化程度高，解决了传统报表生成方法效率低下的问题，具有报表生成高效化的优点。

A report generation method based on big data processing

【技术实现步骤摘要】
一种基于大数据处理的报表生成方法
本专利技术涉及报表生成方法
，具体为一种基于大数据处理的报表生成方法。
技术介绍
金融机构需定期提供给银行数据报表，但报表数据总量多、类型复杂、报表规则也难以解析，在当前市场主流的报送服务的产品中，大多都有着数据管理不够仔细、数据处理失误率比较高和对审批的管理和规则的解析不够深入的缺点，大大降低了报表生成和提交的效率，如中国专利授权公告号为：CN104461538B的报表生成方法和报表生成系统，其中的报表生成方法包括：根据接收到的报表生成指令，在预设的多种报表公式模板中选择目标报表公式模板；将所述目标报表公式模板封装成类对象；对所述类对象进行解析，以获取所述目标报表公式模板中的每个单元格的取数公式；根据所述每个单元格的所述取数公式，对数据源进行封装；根据封装后的所述数据源生成报表。通过本专利技术的技术方案，用户在操作界面只需选择需要的模板并录入数据，系统就会自动生成报表，从而提升了报表开发的便利性，但是这种报表生成方法仍然存在有一定的局限性，并不能够自动化的对数据进行采集和维护，又如中国专利授权公告号为：CN103606045B的报表生成方法和报表系统，其中，报表系统包括：数据录入单元，适于根据填报方案，接收数据录入方基于授权所录入的本组织的填报项数据，并验证所录入数据的合法性；数据审核单元，适于接收数据审核方对录入的填报方案的审核结果，并根据审核结果决定是否需要重新进行数据录入单元的数据录入；报表生成单元，适于接收报表生成方选择的报表模板文件和报表生成规则；还适于根据报表生成规则，对填报方案中的数据进行处理，并按照报表模板文件生成报表，该报表为注册报表；报表生成单元将注册报表保存在注册报表数据库中。灵活适应电力数据填报需求和报表变更需求，方便用户，但是这种方法虽然也能够进行数据稽核，但是稽核方式仍然不够严格，无法保证数据的准确性，因此，如何能够深入研究监管报送业务，打造稳定、专业的监管平台，提供全面、高效、灵活的金融监管报送信息化解决方案，成为了一项亟待解决的技术难题。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种基于大数据处理的报表生成方法，具备报表生成高效化的优点，解决了传统报表生成方法效率低下的问题。(二)技术方案为实现上述报表生成高效化的目的，本专利技术提供如下技术方案：一种基于大数据处理的报表生成方法，包括以下步骤：S01:在数据网关层将散落在各个业务系统中的数据采集到原始库中；S02:在S01的基础上，对原始库中的数据进行抽取、清洗，并转换到基础库中；S03:在S02的基础上，对基础库中的数据进行稽核、补录和调整；S04:在S03的基础上，对基础库中的数据进行组合和转换，并同步到结果库中；S05:在S04的基础上，为报送任务查询指定业务日期的数据并生成待报送文件；S06:在S05的基础上，逐流程审批待报送文件；S07:在S06的基础上，向监管机构报送提交待报送文件。优选的，所述数据网关层结合大数据技术，利用ETL分析和处理各个进行系统中的数据，在对信息进行合法性和完整性等数据清洗后，将数据转换成原始报表，后移送至Java后台继续数据的进一步加工，通过大数据技术的使用，本方法能够实现数据从采集到输出的全过程的自动化。优选的，所述大数据处理报表原始金融数据时包括了数据采集、数据预处理、数据统计分析和数据挖掘四个阶段，相较于传统的软件开发，大数据利用分布式任务管理和集群数据管理来解决传统开发模式下单机器性能无法处理大量数据的问题。优选的，所述大数据处理使用了分布式计算和集群服务器进行数据处理策略，首先是分布式将数据拆分成多个任务，不同的集群处理不同的任务，之后通过集群服务器对同一任务进行分工共同处理，集群能大幅提升系统数据处理能力，最后分布式将不同服务器集群处理转换后的信息进行分析，得出最终的信息，通过此种技术架构的实现，解决了传统软件开发无法处理海量数据和处理数据慢、性能低下的问题。优选的，所述系统架构包括展示层、接入层、服务层和资源层四层架构，展示层主要是针对PCWeb用户，接入层使用Nginx等互联网主流WebServer进行实现，主要负责请求接入、通道安全控制、URL重写和代理等，服务层使用分布式架构实现服务层应用，将监管报送服务进行拆分，为考虑并发及低耦合性设计思路，规划相对独立可灵活扩展的子服务，以实现柔性服务原则，资源层采用关系型数据库集群存放业务数据，使用Redis缓存服务来存储常用数据，提高数据查询和处理效率，使用FASTDFS文件服务器来实现文件的分布式存储。优选的，所述系统每日定时对所有数据进行稽核，针对于数据源的数据进行检查，输出统计结果，系统稽核触发的入口主要有三个，分别是定时触发、修改数据源数据时触发、主动触发。(三)有益效果与现有技术相比，本专利技术提供了一种基于大数据处理的报表生成方法，具备以下有益效果：1、该基于大数据处理的报表生成方法，通过大数据技术的ETL分析和处理各个进行系统中的数据，在对信息进行合法性和完整性等数据清洗后，将数据转换成原始报表，而且大数据处理报表原始金融数据时包括了数据采集、数据预处理、数据统计分析和数据挖掘四个阶段，相较于传统的软件开发，大数据利用分布式任务管理和集群数据管理来解决传统开发模式下单机器性能无法处理大量数据的问题，转换完成的原始报表经过数据稽核后输出统计结果，生成报表，然后再经过数据审批报送至监管机构，通过大数据技术与报表统计的灵活结合，从而达到了能够全面高效的向监管结构提交报表的效果。2、该基于大数据处理的报表生成方法，通过展示层、接入层、服务层和资源层的四层系统架构，改变了传统的处理模式，使用原始库到基础库、结果库和报送库四层数据库方式进行数据的报送服务，进一步的提高了数据采集和维护的效率，由任务调度平台API、外部系统接口API和数据库三个部分组成的任务调度平台，既可以将任务调度信息进行持久化存储，又保证了集群节点的相互独立，互不干扰，通过新型系统架构和新型任务调度平台之间的相互配合，从而达到了能够使报表数据处理更加高效率的效果。附图说明图1为本专利技术系统流程步骤图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，一种基于大数据处理的报表生成方法，包括以下步骤：S01:在数据网关层将散落在各个业务系统中的数据采集到原始库中，数据网关层结合大数据技术，利用ETL分析和处理各个进行系统中的数据，在对信息进行合法性和完整性等数据清洗后，将数据转换成原始报表，后移送至Java后台继续数据的进一步加工，通过大数据技术的使用，本方法能够实现数据从采集到输出的全过程本文档来自技高网...

【技术保护点】
1.一种基于大数据处理的报表生成方法，其特征在于：包括以下步骤：/nS01:在数据网关层将散落在各个业务系统中的数据采集到原始库中；/nS02:在S01的基础上，对原始库中的数据进行抽取、清洗，并转换到基础库中；/nS03:在S02的基础上，对基础库中的数据进行稽核、补录和调整；/nS04:在S03的基础上，对基础库中的数据进行组合和转换，并同步到结果库中；/nS05:在S04的基础上，为报送任务查询指定业务日期的数据并生成待报送文件；/nS06:在S05的基础上，逐流程审批待报送文件；/nS07:在S06的基础上，向监管机构报送提交待报送文件。/n

【技术特征摘要】
1.一种基于大数据处理的报表生成方法，其特征在于：包括以下步骤：
S01:在数据网关层将散落在各个业务系统中的数据采集到原始库中；
S02:在S01的基础上，对原始库中的数据进行抽取、清洗，并转换到基础库中；
S03:在S02的基础上，对基础库中的数据进行稽核、补录和调整；
S04:在S03的基础上，对基础库中的数据进行组合和转换，并同步到结果库中；
S05:在S04的基础上，为报送任务查询指定业务日期的数据并生成待报送文件；
S06:在S05的基础上，逐流程审批待报送文件；
S07:在S06的基础上，向监管机构报送提交待报送文件。


2.根据权利要求1所述的一种基于大数据处理的报表生成方法，其特征在于：所述数据网关层结合...

【专利技术属性】
技术研发人员：杨阳，贺璟璐，向开杰，
申请(专利权)人：深圳迅策科技有限公司，
类型：发明
国别省市：广东;44