全国工商大数据处理系统的构建方法技术方案

本发明专利技术公开了一种全国工商大数据处理系统的构建方法，该系统主要包括：数据采集模块、数据处理模块、数据汇总模块、数据应用模块、数据备份模块和数据监控模块。数据采集模块用于收集原始数据构建数据准备层；数据处理模块用于构建日更新数据库、周更新数据库和月更新数据库；数据汇总模块用于构建汇总数据库；数据应用模块主要以汇总数据库为数据源创建各业务分析数据库；数据备份模块对上述各类数据进行备份以保障数据安全；数据监控模块则对数据备份集群以及所述各层的数据库和对外服务的运行状态进行监控和异常报警。本发明专利技术可以使数据采集、数据处理、数据汇总和数据应用集于一体，实现全国工商大数据的有效治理和高效利用。

【技术实现步骤摘要】
全国工商大数据处理系统的构建方法
本专利技术涉及数据处理领域，特别涉及一种全国工商大数据处理系统的构建方法。
技术介绍
随着社会技术的飞速发展，经济活日趋频繁，各类数据也呈现井喷式的增长，随之涌现了大量的数据处理系统和方法，尤其是与经济活动密切相关的商事服务领域，人们迫切需要对海量的经济数据进行处理，进而挖掘潜在商业机会，在企业服务领域更是如此。目前现有的工商大数据处理系统，主要是采用离线方式来处理数据，离线计算的优点在于数据吞吐量大，运算时间长，不需要考虑务业数据产生的先后次序。但是离线计算中间环节较多，从数据产生到数据存储再到数据处理，中间存在时间延迟且时效性较差，无法及时的利用已经产生的企业数据，在数据处理的每一个环节均需要有人值守，出错的机率较高。而企业服务行业对工商数据的时效性和准确性有极高的要求，为了及时的给企业客户推送恰当的服务产品，对发变更的企业工商数据更有接近实时性的要求；过时工商数据除具备单一的查询价值外，几乎没有任何潜在的商业价值。
技术实现思路
本专利技术的主要目的在于提供一种全国工商大数据处理系统的构建方法本文档来自技高网...

【技术保护点】
1.一种全国工商大数据处理系统的构建方法，其特征在于，所述方法包括以下步骤：/n(1)收集原始数据以构建数据准备层，采集的原始数据包括企业基本信息数据、年报数据、股东高管数据、动产质押数据数据、行政处罚数据、司法协助数据、知识产权数据和各类证照数据；/n(2)对步聚(1)中当天收集的各类数据汇入日更新数据库，对所述日更新数据库内的各个字段按要求进行标准化处理，并将处理完的数据迁入周更新数据中；周更新数据库更新累积一周的数据后，将数据迁入月更新数据库；月更新数据库更新当月累积的数据后，则将数据导入汇总数据库；/n(3)根据业务需求以步聚(2)中所述汇总数据库为基础，分别建立各类业务分析数据库，将...

【技术特征摘要】
1.一种全国工商大数据处理系统的构建方法，其特征在于，所述方法包括以下步骤：
(1)收集原始数据以构建数据准备层，采集的原始数据包括企业基本信息数据、年报数据、股东高管数据、动产质押数据数据、行政处罚数据、司法协助数据、知识产权数据和各类证照数据；
(2)对步聚(1)中当天收集的各类数据汇入日更新数据库，对所述日更新数据库内的各个字段按要求进行标准化处理，并将处理完的数据迁入周更新数据中；周更新数据库更新累积一周的数据后，将数据迁入月更新数据库；月更新数据库更新当月累积的数据后，则将数据导入汇总数据库；
(3)根据业务需求以步聚(2)中所述汇总数据库为基础，分别建立各类业务分析数据库，将各业务分析所需数据导入搭建的搜索引擎中，对外提供数据接口和数据可视化服务；
(4)将步骤(1)至步骤(3)中各数据库的基础数据定期备份至指定服务器集群的各数据库中，以完成所述各类数据库的数据备份；由采集器实时采集数据备份服务器集群以及所述各层数据库、搜索引擎、数据接口以及数据可视化服务的运行状态数据发送至数据监控模块，由数据监控系进行统一监控和异常报警。


2.根据权利要求1所述的构建方法，其特征在于，所述收集原始数据还包括通过指定sftp服务器及时下载原始数据至指定目录，按照数据收集日期建立文件夹进行数据存储；记录数据下载的日志、发送下载任务的起始消息和邮件通知，并根据状态标记清理已处理的原始数据，以释放服务器资源。

【专利技术属性】
技术研发人员：孙强，范凯波，吕海英，杜艳红，王丽，郭晓钰，吴亚辉，
申请(专利权)人：天津农学院，
类型：发明
国别省市：天津;12