一种工程建设项目审批的大数据分析决策方法及系统技术方案

本发明专利技术属于大数据分析领域，为工程建设项目审批的大数据分析决策方法及系统，包括步骤：数据采集，以地市为单位收集工程审批数据，进行全国数据共享；对采集的数据进行数据清洗和数据分级处理，构建树形的数据结构，获得树形父子关联关系结构的标准化数据；按行政区划对数据分割得到多个数据分片；以审批事项为单位进行数据关联和数据扩展，生成用于审批事项业务的宽表；引入大数据引擎进行数据分析和数据同步；对工程审批数据进行基于大数据的分析决策。本发明专利技术对项目审批数据按行政区划分片区管理、存储，对数据关联处理形成以事项为单位的宽表，减少数据查询量，解决了亿级海量工程审批数据的存储难、管理维护性能差的问题。管理维护性能差的问题。管理维护性能差的问题。

【技术实现步骤摘要】
一种工程建设项目审批的大数据分析决策方法及系统


[0001]本专利技术属于大数据分析领域，具体为一种工程建设项目审批的大数据分析决策方法及系统。

技术介绍

[0002]当前国家全面开展工程建设项目审批制度改革，深入推进工程建设项目审批制度改革，需要收集全国各个城市的工程建设项目审批数据，建立全国统一的工程建设项目审批和监管体系，实时监管各城市的办件规范性及改革落实情况。
[0003]现有技术中，大部分工程建设项目审批系统都是在小范围内进行数据采集和处理；而全国工程建设项目审批系统，需要采集全国数据，数据量达到亿级别并且还在不断的爆炸式增长中，对数据的采集、清洗、分析等要求更高，需要一套高效的数据管理方法，保证数据的实时性并且易于决策分析。

技术实现思路

[0004]为解决现有技术存在的问题，本专利技术提供一种工程建设项目审批的大数据分析决策方法及系统，对工程建设项目审批数据按行政区划分片区管理、存储，并对数据进行关联处理形成以事项为单位的宽表，减少数据查询量，提高了查询效率，解决了大数据条件下，亿级海量工程审批数据的存储难、管理维护性能差的问题。
[0005]本专利技术方法采用以下技术方案实现：一种工程建设项目审批的大数据分析决策方法，包括以下步骤：
[0006]数据采集，以地市为单位收集工程审批数据，进行全国数据共享；
[0007]对采集的数据进行数据清洗和数据分级处理，构建树形的数据结构，获得树形父子关联关系结构的标准化数据；
[0008]按行政区划对数据进行分割，得到多个数据分片，以对数据进行分块管理；
[0009]以审批事项为单位进行数据关联和数据扩展，生成用于审批事项业务的宽表；
[0010]引入大数据引擎进行数据分析和数据同步；
[0011]对工程审批数据进行基于大数据的分析决策。
[0012]优选地，数据清洗和数据分级处理的过程包括：
[0013]对工程审批数据进行分级,构建树形的数据结构；
[0014]根据分级后数据之间的父子关系，对数据进行清洗；清洗原则为：地市上传子节点集数据，如果在父节点未找到关联数据，则判断数据不合格。
[0015]优选地，按行政区划对数据进行分割时，把每个数据表分成N个分区文件，每个分区文件按城市分块管理；分割后获得的数据分片分布在多个数据库集群节点上,每个数据分片上包含原有总数据集的至少一个子集。
[0016]优选地，对所生成的用于审批事项业务的宽表进行维护，采用中间表服务程序，将宽表扩展成中间表，通过定时检查增量的方式更新中间表的数据，并将所更新的数据同步
到数据库。
[0017]本专利技术系统采用如下技术方案实现：一种工程建设项目审批的大数据分析决策系统，包括以下模块：
[0018]数据采集模块，用于以地市为单位收集工程审批数据，进行全国数据共享；
[0019]数据清洗模块，对采集的数据进行数据清洗和数据分级处理，构建树形的数据结构，获得树形父子关联关系结构的标准化数据；
[0020]数据分片模块，按行政区划对数据进行分割，得到多个数据分片，以对数据进行分块管理；
[0021]数据关联模块，以审批事项为单位进行数据关联和数据扩展，生成用于审批事项业务的宽表；
[0022]数据分析模块，引入大数据引擎进行数据分析和数据同步；
[0023]决策模块，对工程审批数据进行基于大数据的分析决策。
[0024]与现有技术相比，本专利技术取得的有益效果包括：
[0025]1、本专利技术对工程建设项目审批数据按行政区划分片区管理、存储，减少数据查询量，提高了查询效率，解决了大数据条件下，亿级海量工程审批数据的存储难、管理维护性能差的问题。
[0026]2、本专利技术对采集的数据在入库前进行清洗，并按树形父子关联关系进行分级处理，解决数据质量差、数据参差不齐的问题，保证了数据的关联性与完整性。
[0027]3、本专利技术对数据进行关联处理，形成以事项为单位的宽表，减少数据集统计的数量、减少业务表关联，提升统计分析的性能。此外，引入大数据引擎“clickHouse”，把用于分析的宽表从MySQL数据库同步到该数据库，进一步提升了查询的性能。本专利技术所有的数据分析决策都基于上述宽表和数据引擎，对系统的开发和数据分析更快、更方便，数据承载力更强，维护成本低，架构简单并且性能提升巨大，克服了传统数据库在海量数据条件下统计分析性能不足的瓶颈。
[0028]4、本专利技术提供了一套采集全国工程建设审批数据的方法，并实现国家与地市的实时数据交换与共享；国家数据与省、市数据一致，对不合格的数据有详细的说明，方便地市整改，重新上传数据。
附图说明
[0029]图1是本专利技术实施例提供的工程建设项目审批的大数据分析决策方法总流程图；
[0030]图2是本专利技术实施例中的数据采集流程图；
[0031]图3是本专利技术实施例中构建的数据树形关系示意图；
[0032]图4是本专利技术实施例中的数据分片结构示意图；
[0033]图5是本专利技术实施例中横向拓展关联形成数据大宽表的示意图；
[0034]图6是本专利技术实施例中数据分析查询的示意图。
具体实施方式
[0035]下面结合附图和实施例，对本专利技术技术方案做进一步详细的描述，但本专利技术的实施方式并不限于此。
[0036]实施例1
[0037]本实施例提供一种工程建设项目审批的大数据分析决策方法，以国家工程建设项目审批管理系统实施过程中的实际操作为例，如图1所示，主要步骤如下：
[0038]S1、数据采集，以地市为单位收集工程审批数据，进行全国数据共享。
[0039]按照实际业务的场景需要，收集全国各城市的工程审批数据进行分析决策；各城市根据国家数据标准实时上报审批数据，对不符合要求的数据给出原因，修正后重新上报；每次上传都保留上传的痕迹，以反映数据的历史变化，数据格式保持一致，只有合格的数据才能进入国家库。在本实施例中，数据采集的来源具体包括以下数据库：
[0040]国家平台：国家工程建设项目审批管理系统；
[0041]省级平台:全国32个省级工程建设项目审批管理系统；
[0042]地市平台：全国各个地级市工程建设项目审批管理系统；
[0043]城市前置库：部署在省住建厅的前置数据库；
[0044]省正式库：部署在省住建厅的正式数据库；
[0045]省级前置库：部署在住建部的前置数据库；
[0046]国家正式库：部署在住建部的正式数据库。
[0047]数据采集的流程如图2所示，数据采集的过程包括如下步骤：
[0048]S11、城市审批系统上报数据至城市前置库；
[0049]S12、调用省接口程序通知接口，通知地方需要上报数据；
[0050]S13、省接口程序从城市前置库取得数据；省接口程序将所取得的这批数据复制一份至省级前置库；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工程建设项目审批的大数据分析决策方法，其特征在于，包括以下步骤：数据采集，以地市为单位收集工程审批数据，进行全国数据共享；对采集的数据进行数据清洗和数据分级处理，构建树形的数据结构，获得树形父子关联关系结构的标准化数据；按行政区划对数据进行分割，得到多个数据分片，以对数据进行分块管理；以审批事项为单位进行数据关联和数据扩展，生成用于审批事项业务的宽表；引入大数据引擎进行数据分析和数据同步；对工程审批数据进行基于大数据的分析决策。2.根据权利要求1所述的大数据分析决策方法，其特征在于，数据清洗和数据分级处理的过程包括：对工程审批数据进行分级,构建树形的数据结构；根据分级后数据之间的父子关系，对数据进行清洗；清洗原则为：地市上传子节点集数据，如果在父节点未找到关联数据，则判断数据不合格。3.根据权利要求2所述的大数据分析决策方法，其特征在于，对工程审批数据进行分级时，将数据分为五级，一级为行政区划代码，二级为审批流程，三级为工程建设项目，四级为事项办理信息，五级为事项办理详细过程信息；从一级到五级为一对多，父与子的关系；为一个地市定义多个审批流程，一个审批流程下关联多个项目，每个项目下关联多个办理事项，每个办理事项下关联该事项的办理详情。4.根据权利要求1所述的大数据分析决策方法，其特征在于，按行政区划对数据进行分割时，把每个数据表分成N个分区文件，每个分区文件按城市分块管理；分割后获得的数据分片分布在多个数据库集群节点上,每个数据分片上包含原有总数据集的至少一个子集。5.根据权利要求1所述的大数据分析决策方法，其特征在于，对所生成的用于审批事项业务的宽表进行维护，采用中间表服务程序，将宽表扩展成中间表，通过定时检查增量的方式更新中间表的数据，并将所更新的数据同步到数据库。6.根据权利要求5所述的大数据分析决策方法，其特征在于，所引入的大数据引擎为ClickHouse数据库。7.根据权利要求6所...

【专利技术属性】
技术研发人员：纳森，韩早强，李晶，何雄，王建明，唐伟平，
申请(专利权)人：奥格科技股份有限公司，
类型：发明
国别省市：