政务大数据平台系统技术方案

本申请涉及一种政务大数据平台系统，属于计算机技术领域，该系统包括：数据汇聚子系统汇聚异构多源的数据；数据资产子系统对数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；数据服务子系统确定数据汇聚子系统中的数据的使用方式；数据治理子系统对数据汇聚子系统中的数据质量进行管控；对系统中服务运行和平台运维进行监控；可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题；通过对异构的数据的采集、交换和管理，可以提高数据交换的效率和准确性。

【技术实现步骤摘要】
政务大数据平台系统
本申请涉及一种政务大数据平台系统，属于计算机

技术介绍
大数据时代的到来给政府管理变革带来了新的契机。为打破各种信息壁垒和数据“孤岛”，有些地方政府建设数据交换平台，通过数据接口的方式，实现数据相互交换。但是，现有的数据交换平台交换的数据类型只限于格式化数据，对于非格式化数据(如照片、音视频等)，则仍需要需求部门和提供部门“点对点”来互传，不能通过工具共享和监督。随着政务数据的日益增长，数据的量级和复杂度也不断提高，传统的数据交换平台也难以处理超大规模的数据，限制了政务数据的共享效率。
技术实现思路
本申请提供了一种政务大数据平台系统，可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题。本申请提供如下技术方案：提供了一种政务大数据平台系统，所述系统包括：数据汇聚子系统，用于汇聚异构多源的数据；数据资产子系统，用于对所述数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；数据服务子系统，用于确定所述数据汇聚子系统中的数据的使用方式；数据治理子系统，用于对所述数据汇聚子系统中的数据质量进行管控；对所述系统中服务运行和平台运维进行监控。可选地，所述数据汇聚子系统的数据接入方式包括以下方式中的至少一种：数据库方式，支持MySQL、Oracle、SqlServer、Hive和/或HBase多种主流数据库；文件方式，支持格式化文件和非格式化文件；通过数据上报，支持提取格式化文件里的数据并保存到关系型数据库；通过文件上传汇聚非格式化文件；接口方式，支持RESTful和WebService接口类型。可选地，所述数据汇聚子系统，用于：周期性地按照调度计划运行作业实现数据汇聚；使用作业运行监控来监控作业的运行过程，所述运行过程包括以下信息中的至少一种：运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况；使用设备运行监控来监控运行所述数据汇聚子系统的服务器的硬件信息，所述硬件信息包括以下信息中的至少一种：CPU占用情况、内存占用情况和磁盘占用情况；在所述硬件信息指示所述服务器存在异常时进行预警。可选地，所述数据资产子系统，用于：对所述数据汇聚子系统中的数据按照预设资源编目规则进行分类，得到资源分类；对所述数据汇聚子系统中的数据对应的资源信息进行登记，建立登记后的资源信息对应的数据关联表，所述数据关联表用于将所述资源信息与所述数据汇聚子系统中的数据相关联；所述资源信息包括基础信息和资源信息项；所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期；所述资源信息项用于描述所述分类后的资源；对登记后的资源信息进行发布，并提供发布的资源信息的查询服务；在接收到对目标资源信息对应的目标数据的查看请求时，若所述目标数据的共享类型为有条件共享时，需求部门向资源提供部门发送资源查看需求，以供资源提供部门对所述资源查看需求进行审核；所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间；在所述资源提供部门对所述资源查看需求审核通过后，在数据管理部门进行备案，以形成三方协议；在审核和备案通过后，允许需求部门使用所述目标资源信息对应的目标数据；所述需求部门按照所述目标数据对应的共享方式进行数据调用。可选地，所述数据服务子系统，用于：接收接口提供部门注册发布的接口服务，所述接口服务用于调用外部数据、或者根据输入条件反馈结果，所述接口服务包括以下信息中的至少一种：基本信息、出参入参信息、示例代码和错误代码；根据所述接口服务生成服务说明文档，并提供所述服务说明文档的导出功能，以使开发者参考调用。可选地，所述数据服务子系统，还用于：接收服务需求部门提出的需求申请；将所述需求申请发送至申请审核部门进行审核；在所述申请审核部门审核通过后，为所述服务需求部门分配授权口令；接收服务需求部门使用对应的授权口令发送的文档调用请求；基于所述授权口令为所述服务需求部门提供所述服务说明文档，记录所述服务说明文档的调用信息，所述调用信息包括以下信息中的至少一种：调用服务名称、调用IP、调用时间、调用参数和调用状态。可选地，所述数据服务子系统，还用于：根据预设的白名单确定所述服务需求部门是否可靠；确定所述服务需求部门请求的服务说明文档的调用频次是否超过预设阈值；在所述服务需求部门可靠且所述调用频次未超过所述预设阈值时，执行所述基于所述授权口令为所述服务需求部门提供所述服务说明文档，记录所述服务说明文档的调用信息的步骤。可选地，所述数据治理子系统，用于：设置治理标准，所述治理标准包括对数据脱敏、数据权威、数据码值和数据校验的管理标准；按照所述治理标准制定ETL作业和所述ETL作业的调度计划；按照所述调度计划调度所述ETL作业运行，以按照所述治理标准清洗数据，得到治理结果；对所述治理结果进行处理。可选地，所述数据治理子系统，用于：对于不符合所述治理标准的数据归置为疑问数据；对所述疑问数据的数据字段内容和疑问原因进行展示；对所述疑问数据的源头业务数据库进行检查；根据检查结果调整所述源头业务数据库的相关业务操作；通过所述ETL作业抽取数据。本申请的有益效果在于：通过数据汇聚子系统，汇聚异构多源的数据；数据资产子系统对数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；数据服务子系统确定数据汇聚子系统中的数据的使用方式；数据治理子系统对数据汇聚子系统中的数据质量进行管控；对系统中服务运行和平台运维进行监控；可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题；通过对异构的数据的采集、交换和管理，可以提高数据交换的效率和准确性。另外，数据汇聚子系统、数据资产子系统，消灭传统信息化平台建设中的“竖井式”业务、“数据孤岛”、重复建设、资源浪费等问题。各业务系统均由各个部门自行建设，系统集成度低、数据信息分散，数据标准不统一。通过政务大数据平台整合人口基础信息资源库、法人基础信息资源库、地理空间信息资源库、电子证照信息资源库等四大基础库，以及整合产业经济、平安等主题库，为平台的各类应用提供基础数据资源，实现资源整合与利用率的提升。另外，数据共享交换平台可以实现多用户接入、多应用支撑；通过整合各用户之间的数据共享渠道，为安全、高效、有序、可靠的数据共享交换提供平台支撑。通过平台资源的统一整合，在数据存储与交换机制中采用数据可用不可见、数据服务调用等交换模式，大大提升了交换效率。另外，随着IT信息化与政府业务日趋紧密的结合，业务需求具有周期短、需求异、要求简的特征。传统的建设模式，采购流程多，部署时间长，无法快速适应业务需求变化。政务大数据平台可以本文档来自技高网...

【技术保护点】
1.一种政务大数据平台系统，其特征在于，所述系统包括：/n数据汇聚子系统，用于汇聚异构多源的数据；/n数据资产子系统，用于对所述数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；/n数据服务子系统，用于确定所述数据汇聚子系统中的数据的使用方式；/n数据治理子系统，用于对所述数据汇聚子系统中的数据质量进行管控；对所述系统中服务运行和平台运维进行监控。/n

【技术特征摘要】
1.一种政务大数据平台系统，其特征在于，所述系统包括：
数据汇聚子系统，用于汇聚异构多源的数据；
数据资产子系统，用于对所述数据汇聚子系统中的数据按照政务数据资产化管理规则进行全生命周期地管理；
数据服务子系统，用于确定所述数据汇聚子系统中的数据的使用方式；
数据治理子系统，用于对所述数据汇聚子系统中的数据质量进行管控；对所述系统中服务运行和平台运维进行监控。


2.根据权利要求1所述的系统，其特征在于，所述数据汇聚子系统的数据接入方式包括以下方式中的至少一种：
数据库方式，支持MySQL、Oracle、SqlServer、Hive和/或HBase多种主流数据库；
文件方式，支持格式化文件和非格式化文件；通过数据上报，支持提取格式化文件里的数据并保存到关系型数据库；通过文件上传汇聚非格式化文件；
接口方式，支持RESTful和WebService接口类型。


3.根据权利要求1所述的系统，其特征在于，所述数据汇聚子系统，用于：
周期性地按照调度计划运行作业实现数据汇聚；
使用作业运行监控来监控作业的运行过程，所述运行过程包括以下信息中的至少一种：运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况；
使用设备运行监控来监控运行所述数据汇聚子系统的服务器的硬件信息，所述硬件信息包括以下信息中的至少一种：CPU占用情况、内存占用情况和磁盘占用情况；
在所述硬件信息指示所述服务器存在异常时进行预警。


4.根据权利要求1所述的系统，其特征在于，所述数据资产子系统，用于：
对所述数据汇聚子系统中的数据按照预设资源编目规则进行分类，得到资源分类；
对所述数据汇聚子系统中的数据对应的资源信息进行登记，建立登记后的资源信息对应的数据关联表，所述数据关联表用于将所述资源信息与所述数据汇聚子系统中的数据相关联；所述资源信息包括基础信息和资源信息项；所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期；所述资源信息项用于描述所述分类后的资源；
对登记后的资源信息进行发布，并提供发布的资源信息的查询服务；
在接收到对目标资源信息对应的目标数据的查看请求时，若所述目标数据的共享类型为有条件共享时，需求部门向资源提供部门发送资源查看需求，以供资源提供部门对所述资源查看需求进行审核；所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间；
在所述资源...

【专利技术属性】
技术研发人员：罗海平，刘明星，李彩荣，
申请(专利权)人：江苏风云科技服务有限公司，
类型：发明
国别省市：江苏;32