公共数据归集系统技术方案

本发明专利技术公开了一种公共数据归集系统，其包括数据集成工作台、平台看板和资源编目；数据集成工作台包括：任务开发工作台模块，其用于通过插件的形式实现不同类型的输入、输出以及数据处理的支持；任务列表模块，其用于响应用户输入的按需配置调度策略，确定任务运行周期；平台看板包括：数据归集模块；数据归集模块用于展示数据目录数量、数据归集数量、数据目录归集数量、数据目录归集率和市区县数据汇总，并支持对应数据的导出和查询。本申请具有改善数据归集的便捷性的效果。改善数据归集的便捷性的效果。改善数据归集的便捷性的效果。

【技术实现步骤摘要】
公共数据归集系统


[0001]本申请涉及公共数据管理
，尤其是涉及一种公共数据归集系统。

技术介绍

[0002]建立城市大脑赋能数字化政府和经济，其为当前的一个热门话题。
[0003]为帮助相关部门和单位实施上述政策 ，需要对地域各级辖区的公共资源数据做归集，以支持省、市、县落实项目，诸如推动政策、政务一网通等。
[0004]目前，各辖区、各部门单位大多有着自己的一套系统，系统之间大多孤立，导致数据归集操作相对不便，因此本申请提出一种新的技术方案。

技术实现思路

[0005]为了改善数据归集的便捷性，本申请提供一种公共数据归集系统。
[0006]本申请提供一种公共数据归集系统，采用如下的技术方案：一种公共数据归集系统，包括数据集成工作台、平台看板和资源编目；其中，所述数据集成工作台包括：任务开发工作台模块，其用于通过插件的形式实现不同类型的输入、输出以及数据处理的支持；任务列表模块，其用于响应用户输入的按需配置调度策略，确定任务运行周期；所述平台看板包括：数据归集模块；所述数据归集模块用于展示数据目录数量、数据归集数量、数据目录归集数量、数据目录归集率和市区县数据汇总，并支持对应数据的导出和查询；所述资源编目包括：归集目录模块，其用于展示已提交归集申请的数据编目数据、支持查询及各明细删除；归集数据同步到省平台模块，其用于展示已推送省平台的编目，管理是否将编目的归集状态、数据量信息推送到省平台；归集部门同步到省平台，其用于展示已推送省平台的编目，管理是否将编目的数源部门推送到省平台。
[0007]可选的，所述任务开发工作台模块包括：插件查询单元，其用于为输入、处理和输出分别提供插件查询；配置及查看单元，其用于对输入、处理和输出的对应插件进行配置和查看；画布展示窗口，其用于展示输入、处理和输出三者对应插件的联系。
[0008]可选的，所述任务列表模块，其包括：策略配置单元，其用于响应用户输入，确定激活状态、执行类型、周期以及执行时间；其中，所述执行时间包括频率性、具体日期或排除日期确定；查询单元，其用于支持以部门的关键字查询对应的任务；
展示窗口，其用于对任务的关键信息做展示。
[0009]可选的，所述数据集成工作台还包括：模板管理模块、告警信息模块、日志信息模块和全局配置模块。
[0010]可选的，还包括：数据开发工作台；所述数据开发工作台用于实现包含各个不同任务类型的dag配置，进行不同任务流程的上下游依赖调度。
[0011]可选的，还包括可视化实战研判应用，其用于通过BI可视化分析工具，配置分析报表，对外进行展示。
[0012]可选的，所述可视化实战研判应用包括：工作表管理模块，其用于管理数据源，添加工作表，预览工作表数据、编辑工作表、查看工作表任务，以及配置多个工作表间的条件；模型仓配置模块，其用于创建模型、查看模型信息、配置图表、发布模型，以及分享模型给指定人员；驾驶舱管理模块，其用于创建新驾驶舱、添加多个模型中的图表、配置全局筛选、配置联动图表和配置链接跳转。
[0013]可选的，通过数据集成工作台接入或再次通过工具计算后存储在专属数据仓中的数据，通过接口配置中心封装接口统一对外部应用提供数据服务。
[0014]综上所述，本申请包括以下至少一种有益技术效果：本系统可以用作对各部门、单位的资源数据进行集成，并便捷发送至各级单位、部门，有助于展开公共数据归集工作；且，任务开发工作台、数据开发工作台操作简易，可直接由用户通过画布拖拽式操作，实现对不同类型输入、输出、数据处理的组合，数据集成、处理灵活配置，具备极为便捷的可扩展性。
附图说明
[0015]图1是本系统的任务开发工作台的页面示意图；图2是本系统的任务列表的页面示意图；图3是本系统的平台看板的页面示意图；图4是本系统的归集目录的页面示意图；图5是本系统归集数据同步到省平台的页面示意图；图6是本系归集部门同步到省平台的页面示意图；图7是本系统的数据开发工作台的DAG页面示意图；图8是本系统的数据开发工作台的spark页面示意图；图9是本系统模型仓页面示意图；图10是驾驶舱的页面示意图。
具体实施方式
[0016]以下结合附图1
‑
10对本申请作进一步详细说明。
[0017]本申请实施例公开一种公共数据归集系统。
[0018]公共数据归集系统，其分属政务网一类，以计算机输入访问地址进行访问；可以理解的是，其配置诸如：账户登录模块，授权指定账号进行访问。本系统包括数据集成工作台、平台看板和资源编目。
[0019]其中，基于数据集成工作台可实现海量原始数据（特别是增量数据）的多线程、快速抽取；在本实施例中，数据集成工作台通过插件的形式实现对不同类型输入、输出、数据处理的支持，具备极为便捷的可扩展性。
[0020]参照图1，上述数据集成工作台包括：任务开发工作台模块，其用于通过插件的形式实现不同类型的输入、输出以及数据处理的支持；任务列表模块，其用于响应用户输入的按需配置调度策略，确定任务运行周期。
[0021]在本系统的一个实施例中，任务开发工作台，包括：插件查询单元，其用于为输入、处理和输出分别提供插件查询；其在任务开发工作台的展示界面中的显示信息位于右侧；头部分别是输入插件、处理插件、输出插件三个选项，每一个选项下对应一个插件检索栏，并展示多个预加载库中的插件名；配置及查看单元，其用于对输入、处理和输出的对应插件进行配置和查看；其在任务开发工作台的展示界面中的显示信息位于左下部；以输入插件为例，头部是：输入源配置、数据表配置、输入字段查看和属性配置；头部的下方，则是对应项的具体操作窗口和交互信息展示；画布展示窗口，其用于展示输入、处理和输出三者对应插件的联系，且处理插件展示为字段映射插件；其在任务开发工作台的展示界面中的显示信息位于左上部；需要注意的是，前述查找到的插件，通过画布拖拽式交互的方式移动至该窗口，配置相应数据同步任务；输入、处理、处理三者依次连线，建立、展示相互关系；在此，处理又展示为：字段映射插件。
[0022]可以理解的是，上述展示功能、方法均以对应的计算机程序实现；下述同理，不再赘述。
[0023]在本系统的一个实施例中，参照图2，任务列表模块，包括：策略配置单元，其用于响应用户输入，确定激活状态、执行类型、周期以及执行时间；其中，所述执行时间包括频率性、具体日期或排除日期确定；查询单元，其用于支持以部门的关键字查询对应的任务；展示窗口，其用于对任务的关键信息（诸如：任务名称、创建人、修改时间、所属分组
……
）做展示。
[0024]如图2所示，各任务以匹配的部门为标准进行划分，并以部门名称为根目录的名称于系统交互界面的左部排列展示。当用户选中某一任务，例如：test_0731，则弹出策略配置对应的页面，页面从上到下依次是：激活状态项：该处可选择全量、增量、全量+增量等几种数据变化方式为任务激活模式。
[0025]执行类型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种公共数据归集系统，其特征在于：包括数据集成工作台、平台看板和资源编目；其中，所述数据集成工作台包括：任务开发工作台模块，其用于通过插件的形式实现不同类型的输入、输出以及数据处理的支持；任务列表模块，其用于响应用户输入的按需配置调度策略，确定任务运行周期；所述平台看板包括：数据归集模块；所述数据归集模块用于展示数据目录数量、数据归集数量、数据目录归集数量、数据目录归集率和市区县数据汇总，并支持对应数据的导出和查询；所述资源编目包括：归集目录模块，其用于展示已提交归集申请的数据编目数据、支持查询及各明细删除；归集数据同步到省平台模块，其用于展示已推送省平台的编目，管理是否将编目的归集状态、数据量信息推送到省平台；归集部门同步到省平台，其用于展示已推送省平台的编目，管理是否将编目的数源部门推送到省平台。2.根据权利要求1所述的公共数据归集系统，其特征在于，所述任务开发工作台模块包括：插件查询单元，其用于为输入、处理和输出分别提供插件查询；配置及查看单元，其用于对输入、处理和输出的对应插件进行配置和查看；画布展示窗口，其用于展示输入、处理和输出三者对应插件的联系。3.根据权利要求2所述的公共数据归集系统，其特征在于，所述任务列表模块，其包括：策略配置单元，其用于响应用户输入，确定激活状态、执行类型、周期以及执行时间；其中，所述执行时间包括频...

【专利技术属性】
技术研发人员：杨一峰，
申请(专利权)人：浙江嘉兴数字城市实验室有限公司，
类型：发明
国别省市：